跳至主要内容

为模型启动推理服务器

集成的游乐场环境允许在本地环境中试验可用模型。直观的用户提示有助于探索各种模型的功能和准确性,并帮助找到最适合手头用例的模型。游乐场界面还允许对模型进行参数化,以进一步优化每个模型的设置和属性。

先决条件

步骤

  1. 单击导航栏中的 Podman AI Lab 图标
  2. 在 Podman AI Lab 导航栏中,单击 **模型 > 游乐场** 菜单项。
  3. 单击右上角的 **新建游乐场** 按钮。
  4. 在 **模型** 列表中选择要为其启动推理服务器的模型,然后单击 **创建游乐场** 按钮。
  5. 正在启动模型的游乐场,一段时间后将显示聊天界面。playground

验证

  1. 在聊天界面上,您可选择设置系统提示。
  2. 在提示字段中输入文本,然后按 **ENTER** 键。