为模型启动推理服务器
集成的游乐场环境允许在本地环境中试验可用模型。直观的用户提示有助于探索各种模型的功能和准确性,并帮助找到最适合手头用例的模型。游乐场界面还允许对模型进行参数化,以进一步优化每个模型的设置和属性。
先决条件
步骤
- 单击导航栏中的 Podman AI Lab 图标
- 在 Podman AI Lab 导航栏中,单击 **模型 > 游乐场** 菜单项。
- 单击右上角的 **新建游乐场** 按钮。
- 在 **模型** 列表中选择要为其启动推理服务器的模型,然后单击 **创建游乐场** 按钮。
- 正在启动模型的游乐场,一段时间后将显示聊天界面。
验证
- 在聊天界面上,您可选择设置系统提示。
- 在提示字段中输入文本,然后按 **ENTER** 键。