为模型启动推理服务器
下载模型后，可以启动模型服务。模型服务是在容器中运行并通过许多提供商通用的知名聊天 API 公开模型的推理服务器。
先决条件
步骤
- 单击导航栏中的 Podman AI 实验室图标
- 在 Podman AI 实验室导航栏中，单击 **模型 > 服务** 菜单项。
- 单击右上角的 **新建模型服务** 按钮。
- 在 **模型** 列表中选择要为其启动推理服务器的模型，然后单击 **创建服务** 按钮。
- 正在启动模型的推理服务器，过了一会儿，单击 **打开服务详细信息** 按钮。
验证
- 启动推理服务器后，推理服务器的详细信息允许您生成各种语言的代码片段，以通过推理服务器访问模型。
- 您可以更改目标语言，此处为 Java 和 Quarkus。
