启动模型的食谱(推理服务器)
一旦 AI 模型通过一个众所周知的端点可用,就可以想象一个连接并使用 AI 模型的新应用世界。Podman AI Lab 将 AI 应用作为一组相互连接的容器来支持。
Podman AI Lab 附带一个名为“食谱目录”的内容,它可以帮助你浏览一系列核心 AI 使用案例和问题领域,例如聊天机器人、代码生成器和文本摘要器。每个食谱都包含详细的解释和示例应用程序,这些应用程序可以使用各种大型语言模型 (LLM) 运行。尝试使用多个模型可以找到最适合你的用例的模型。
先决条件
过程
- 单击导航栏中的 Podman AI Lab 图标
- 在 Podman AI Lab 导航栏中,单击“AI 应用 > 食谱目录”菜单项。
- 将显示可用食谱列表。单击“聊天机器人”食谱卡。
- 单击“启动 AI 应用”按钮以启动此食谱的容器。
验证
- AI 应用启动后,食谱的详细信息将更新,食谱将切换到运行模式。
- 要测试应用程序,请单击图标,您的浏览器将连接到客户端应用程序。