为模型启动配方(推理服务器)
一旦 AI 模型通过一个众所周知的端点可用,就很容易想象一个全新的应用世界将连接并使用该 AI 模型。Podman AI Lab 将 AI 应用支持为一组相互连接的容器。
Podman AI Lab 包含一个配方目录(Recipes Catalog),可帮助您探索几个核心的 AI 用例和问题领域,例如聊天机器人、代码生成器和文本摘要器。每个配方都包含详细的解释和示例应用,可以与各种大型语言模型(LLM)一起运行。通过试验多个模型,您可以为您的用例找到最佳模型。
先决条件
步骤
- 在左侧导航窗格中单击 Podman AI Lab 图标。
- 在 Podman AI Lab 导航栏中,单击 配方目录 (Recipe Catalog)。
- 可选:根据所需的工具、框架或编程语言筛选配方目录。
- 单击您想要启动的配方的 更多详情 (More details) 链接。配方摘要页面会打开。
- 单击 启动 (Start)。启动配方页面会打开。
- 从下拉列表中选择一个模型。
- 单击 启动聊天机器人配方 (Start ChatBot recipe)。此步骤可能需要一些时间来拉取配方、将模型复制到您的 Podman machine、启动推理服务器、加载配置并创建应用程序。
验证
- 处理完成后,单击 打开详情 (Open details)。
- 查看已创建的 AI 应用程序。
- 单击 打开 AI 应用 (Open AI App) 图标,在您的浏览器中查看正在运行的应用程序。