跳转到主内容

为模型启动配方(推理服务器)

一旦 AI 模型通过一个众所周知的端点可用,就很容易想象一个全新的应用世界将连接并使用该 AI 模型。Podman AI Lab 将 AI 应用支持为一组相互连接的容器。

Podman AI Lab 包含一个配方目录(Recipes Catalog),可帮助您探索几个核心的 AI 用例和问题领域,例如聊天机器人、代码生成器和文本摘要器。每个配方都包含详细的解释和示例应用,可以与各种大型语言模型(LLM)一起运行。通过试验多个模型,您可以为您的用例找到最佳模型。

先决条件

步骤

  1. 在左侧导航窗格中单击 Podman AI Lab 图标。
  2. 在 Podman AI Lab 导航栏中,单击 配方目录 (Recipe Catalog)
  3. 可选:根据所需的工具、框架或编程语言筛选配方目录。
  4. 单击您想要启动的配方的 更多详情 (More details) 链接。配方摘要页面会打开。更多详情链接
  5. 单击 启动 (Start)。启动配方页面会打开。启动一个配方
  6. 从下拉列表中选择一个模型。
  7. 单击 启动聊天机器人配方 (Start ChatBot recipe)。此步骤可能需要一些时间来拉取配方、将模型复制到您的 Podman machine、启动推理服务器、加载配置并创建应用程序。

验证

  1. 处理完成后,单击 打开详情 (Open details)打开 AI 应用程序详情
  2. 查看已创建的 AI 应用程序。
  3. 单击 打开 AI 应用 (Open AI App) 图标,在您的浏览器中查看正在运行的应用程序。打开 AI 应用图标