跳转到主内容

运行 AI 应用程序

本教程涵盖了在本地计算机上运行和验证人工智能 (AI) 应用程序所需的以下端到端任务：

  • 安装扩展
  • 下载模型
  • 创建服务
  • 可选：创建游乐场
  • 运行配方
  • 验证 AI 应用程序

在学习本教程之前，请熟悉 AI 实验室页面上以下部分的使用：

AI lab sections

  1. 目录：帮助下载或导入模型。
  2. 服务：帮助创建推理服务器，该服务器在容器中运行，使用与 OpenAI 兼容的 API 提供大型语言模型 (LLM) 服务。创建服务后，您可以访问其详细信息，并以任何编程语言生成其客户端代码以集成您的应用程序。
  3. 游乐场：帮助试验模型参数和准确性，以确定最适合您用例的模型和参数。每个游乐场表示一个定制的环境，用于试验模型。
  4. 配方目录：帮助访问配方目录，例如聊天机器人、音频转文本、代码生成和摘要器。每个配方表示一个针对特定用例的 AI 应用程序。您可以使用配方启动 AI 应用程序。您还可以将配方克隆到本地计算机进行编辑。
  5. 正在运行：帮助访问所有正在运行的 AI 应用程序。

本教程重点介绍运行聊天机器人 AI 应用程序。

准备工作​

请确保您已具备：

安装扩展​

  1. 转到 扩展 > 目录。
  2. 使用搜索框找到 Podman AI Lab 扩展。
  3. 单击安装图标安装扩展。 安装扩展
  4. 选择已安装选项卡以检查扩展是否激活，并检查左侧导航窗格中是否添加了新的 AI Lab 组件。 扩展已启用

下载模型​

  1. 在左侧导航窗格中单击 AI Lab。

  2. 在“目录”部分，单击您要使用的模型对应的下载图标。 扩展已启用

  3. 下载完成后，在同一页面查看下载的模型。 扩展已启用

创建服务​

  1. 在左侧导航窗格中单击 AI Lab。

  2. 在“服务”部分，单击新建模型服务。 创建新的模型服务

  3. 从下拉列表中选择模型。

  4. 可选：编辑为服务创建的容器的端口号。

  5. 点击创建服务。 创建新的模型服务

  6. 点击打开服务详情。 创建新的模型服务

  7. 查看服务详情，例如模型名称、服务器地址和客户端代码。 服务详情页面

    注意

    默认情况下，您以 cURL 编程语言查看客户端代码。您可以根据需要自定义客户端代码。

  8. 可选：在“客户端代码”部分，从下拉列表中选择编程语言或框架以查看更新的代码。

  9. 点击页面右侧的关闭图标。

  10. 在同一页面上查看新创建的服务。 页面上的新服务

  11. 可选：通过从左侧导航窗格打开容器页面来查看服务容器。 新服务容器

可选：创建游乐场​

仅当您想在启动 AI 应用程序之前试验模型时才执行此任务。

  1. 在左侧导航窗格中单击 AI Lab。

  2. 在“游乐场”部分，单击新建游乐场。 创建新的游乐场

  3. 可选：输入游乐场的名称。

  4. 为游乐场选择一个推理运行时。

  5. 从下拉列表中选择一个模型。

  6. 单击创建游乐场。 创建游乐场按钮

  7. 在同一页面上查看新创建的游乐场。 新创建的游乐场

  8. 单击游乐场的名称以编辑模型的实验设置

    1. 编辑模型参数的值。 编辑模型参数

    2. 单击编辑系统提示图标以添加系统提示并保存。 编辑系统提示图标

    3. 在提示框中输入您的问题，并分析答案的准确性。 定义系统提示

运行配方：聊天机器人 AI 应用程序​

  1. 在左侧导航窗格中单击 AI Lab。

  2. 在“配方目录”部分，点击“聊天机器人”配方磁贴中的更多详情。配方摘要页面打开。 配方的更多详情

  3. 点击开始。“开始配方”页面打开。 开始配方

  4. 从下拉列表中选择一个模型。

    注意

    带有星号的模型推荐与此配方一起使用。

  5. 点击启动聊天机器人配方。此步骤可能需要一些时间来拉取配方、将模型复制到您的 Podman 机器、启动推理服务器、加载配置并创建应用程序。 启动聊天机器人配方

  6. 处理完成后点击打开详情。 打开配方详情

  7. 在“运行中”选项卡中查看正在运行的 AI 应用程序。 运行中选项卡

  8. 可选：通过从左侧导航窗格打开Pod页面来查看正在运行的 AI 应用程序 Pod。 运行 AI 应用程序的 Pod

验证 AI 应用程序​

  1. 使用左侧导航窗格转到 AI Lab > 正在运行。

  2. 单击打开 AI 应用程序图标，在浏览器中本地打开聊天机器人应用程序。 打开 AI 应用程序

  3. 在聊天框中输入您的问题并分析答案的准确性。 与聊天机器人应用程序交互