运行 AI 应用程序

本教程涵盖了在本地机器上运行和验证人工智能 (AI) 应用程序所需的以下端到端任务。

• 安装扩展
• 下载模型
• 创建服务
• 可选：创建游乐场
• 运行配方
• 验证 AI 应用程序

在开始本教程之前，请熟悉 AI Lab 页面上以下部分的使用方法。

1. 目录：帮助下载或导入模型。
2. 服务：帮助创建一个在容器中运行的推理服务器，以使用与 OpenAI 兼容的 API 提供大型语言模型 (LLM)。创建服务后，您可以访问其详细信息，并以任何编程语言生成其客户端代码，以集成您的应用程序。
3. 游乐场：帮助您尝试模型参数和准确性，以确定最适合您的用例的模型和参数。每个游乐场都表示一个定制的环境，用于尝试模型。
4. 配方目录：帮助访问配方目录，例如 ChatBot、音频转文本、代码生成和摘要。每个配方都代表满足特定用例的 AI 应用程序。您可以使用配方启动 AI 应用程序。您也可以将配方克隆到本地机器以进行编辑。
5. 运行：帮助访问所有正在运行的 AI 应用程序。

本教程重点介绍运行 ChatBot AI 应用程序。

开始之前

确保您拥有

• 已安装 Podman 桌面.
• 正在运行的 Podman 机器，内存至少为 6 GB。如果 Podman 机器内存不足，您会在下载模型或运行配方时收到更新其内存配置的通知：
• 开发人员角色。

安装扩展

1. 转到扩展 > 目录。
2. 使用搜索框查找 Podman AI Lab 扩展。
3. 单击安装图标以安装扩展。
4. 选择已安装选项卡以检查扩展是否处于活动状态，并检查左侧导航窗格中是否添加了新的 AI Lab 组件。

下载模型

1. 单击左侧导航窗格中的AI Lab。

2. 在目录部分，单击您要使用的模型对应的下载图标。

3. 下载完成后，在同一页面上查看已下载的模型。

创建服务

1. 单击左侧导航窗格中的AI Lab。

2. 在服务部分，单击新建模型服务。

3. 从下拉列表中选择模型。

4. 可选：编辑为服务创建的容器的端口号。

5. 单击创建服务。

6. 单击打开服务详细信息。

7. 查看服务详细信息，例如模型名称、服务器地址和客户端代码。

   注意

   默认情况下，您将以 cURL 编程语言查看客户端代码。您可以根据需要自定义客户端代码。

8. 可选：在客户端代码部分，从下拉列表中选择编程语言或框架以查看更新后的代码。

9. 单击页面右侧的关闭图标。

10. 在同一页面上查看新创建的服务。

11. 可选：通过从左侧导航窗格打开容器页面来查看服务容器。

可选：创建游乐场

仅当您想在使用模型启动 AI 应用程序之前尝试模型时执行此任务。

1. 单击左侧导航窗格中的AI Lab。

2. 在游乐场部分，单击新建游乐场。

3. 可选：输入游乐场的名称。

4. 从下拉列表中选择一个模型。

5. 单击创建游乐场。

6. 在同一页面上查看新创建的游乐场。

7. 单击游乐场的名称以编辑模型设置以进行实验

   1. 编辑模型参数的值。

   2. 单击编辑系统提示图标以添加系统提示并保存。

   3. 在提示框中输入您的问题，并分析答案的准确性。

运行配方：ChatBot AI 应用程序

1. 单击左侧导航窗格中的AI Lab。

2. 在配方目录部分，单击 ChatBot 配方磁贴中的更多详细信息。配方摘要页面将打开。

3. 单击启动。启动配方页面将打开。

4. 从下拉列表中选择一个模型。

   注意

   带有星号的模型建议用于此配方。

5. 单击启动 ChatBot 配方。此步骤可能需要一些时间来拉取配方，将模型复制到您的 Podman 机器，启动推理服务器，加载配置并创建应用程序。

6. 处理完成后，单击打开详细信息。

7. 在运行选项卡中查看正在运行的 AI 应用程序。

8. 可选：通过从左侧导航窗格打开Pod页面来查看正在运行的 AI 应用程序 Pod。

验证 AI 应用程序

1. 使用左侧导航窗格转到AI Lab > 运行。

2. 单击打开 AI 应用程序图标以在本地浏览器中打开 ChatBot 应用程序。

3. 在聊天框中输入您的问题，并分析答案的准确性。