在本地运行 LLM

Podman AI 实验室是在本地开发人员工作站上使用大型语言模型 (LLM) 的最简单方法。查找食谱目录，利用精选的开源模型列表，实验和比较模型。抢占先机，将您的开发提升到新的高度，使用 Podman AI 实验室！在本地运行模型有很多方法。此扩展完美地融入您本地的容器工作流程，并通过推理 API 公开 LLM，您可以直接从应用程序容器中访问这些 API。除此之外，您可以使用游乐场优化您的推理参数，以及帮助您使用现成示例的食谱。