在本地运行 LLM

Podman AI Lab 是在本地开发者工作站上使用大语言模型 (LLM) 的最简单方法。您可以在其中找到方案目录、利用精选的开源模型列表，并对模型进行实验和比较。通过 Podman AI Lab 保持领先，将您的开发推向新高度！在本地运行模型有很多种方法。此扩展能完美融入您的本地容器工作流，并通过推理 API 暴露 LLM，让您可以直接从应用程序容器中访问。除此之外，您还可以使用试验场来优化推理参数，以及使用方案来帮助您获得现成的示例。