当大模型成本逐渐降低，可靠性提升后，越来越多的业务应用将与LLM结合。为此，需要开发结合内部基础设施的SDK，更友好的prompt管理工具，能够快速构建RAG相关概念证明的平台。总之，需要一些封装好的框架快速调试应用，以支撑LLM应用开发的快速开发。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

国内各大厂商的大模型服务纷纷上线，应用密集落地应该是接下来的主旋律，将之前看过的 LLM Bootcamp 系列视频（由 The Full Stack 出品，内容由 11 节 talk 组成，质量很能打，感兴趣可以去看原视频）分享下。本篇主要是 LLMOps 这节讲座的笔记，包括如何选择基础模型、如何评估模型性能、模型的部署、如何管理Prompt的迭代过程、监控和持续改进，以及最后提出的测试驱动 LLM 应用开发的理念，比我的之前这篇更详尽，可以作为每个 LLM 应用开发者的一个 checklist，在应用国内基础语言模型服务时提供参考。

在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的”胡说八道”，以提高大语言模型输出的可靠性和稳定性，成为一个具有挑战性的问题。在开发应用的过程中，我发现了微软推出的开源项目 guidance，能够很好地解决这一繁琐问题，本篇文章对此进行详细说明。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

基于大语言模型构建的应用想要进行快速展示，相比自行搭建云服务器环境，使用一个成熟的 PaaS 平台，辅以集成的开发工具，不仅降低部署难度，也让 LLM 应用的开发者脱离底层细节，更能把精力放在创新应用上，加速从原型到上线的过程。本文将探讨几个带有免费计划的 PaaS 平台及其优缺点，为 LLM 应用开发者提供一份参考。

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。