写这篇文章的原因是我构建的 RAG 框架已经基本成型，现在只剩下最后一块拼图，即评估模块，这也是真正投入生产后，RAG 系统迭代的关键，本篇文章我将分享 3 种方案，第一种我自己跑出来的实践经验，第二种是比较成熟的框架 RAGAs，通过定量指标来评估，最后一种是则是通过噪声、拒答、反事实、信息整合等四大指标来定性分析，来自论文《在 RAG 中对大语言模型进行基准测试》，大家可以结合起来设计自己的方案。

本文首发自博客文章 如何评估一个RAG（检索增强生成）系统

由于要为公司产品接入 AI 能力，且政策原因只能使用国内大模型，所以过去一个月我仔细阅读了一遍国内 6 家（阿里、百度、MiniMax、智谱 AI、MoonShot、百川智能，没试用字节和腾讯家的原因末尾总结有吐槽）大模型厂商文档，逐个测试了不同的 API，发现相同的功能各家的叫法又不一样，使用起来很混乱，所以才有了这篇文章，本文我将以 OpenAI 提供的 API 能力（因为个人项目一直在使用 OpenAI）为基准，从 GPTs 能力、插件能力、Assistants API、基础 API 能力（基础大模型、微调支持等）四个方面展开，对国内各模型厂商的能力进行比较和统一定义，希望能给现阶段准备在产品中接入国内大模型的独立开发者和中小企业提供一点参考。

大家好啊，好久不见，我们都知道当前基于大模型构建的 Agent 能力极不稳定，而今年我司产品又在规划接入 Agent 能力，所以在引入之前，需要先设计一套测试框架，来看看各种场景下容错率是否能达到目标阈值，所以我调研了几种测试方案，本篇来总结下。

基于大模型的 Agent 基本组成应该包含规划（planning)，工具（Tools)，执行(Action)，和记忆(Memory)四个方面，上一篇中重点讲了进行长记忆管理的 8 种方案，本节将从 Agent 的概念、ReAct 框架、示例、以及一些论文思路来具体聊下任务规划的话题，同时会辅以代码帮助理解，欢迎大家一起探讨。

如果说去年一年是自媒体的狂欢，还可以利用信息差赚知识付费和咨询费，那今年在技术普及已经差不多了，就要面对落地的挑战了，否则大多数人该怀疑这又是一场泡沫了，最近一个月，我自己的身份也从纯研发角色侧重为产品，虽然代码还在写，但关注重点不一样了，这篇文章我将从这一个月来的实践和调研的情况出发，尝试从个人角度阐述对 AI 产品经理的能力理解，以及对当下 toC 和 toB AI 产品落地现状的一些思考，欢迎大家一起探讨。

LangChain 在 0.1 版本发生了重要变更，官方还专门发了一篇博客，总体看下来可以概括为聚焦核心，共建生态，轻装上阵，加速商业化，我也在第一时间向官方申请试用了商业化产品，本篇文章从 LangChain 变更情况解读，商业化产品试用，以及类 LangChain 的 LLM 应用开发框架的发展三部分来谈谈。

OpenAI最近发布了一次更新，3.5可以支持16k的token，更新了gpt-3.5-turbo-0613 和 gpt-4-0613两个模型，同时这两个模型在chat completion的api中增加了一个叫 Function Calling 的新功能，本篇文章对其功能进行探究，并分析其作用。

最近关于 AIGC 的热点新闻中，出现了许多以 Agent 方式使用 LLM 的项目，像 AutoGPT、BabyAGI、CAMEL 和 Generative Agents 这样的项目获得极大关注。笔者在研究和借助 LangChain 社区工具实现过这些项目之后，试图简单谈谈它们之间的区别以及每个项目的特性。