The Connector 周刊#14：如何对基于大语言模型构建的知识库进行精度评估方法

The Connector 每周会选取我从信息流里获取的有价值内容，包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等，目标是链接互联网上的优质内容，获得更多的灵感和知识，从而激发彼此的创造力。

我的新书《LangChain编程从入门到实践》 已经开售！推荐正在学习AI应用开发的朋友购买阅读！

AI 探索

1. 《综述：全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈游最新Agent Survey
2. AI 代理的现状：E2B（一家专为ai agents提供云服务等基础设施的公司，agent托管公司） 研究了大约 100 个具有各种用例的代理，研究了代理的 SDK 和框架，并与 Cognosys、Aomni、Superagent、Sweep 等的创始人讨论了代理面临的挑战。
3. 大语言模型构建知识库-精度评估方法：auto-evaluator是Langchain开发的一个用于评估问答系统的轻量级工具，它可以从给定的文档中自动生成一些问题和答案，并且对模型的回答正确率、文档相关性、延迟等进行评估。它还可以让用户选择不同的参数设置，如分割方法、模型类型、检索器类型、嵌入类型、评分风格等，来进行不同的实验和比较。我们只需要提供一些要评估的文件（txt或pdf格式），以及一个可选的评估集文件（json格式）。然后，你可以选择你想要的参数设置，提交评估，就可以看到模型的回答和评分。你还可以查看结果聚合，看看不同的配置对模型性能的影响。

开源推荐

1. agents：一个自治语言Agents的开源框架，这是一个面向非专业人士的开源库,旨在推动大型语言模型(LLMS)的进步。Agents库支持重要的功能,如规划、内存使用、工具使用、多代理通信和精细的符号控制,使用户可以轻松构建、定制、测试、调整和部署最先进的自治语言代理,而无需太多编码。此外,Agents库对研究也很友好,其模块化设计使得它很容易扩展。Agents库和其他现有语言代理框架的一个主要区别是，允许用户通过SOP（标准操作流程）为语言代理提供细粒度的控制和指导。SOP为整个任务定义子目标/子任务，并允许用户为语言代理定制细粒度的工作流程。1、长短期记忆：库中的语言代理配备了通过VectorDB+语义搜索实现的长期记忆和由LLM维护和更新的短期记忆（工作记忆）。2、工具用法：库中的语言代理可以通过函数调用使用任何外部工具，开发人员可以添加自定义工具/API。3、网络导航：图书馆中的语言代理可以使用搜索引擎浏览网络并获取有用的信息。4、多代理通信：除了单语言代理之外，该库还支持构建多代理系统，其中语言代理可以与其他语言代理和环境进行通信。5、人机交互：除了让语言代理在环境中相互通信之外，我们的框架无缝支持人类用户自己扮演代理的角色并输入自己的动作，并与环境中的其他语言代理进行交互。6、符号控制：与仅使用简单任务描述来控制整个多代理系统的现有语言代理框架不同，代理允许用户使用为整个任务定义子目标/子任务的SOP（标准操作流程）来为语言代理定制细粒度的工作流。

   

2. open-interpreter：可在本地运行 OpenAl 的代码解释器，具有完全的互联网访问权限，所有操作都在本地执行，安全隐私；用户可以使用任何软件包或库；没有时间或文件大小的限制。

3. 毕昇：一个基于大语言模型的应用开发运维一体化平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。包括：聊天机器人和工作助手，文档处理，知识管理，专业内容创作，在这些场景上，企业内的数据质量参差不齐，想要真正把所有数据利用起来，关键是需要有完备的非结构化数据治理能力，该项目团队是是第四范式的智能文档产品事业部独立出来的，在这方面积累了核心能力，值得看下实现。

工程师工具

1. essay.art：基于 GPT 的托福雅思作文修改器。
2. Who Pays Technical Writers：一个技术写作付费平台，适合对技术方面有所了解的朋友，比如系统管理、WordPress托管等，每篇文章的报酬从几百到一千美元不等。
3. Google One：Google One和Apple one类似，能存储所有Google的数据，100GB一年算上税也不到22刀，但会员服务免费自带了 VPN 服务，买了会员就可以用，ip很干净，解锁前置之后可以拿来看一些流媒体。
4. Knibble AI：AI 驱动的知识库问答平台，支持 SaaS 形式和私有化托管，可以通过 API 的方式在网站或应用程序上创建和嵌入聊天机器人。

值得一看

1. Code Review终极大法：代码，是设计理念落地的地方，是技术的呈现和根本。同学们可以在 review 过程中做到落地沟通，不再是空对空的讨论，可以在实际问题中产生思考的碰撞，互相学习，大家都掌握团队里积累出来最好的实践方式！
2. The Beginner’s Guide to SEO：通过 Ahrefs 可以深入了解任何网站或网址的自然搜索流量和外链，可以了解竞争对手，分析竞争对手在做什么，用什么方法，采用什么市场策略，达到了什么效果，Ahrefs出品的面对初学者的 SEO 系列教程。
3. 提升创意能力的每日训练法：全网寻找各类优秀不优秀的案例，以Advertiser、Core message、Execution三个维度拆分，通过剖析某个传播camp的核心内容，强化个人大脑的创意库。降维连线法，把品牌与投放场景的所有降维关联词列出，不断连线，以此创造出很多场景与互动方式。