目前，文本数据的规模可能已经达到了瓶颈，因为大部分易获取的网络文本数据（如 Common Crawl、Github、Arxiv 等）已经被广泛利用。规模游戏的第一篇章集中在扩展文本数据上，在 GPT-4 达到顶峰，并以 Llama 3 结束。该游戏的第二篇章将是统一的视频-语言生成建模和从 X 个反馈中进行迭代强化学习。

本文译自 Llama 3 Opens the Second Chapter of the Game of Scale

大型语言模型（LLMs）中存在的数据污染是一个重要问题，可能会影响它们在各种任务中的表现。这指的是LLMs的训练数据中包含了来自下游任务的测试数据。解决数据污染问题至关重要，因为它可能导致结果偏倚，并影响LLMs在其他任务上的实际效果。通过识别和减轻数据污染，我们可以确保LLMs具有最佳性能并产生准确的结果。数据污染的后果可能非常严重，包括不准确的预测、不可靠的结果和数据偏倚。

本文译自 The Hidden Influence of Data Contamination on Large Language Models

写这篇文章的原因是我构建的 RAG 框架已经基本成型，现在只剩下最后一块拼图，即评估模块，这也是真正投入生产后，RAG 系统迭代的关键，本篇文章我将分享 3 种方案，第一种我自己跑出来的实践经验，第二种是比较成熟的框架 RAGAs，通过定量指标来评估，最后一种是则是通过噪声、拒答、反事实、信息整合等四大指标来定性分析，来自论文《在 RAG 中对大语言模型进行基准测试》，大家可以结合起来设计自己的方案。

本文首发自博客文章 如何评估一个RAG（检索增强生成）系统

由于要为公司产品接入 AI 能力，且政策原因只能使用国内大模型，所以过去一个月我仔细阅读了一遍国内 6 家（阿里、百度、MiniMax、智谱 AI、MoonShot、百川智能，没试用字节和腾讯家的原因末尾总结有吐槽）大模型厂商文档，逐个测试了不同的 API，发现相同的功能各家的叫法又不一样，使用起来很混乱，所以才有了这篇文章，本文我将以 OpenAI 提供的 API 能力（因为个人项目一直在使用 OpenAI）为基准，从 GPTs 能力、插件能力、Assistants API、基础 API 能力（基础大模型、微调支持等）四个方面展开，对国内各模型厂商的能力进行比较和统一定义，希望能给现阶段准备在产品中接入国内大模型的独立开发者和中小企业提供一点参考。

大家好啊，好久不见，我们都知道当前基于大模型构建的 Agent 能力极不稳定，而今年我司产品又在规划接入 Agent 能力，所以在引入之前，需要先设计一套测试框架，来看看各种场景下容错率是否能达到目标阈值，所以我调研了几种测试方案，本篇来总结下。

基于大模型的 Agent 基本组成应该包含规划（planning)，工具（Tools)，执行(Action)，和记忆(Memory)四个方面，上一篇中重点讲了进行长记忆管理的 8 种方案，本节将从 Agent 的概念、ReAct 框架、示例、以及一些论文思路来具体聊下任务规划的话题，同时会辅以代码帮助理解，欢迎大家一起探讨。

如果说去年一年是自媒体的狂欢，还可以利用信息差赚知识付费和咨询费，那今年在技术普及已经差不多了，就要面对落地的挑战了，否则大多数人该怀疑这又是一场泡沫了，最近一个月，我自己的身份也从纯研发角色侧重为产品，虽然代码还在写，但关注重点不一样了，这篇文章我将从这一个月来的实践和调研的情况出发，尝试从个人角度阐述对 AI 产品经理的能力理解，以及对当下 toC 和 toB AI 产品落地现状的一些思考，欢迎大家一起探讨。

ChatGPT 发布一周年了，切实改变了我的工作方式和职业路径，趁着周末写下这篇文章，我希望以一名普通程序员的视角，带大家回顾一下过去一年大模型领域的发展情况，以及个人的所思所想。文章会分为四个部分，从初次接触 ChatGPT 沉迷追 AI 新闻，到开始亲身实践，利用 LLM 进行一些有价值的工作，然后以开发者视角总结一年来大模型各个层面的发展，标志性的开源项目、基础模型服务商、中间层、以及体验不错的 LLM 产品，最后还想再浅谈一下对 AI 未来的一些展望！

国内各大厂商的大模型服务纷纷上线，应用密集落地应该是接下来的主旋律，将之前看过的 LLM Bootcamp 系列视频（由 The Full Stack 出品，内容由 11 节 talk 组成，质量很能打，感兴趣可以去看原视频）分享下。本篇主要是 LLMOps 这节讲座的笔记，包括如何选择基础模型、如何评估模型性能、模型的部署、如何管理Prompt的迭代过程、监控和持续改进，以及最后提出的测试驱动 LLM 应用开发的理念，比我的之前这篇更详尽，可以作为每个 LLM 应用开发者的一个 checklist，在应用国内基础语言模型服务时提供参考。

在复杂的 LLM 应用开发中，特别涉及流程编排和多次 LLM 调用时，每次的 Prompt 设计都取决于前一个步骤的大模型输出。如何避免大语言模型的”胡说八道”，以提高大语言模型输出的可靠性和稳定性，成为一个具有挑战性的问题。在开发应用的过程中，我发现了微软推出的开源项目 guidance，能够很好地解决这一繁琐问题，本篇文章对此进行详细说明。