这是一篇吐槽文，缘于今天详细体验一款低代码的大模型应用开发工具，没想到设计的真不错，但是一搜相关介绍，看到官方 PR 稿和自媒体广告文铺天盖地都在夸的是什么智能体，什么 AI 原生应用，就是不讲能解决哪些实实在在的问题，支持的实际场景。所以本篇想聊聊「智能体平台」的话题，先叠个甲，这些产品并不是一无是处，毫无疑问确实是方便用户快速用上大模型的能力，也提升了工作效率和生活体验，但这里面噱头大于实际，其中忽悠的内容太多了，本文不会出现具体的产品：）

为了撰写开源中国即将发布的大模型生态 2024 年报告中关于开发者中间件和开源工具的年终总结，我回顾了过去一年所关注的开源项目，并计划将其整理成一系列文章。这些文章将涵盖从智能文档处理、生成式 AI 推理平台的对比，到大模型的结构化输出支持及 TTS 技术的选项等多个方面。这一系列文章既是我个人的年终总结，也旨在为感兴趣的读者提供有价值的信息。
这是该系列的第一篇文章，主题围绕 RAG 技术。在过去一年中，RAG 技术成为大模型应用中最热门的方向之一，开源社区因此涌现了许多相关项目，包括面向个人开发者的 SDK 集成、企业级框架以及面向普通用户的 RAG 应用。本文将重点介绍那些成熟度较高且专注于 RAG 技术的项目，所以像 FlashRAG（一个高效、模块化的开源工具包，用于复现现有 RAG 方法和开发新算法）和 GraphRAG（一种基于图的 RAG 方法，通过利用实体间的结构信息提高检索精度和生成更加符合上下文的响应）这类具有创新性的研究项目不在本文讨论范围内，同样，像 LangChain 这样包含 RAG 处理模块的综合框架也不在讨论之列。

写这篇文章的原因是我构建的 RAG 框架已经基本成型，现在只剩下最后一块拼图，即评估模块，这也是真正投入生产后，RAG 系统迭代的关键，本篇文章我将分享 3 种方案，第一种我自己跑出来的实践经验，第二种是比较成熟的框架 RAGAs，通过定量指标来评估，最后一种是则是通过噪声、拒答、反事实、信息整合等四大指标来定性分析，来自论文《在 RAG 中对大语言模型进行基准测试》，大家可以结合起来设计自己的方案。

本文首发自博客文章 如何评估一个RAG（检索增强生成）系统

RAG（检索增强生成）是一种结合了检索（通常是知识库或数据库）和生成模型（大语言模型）的技术，目的是在生成文本的时候能够参考相关的外部知识。这样，即使生成模型在训练时没有看到某些信息，它也能在生成时通过检索到的知识来生成更加准确和丰富的回答，这篇文章实现一种基于动态上下文窗口的方案，能够处理大规模文档，保留重要的上下文信息，提升检索效率，同时保持灵活性和可配置性。

RAG（Retrieval Augmented Generation）是一种检索增强生成技术，它利用大型语言模型来处理用户查询，RAG 技术的主要组成包括数据提取—embedding—创建索引—检索—排序（Rerank）—LLM 归纳生成，不过实际落地过程来看，将用户查询转换为嵌入向量直接检索，很多时候的结果在相关度方面没有那么理想，本篇分享一种对用户查询进行重写再去进行检索从而提高准确性和召回率的方案。

文本嵌入是一种将文本这种离散数据映射到连续向量空间的方法，嵌入技术可以将高维的离散数据降维到低维的连续空间中，并保留数据之间的语义关系，从而方便进行机器学习和深度学习的任务。