文章介绍了 Qwen 系列模型，包括 Qwen 1.5、Qwen 2 和 Qwen 2.5，这些模型在不同时间发布，提供了多种规模的模型选择，并在性能、多语言能力、上下文长度和安全性方面取得了显著进展。此外，Qwen 还推出了专门针对视觉语言、多模态推理、音频处理的模型，如 Qwen2-VL、QVQ-72B-Preview 和 Qwen2-Audio，进一步扩展了模型的应用范围。Llama 系列模型，从 Llama 3 开始，到 Llama 3.1、Llama 3.2 和 Llama 3.3，这些模型在参数规模、上下文长度和性能上不断突破，特别是 Llama 3.1 405B 版本成为了最大的开源大型语言模型之一。DeepSeek 系列模型的介绍，包括 DeepSeek LLM、DeepSeek-Coder、DeepSeekMath、DeepSeek-VL、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-VL2 和 DeepSeek-V3 等，这些模型在多语言、代码生成、数学推理、视觉语言处理等方面展现了卓越的能力，并且在性能和效率上都取得了显著的提升。Mistral AI 系列模型，包括 Mistral Large、Mistral Small、Pixtral Large、Mixtral 8x22B、Mistral NeMo、Codestral Mamba 和 Mathstral 等，这些模型在多语言推理、多模态处理、编程任务和数学推理等方面表现出色，并且在成本和性能之间取得了平衡。

这是本系列的第三篇文章，重点介绍如何从网络抓取数据以丰富大模型的上下文。无论是个人使用的 AI 搜索引擎，还是企业级的知识库应用，获取实时网络数据都是关键功能，特别是网页信息的更新，有助于提高大模型回答的准确性和时效性。关于本地文档（尤其是 PDF 文件、扫描印影件、图像等）的处理方法，已在上一篇文章中详细讨论。

这是本系列的第二篇文章，聚焦于智能文档处理（特别是 PDF 及图像解析）。无论是在模型预训练的数据收集阶段，还是基于 RAG 的知识库构建阶段，大量高质量数据通常以 PDF 或扫描图像的形式出现。由于这些文件的排版多样、格式不一以及扫描质量参差不齐，利用这些数据极具挑战。主要难点在于：一是有效提取内容信息和版面信息（如正文、标题、图注、图片、表格、公式等）；二是处理版面元素之间的关系。鉴于此领域的巨大需求，市场上既有开源框架，也不乏商业解决方案，涵盖了从传统 OCR 识别到新型多模态大模型，甚至两者的结合，本篇文章就对他们进行盘点并做功能解读，优缺点比较，应用场景选择推荐。

为了撰写开源中国即将发布的大模型生态 2024 年报告中关于开发者中间件和开源工具的年终总结，我回顾了过去一年所关注的开源项目，并计划将其整理成一系列文章。这些文章将涵盖从智能文档处理、生成式 AI 推理平台的对比，到大模型的结构化输出支持及 TTS 技术的选项等多个方面。这一系列文章既是我个人的年终总结，也旨在为感兴趣的读者提供有价值的信息。
这是该系列的第一篇文章，主题围绕 RAG 技术。在过去一年中，RAG 技术成为大模型应用中最热门的方向之一，开源社区因此涌现了许多相关项目，包括面向个人开发者的 SDK 集成、企业级框架以及面向普通用户的 RAG 应用。本文将重点介绍那些成熟度较高且专注于 RAG 技术的项目，所以像 FlashRAG（一个高效、模块化的开源工具包，用于复现现有 RAG 方法和开发新算法）和 GraphRAG（一种基于图的 RAG 方法，通过利用实体间的结构信息提高检索精度和生成更加符合上下文的响应）这类具有创新性的研究项目不在本文讨论范围内，同样，像 LangChain 这样包含 RAG 处理模块的综合框架也不在讨论之列。

大家好啊，好久不见，我们都知道当前基于大模型构建的 Agent 能力极不稳定，而今年我司产品又在规划接入 Agent 能力，所以在引入之前，需要先设计一套测试框架，来看看各种场景下容错率是否能达到目标阈值，所以我调研了几种测试方案，本篇来总结下。

当大模型成本逐渐降低，可靠性提升后，越来越多的业务应用将与LLM结合。为此，需要开发结合内部基础设施的SDK，更友好的prompt管理工具，能够快速构建RAG相关概念证明的平台。总之，需要一些封装好的框架快速调试应用，以支撑LLM应用开发的快速开发。