Vol.15:大语言模型应用如何实现端到端优化?

⼤家好,会员计划第 15 期会员通讯已送达!
论文部分提到了一种优化查询生成的方法 QOQA,用于提升 RAG(Retrieval-Augmented Generation)中的文档检索准确性。AGENTPOISON 是一种针对 LLMs 代理的红队攻击方法,通过毒化记忆或知识库来实现攻击。另一篇论文探讨了在递归生成的数据上训练 AI 模型时可能出现的问题。微软亚洲研究院提出了 Parrot 系统,以优化 LLMs 应用的端到端性能。
在工程实践方面,文章详细分析了 RAG 技术的应用和挑战,以及 LangChain 博客中提出的增强代理规划的方法。WWDC 24 介绍了使用 Core ML 运行 Mistral 7B 的方法。微软推出了 MInference 工具,用于优化长上下文语言模型的推理过程。
产品发布部分包括了开源模型 Llama-3.1 的发布,Mistral Large 2 的推出,以及 OpenAI 宣布的 AI 搜索引擎产品 SearchGPT 的内测。智谱 AI 推出了新一代视频生成模型 CogVideoX,DeepSeek API 也进行了升级。
市场动态部分梳理了 15 家获得投资的 AI 搜索公司的情况,发布了《生成式 AI 商业落地白皮书》,并统计了六个城市在人工智能赛道的融资情况。还讨论了 Voice Agent 作为 AI 时代的交互界面。

阅读更多

Vol.14:如何改进大模型代码生成能力?

⼤家好,会员计划第 14 期会员通讯已送达!
论文部分介绍了几项研究成果,包括如何通过证明者 - 验证者游戏提高语言模型输出的可读性,以及如何结合传统关系提取方法和大型语言模型来提升小样本关系抽取的性能。还分析了大型模型生成代码时的常见错误类型,并提出了通过自我批评机制来改进代码生成的方法。此外,还提出了 Speculative RAG 框架,用于增强基于检索的生成模型的性能。
工程部分展示了一些实际应用,例如 Groq 宣布开源了 Llama3 8B/70B 模型的微调版本,阿里巴巴推出了语音模型 Qwen2-Audio,以及介绍了 PDF-Extract-Kit 和 LlamaParse 等工具。同时,还讨论了如何选择适合微调和推理的 GPU,以及如何将大型语言模型的上下文扩展至百万级别。
产品部分介绍了一些基于大型语言模型的产品,如知识管理系统 storm、AI 搜索产品 Exa、以及 Mem0 等,这些产品在不同的领域展示了大型模型的应用潜力。
市场部分分析了生成式 AI 推理企业的市场机遇、竞争与未来趋势,并对 OpenAI 发布的 GPT-4o mini 以及 GPT-3.5 模型的退出进行了说明。同时,还提供了对 2024AI 体验营销行业研究报告的概述,探讨了 AI 体验营销的发展趋势和市场规模。
观点部分提到了百度主任架构师李乐丁对于 AI 的实际认知,强调了大型模型的本质是深度学习驱动的数学公式,旨在打破对 AI 的不切实际幻想,并重建正确的认知。

阅读更多

Vol.13:如何验证模型是否被测试集污染?

⼤家好,会员计划第 13 期会员通讯已送达!
论文部分介绍了一种无需访问预训练数据或模型权重即可验证测试集污染的方法,通过对模型的测试问题进行有序和无序的展示,观察似然概率的统计显著差异来检测数据污染。同时,介绍了对话代理框架的提出,该框架能够实现对话控制和规划最优对话行动,以及提高 RAG(Retrieval-Augmented Generation)模型性能的 RankRAG 指令微调框架。最后,介绍了 NL2SQL 的 RB-SQL 框架,用于提高大型数据库和复杂多表查询的处理能力。
工程部分讨论了知识助手的未来发展趋势,包括 Agentic RAG 的流程和 PE-Rank 的开源,以及开源 TTS 项目的整理和评估。同时,提到了 Open AI 研究员 Lilian Weng 的文章,完整探讨了 LLM 产生幻觉的原因、检测方法和防止幻觉的方法。
产品部分展示了 Anthropic Console 的新功能,能以生成、测试和评估 prompt,以及 DeepSeekMath 这款数学推理能力接近 GPT-4 的 7B 模型。还提到了 Nexa AI 提供的 AI Agent 解决方案,以及 LanceDB 这种为 AI 多模态数据设计的数据库。
市场部分分析了 AI 医疗产业的发展现状和趋势,探讨了从云计算到大模型时代的数据库行业竞争,以及 OpenAI 推出的 AGI 五级路线图。

阅读更多

Vol.12:RAG 在企业落地中的挑战

⼤家好,会员计划第 12 期会员通讯已送达!论文部分提到了大模型的归因问题,斯坦福提出了统一归因框架以帮助开发者安全验证大模型。接着,详细讨论了 RAG 技术的最佳实践方法,包括对不同 RAG 模块的优化研究,以及提出的两种 RAG 实施策略。此外,介绍了 LLM 路由原则框架 RouteLLM,以及 Mooncake 等技术报告,这些技术旨在提高资源利用率和系统性能。在工程领域,探讨了构建面向表格智能任务的大语言模型,以及基于知识图谱的 RAG 实现案例。产品部分展示了 Kyutai 等公司发布的实时语音多模态模型,以及 CodeGeeX 第四代模型的发布。市场部分分析了 AI 大模型对营销行业的影响,并提供了对话腾讯汤道生的访谈摘要。最后,观点部分讨论了大模型对程序员和产品经理角色的影响,以及 RAG 在企业应用中面临的挑战,包括数据安全、准确性、可解释性和可扩展性等方面。

阅读更多

Vol.11:AI 应用爆发何时到来?

⼤家好,会员计划第 11 期会员通讯已送达!本期介绍了 YC 投资的借助 AI 构建第二大脑类产品,如何打通个人笔记、本地文件和在线实时内容,同时还支持私有部署、保障隐私安全(产品已开源);以 YC 投资的 AI 代码助手为例,看看打造一款 AI 驱动智能开发工具应该包含哪些组件和技术细节(产品已开源);探讨一种新的 Design-to-Code 框架,将设计稿转代码的有效性大幅提高;RAG 文本分块除了语义分块、段落级、循环分块、HyDE,还有哪些高级方法;最后市场部分分享了两篇深度文章,分别从中美市场现状出发,探讨了当下的 AGI 应用还没有大爆发的原因,

阅读更多