大模型提取表格信息(TIS)的能力究竟如何?|莫尔索随笔 Vol.10

⼤家好,会员计划第 10 期会员通讯已送达!本期 4 篇论文内容主要围绕 LLM 在表格识别方面能力探索、RAG 流程优化方案以及提示词自动化优化策略方面,工程方面是关于怎样构建一个 LLM 驱动的自动数据采集应用、如何在本地构建完全免费的语音识别方案、RAG 系统从 Naive RAG 到 Advanced RAG 再到 Modular RAG 的演进,产品方面梳理了 11 款 AI+招聘工具的产品功能、从电子表格与数据库的历史看如何将大模型与智能数据分析相结合,市场方面总结了做垂直领域 AI 的思路,单点的打深、做透,专业量化测评专家+AI 算法专家的组合,特别是前者,领域专家带来的产品杠杆要远大于技术,最后的观点部分讨论了为什么现阶段的 Agent 都是噱头(凡是在应用中加入 LLM 作为语义理解组件的都说自己是 Agent)以及这一轮生成式 AI 泡沫下究竟有多少啤酒,更多内容请查看周刊全⽂。本期内容为会员每周通讯,加⼊会员可免费阅读所有会员付费内容,会员计划详细信息戳此了解。
阅读更多

构建 AI 产品过程的踩坑经验总结|莫尔索随笔 Vol.9

⼤家好,会员计划第 9 期会员通讯已送达!本期内容信息量较大,毕竟 2024 年即将过半,包括一份 OpenAI、微软、马里兰大学和learnprompting社区联合发布的提示词技术调研报告,一篇总结大语言模型在信息抽取上的各方面应用的综述,看看一线工程师从过去一年构建基于大模型的产品中总结到哪些经验,大模型开源生态中国力量的现状分析, 过去一年的硅谷顶级 AI 初创公司和产品盘点,从字节的 Dreamina、腾讯的 VideoCrafter2 到右脑科技的 Vega AI、爱诗科技的 PixVerse,还有最近大热的快手可灵和 Luma 的 Dream Machine,看看文生视频/图生视频模型的发展现状,更多内容请查看周刊全文。
阅读更多

如何针对 GPT-4o 语音模式进行越狱攻击?|莫尔索随笔 Vol.8

大家好,祝大家端午快乐,会员计划第 8 期会员通讯已送达!本期分享的内容包括:如何利用这些多模态模型实现企业工作流程的端到端自动化;英伟达研究团队通过严谨的测试发现大多数商业模型的上下文长度虚标严重,甚至达到 32K 上下文长度的都不多;如何针对 GPT-4o 语音模式的进行越狱攻击;产品方面剖析了 Meta、Slack、Spotify 等 20+顶级科技公司如何将 AI 融入其产品中;a16z 盘点了 AIGC 如何推动营销和销售领域的发展,包括产品及项目调研;OpenAI 分享他们在 RAG 技术的最佳实践;开源社区最流行的 RAG 构建框架 LlamaIndex 团队对 RAG 技术现状总结;以及王铁震老师对中文 LLM 开源生态的观察分享,更多内容请查看周刊全文。本期共包括 4 篇论文、4 篇工程实践相关文章、5 条 AI 产品相关和 2 条市场方面的洞见,最后在观点部分分享了人工智能时代如何助推全球新产业革命,以及为什么在大模型开源社区国内贡献度和影响力极不匹配。本期内容为会员每周通讯,加入会员可免费阅读所有会员付费内容,会员计划详细信息戳此了解。
阅读更多

如何利用大模型解决传统行业的老问题?|莫尔索随笔 Vol.7

大家好,会员计划第 7 期会员通讯已送达!本期分享的内容包括:通过比较不同的 RAG 评估框架(RAGAs、CDQA、RECALL、MedRAG 等),教你如何设计一个合适的 RAG 评估体系;为了提高 RAG 召回率,如何使用非 chunking 方式,对数据预处理阶段进行优化;如何结合大语言模型,从用户或商品评论中生成更精确的用户和商品档案,用于推荐系统;产品方面分享了服装行业与 AI 技术如何结合,在面料设计、产品设计、定向改款和与 ODM 供应商的协作中发挥重要作用;详细盘点了在教育、法律、金融、医疗这类高价值行业做文档处理时,是如何对化学式、数学公式、表格、图表等重要信息做准确识别和处理的,包括开源方案和商业化产品;市场方面看看 a16z 是如何解读 AI 实时语音助手市场的,包括产品及项目调研,更多内容请查看周刊全文。本期共包括 4 篇论文、5 篇工程实践相关文章、5 条 AI 产品相关和 2 条市场方面的洞见,最后在观点部分分享下为什么 Scaling Law 本身代表一个非常悲观的未来?本期内容为会员每周通讯,加入会员可免费阅读所有会员付费内容,会员计划详细信息戳此了解。
阅读更多

如何将 AI 模型转化为生产环境中的产品?|莫尔索随笔 Vol.6

大家好,会员计划第 6 期会员通讯已送达!在本期分享内容包括:如何将 AI 模型转化为生产环境中的产品,包括售前与解决方案的草稿完成、产品或项目启动、数据采集与管理、模型训练与调试等,非常适合本次 AI 浪潮新入场做大模型项目交付的乙方朋友以及甲方决策者阅读;Agent 可观测性项目,用于代理应用执行图分析和调试;LLM 微调和训练平台产品,用于提升训练效率,提高推理速度,减少显存占用;产品方面包括生成式 UI/UX 产品盘点;市场方面分享了 2024 年零售与消费品行业 AI 现状与趋势 报告,更多内容请查看周刊全文。本期共包括 4 篇论文、4 篇工程相关文章、4 条产品信息和 3 条市场方面的洞见,最后在观点部分重点分享了从 GPT-3 开始,AI 是如何开始改变企业的游戏规则的。
阅读更多

面向企业的大模型应用算一个新赛道吗?|莫尔索随笔 Vol.5

大家好,会员计划第 5 期会员通讯已送达!在本期分享内容包括:揭秘 OpenAI 发布会现场演示中 GPT-4o 低延迟语音交谈背后采用的实时语音解决方案,IBM 在实践中如何利用三种混合搜索方案(关键字搜索、向量搜索、基于语义的稀疏编码器搜索)提升 RAG 效果, 分享 LinkedIn 在客服问答系统中如何结合检索增强生成(RAG)和知识图谱(KG)的,同时介绍一款快速准确地将 PDF 转为 markdown 的开源工具,和一个 OCR 开源项目,提供了完整的 OCR 解决方案所需的所有功能,一款向量数据库厂商 Weaviate 开源出生产级 RAG 框架。国内大模型市场方面,介绍了零一万物开源的 Yi-1.5 模型、腾讯的新产品(智能体平台)腾讯元器、字节豆包系列大模型(原云雀)、Kimi 会员功能(对话唤出打赏功能),最后分享一组关于各个大模型的 TTFT (Time To First Token,token 首次输出时间)以及 TPS(Tokens Per Second,每秒处理 token 数)数据的对比,以及「大模型应用层 To B 并不是一个新赛道」的洞见,本期共包括 4 篇论文、5 篇工程相关文章、6 条产品信息和 3 条市场方面的洞见。
阅读更多

GPT-4o 到底有多能打?设计一个报告生成类 AI Agent 测一测

在上一篇文章,分享了使用 DeepSeek-V2+LangGraph 编写了一个编码助手类 AI Agent ,这篇文章使用 OpenAI 最近上新的 GPT-4o,结合 LangGraph 编写一个能够撰写高质量研究报告的多智能体系统,实现机制参考 gpt-researcher,我会首先介绍下 gpt-researcher 这个项目的工作机制,然后使用 LangGraph 逐步进行实现。

阅读更多

DeepSeek-V2搅动市场,大模型价格战已拉开序幕?|莫尔索随笔 Vol.4

大家好,会员计划第 4 期会员通讯已送达!上周由于假期原因暂停一周,本期包括的内容如下:在论文部分,我们梳理了在ICLR'24提交的论文中,基于大语言模型的智能体相关的全部98篇论文,探讨了如何在大语言模型驱动的数据分析中发现和探索对话上下文中的洞察力,摩根大通分享了如何利用LLM构建自动化金融工作流程,还有一篇关于RAG在LLMs中应用的综述。在工程部分,介绍了一个开源的构建ChatBI框架,一个提供统一的方式调用任意不同的RAG排序模型的框架,分享了一篇生产环境如何选择LLM推理服务所需要的GPU资源和推理框架的实践,微软亚洲研究院探讨了如何构建一个支持多模态、为向量索引和标量索引扫描提供统一化的数据库设计思路。市场方面,国外市场部分分享了500强企业2024年构建和采购AI服务的变化趋势报告,国内方面提供了2024年第1季度中国大模型季度监测报告,梳理了2024年1~4月国内大模型项目中标数据,腾讯旗下协作SaaS产品全面接入混元大模型、飞书的智能伙伴、钉钉AI助理市场,并从Copilot能力、Workflow能力、Agent能力进行了比较。在产品方面,我们对国内外20余款智能编程助手类产品进行了盘点,深入介绍了自动化平台的演进,探讨了从RPA产品到Agent平台的调研,观察了YC W2024硅谷AI创业的新趋势,讨论了DeepSeek-V2的发布对国内市场营销的影响。最后的观点环节,Zoho中国、实在智能、合思、腾讯云四家代表厂商探讨了在AI时代下企业如何做ToB应用。点击阅读原文,获取更好阅读体验。本期内容为会员每周通讯,会员可免费阅读。
阅读更多