DeepSeek-V2搅动市场,大模型价格战已拉开序幕?|莫尔索随笔 Vol.4

大家好,会员计划第 4 期会员通讯已送达!上周由于假期原因暂停一周,本期包括的内容如下:在论文部分,我们梳理了在ICLR'24提交的论文中,基于大语言模型的智能体相关的全部98篇论文,探讨了如何在大语言模型驱动的数据分析中发现和探索对话上下文中的洞察力,摩根大通分享了如何利用LLM构建自动化金融工作流程,还有一篇关于RAG在LLMs中应用的综述。在工程部分,介绍了一个开源的构建ChatBI框架,一个提供统一的方式调用任意不同的RAG排序模型的框架,分享了一篇生产环境如何选择LLM推理服务所需要的GPU资源和推理框架的实践,微软亚洲研究院探讨了如何构建一个支持多模态、为向量索引和标量索引扫描提供统一化的数据库设计思路。市场方面,国外市场部分分享了500强企业2024年构建和采购AI服务的变化趋势报告,国内方面提供了2024年第1季度中国大模型季度监测报告,梳理了2024年1~4月国内大模型项目中标数据,腾讯旗下协作SaaS产品全面接入混元大模型、飞书的智能伙伴、钉钉AI助理市场,并从Copilot能力、Workflow能力、Agent能力进行了比较。在产品方面,我们对国内外20余款智能编程助手类产品进行了盘点,深入介绍了自动化平台的演进,探讨了从RPA产品到Agent平台的调研,观察了YC W2024硅谷AI创业的新趋势,讨论了DeepSeek-V2的发布对国内市场营销的影响。最后的观点环节,Zoho中国、实在智能、合思、腾讯云四家代表厂商探讨了在AI时代下企业如何做ToB应用。点击阅读原文,获取更好阅读体验。本期内容为会员每周通讯,会员可免费阅读。
阅读更多

LIama 3 是大模型游戏规则改写者吗|莫尔索随笔 Vol.3

LIama 3 的影响还在持续,仅仅一周,社区已经冒出来超过 100 多个 LIama 3 微调和其他周边项目,Github 上的 AI 领域热门项目已经第一时间支持了 LIama 3,LIama 3 让企业低成本使用高质量模型成为可能。本期包括 3 篇论文分享、5 篇工程实践案例、3 条产品 tips 和两条市场信息,内容包括万字长文带你了解 Llama 模型生态的前世今生,如何提升 RAG 在领域专业知识上的准确性,AI Agent 的最新实现进展盘点,以及在实践中如何评估 LLM 产品,如何提高 AI 产品设计体验;最后对 ChatGPT 跨对话保持长期记忆的新特性进行解读,同时送上一份 Hume.AI 出品的语义空间理论,如何科学的测量和理解情感,做到让 AI 分析你的情绪,并根据你的情绪进行回答。
阅读更多

开源模型与闭源模型之间的差距有多大?|莫尔索随笔 Vol.2

开源模型部署需要的硬件配置,16 位浮点精度(FP16)的模型,推理所需显存(以 GB 为单位)约为模型参数量(以 10 亿 为单位)的两倍,据此,Llama 3 7B(70 亿)对应需要约 14GB 显存以进行推理(以普通家用计算机的硬件规格作为参考,一块 GeForce RTX 4060 Ti 16GB 显卡市场价超过 3000 元)。模型量化(quantization)技术可以很大程度上降低显存要求,以 4-bit 量化为例,其将原本 FP16 精度的权重参数压缩为 4 位整数精度,使模型权重体积和推理所需显存均大幅减小,仅需 FP16 的 1/4 至 1/3,意味着约 4GB 显存即可启动 7B 模型的推理(实际显存需求会随着上下文内容叠加而不断增大)...
阅读更多

你支持AI“复活”逝者吗|莫尔索随笔 Vol.1

前段时间,音乐人包小柏用 AI 重现女儿的声音和形象,商汤科技创始人汤晓鸥被公司以数字人的形式现身年会,“AI 复活”走入现实。然而“AI 复活”展现出来的科技人文关怀,没几天就变味了。多位已故明星李玟、乔任梁、高以翔被“复活”,登上微博热搜,但这些网友擅自的复活遭到了明星亲属的极力反对,关于AI“复活”逝者,你怎么看?
阅读更多