Vol.33:为什么视频生成模型比文本生成模型发展速度更快?
本期内容通过论文、工程、产品和市场四个部分,论文部分,在视频理解模型 Apollo 中,研究揭示了帧率(fps)采样与 token 数量(tps)之间的权衡,以及在视频编码器上的微调可以进一步提高性能。此外,论文还探讨了 OmniParser 在 OCR 领域的应用,以及 OCR 对 RAG 系统性能的影响。在多智能体大语言模型的研究中,提出了四种不同的范式,并讨论了其在对话任务中的应用。还有,研究团队提出了在潜在空间中进行推理的方法,以提高大语言模型在数学和逻辑推理任务中的性能。在工程方面,介绍了 Rockset 的混合搜索架构,以及 MarkitDown 和 PipeCat 等开源工具。PromptWizard 作为一个提示词自动优化框架,也被提及。产品部分,Google 发布了 Veo 2 和 Imagen 3,以及新工具 Whisk,提升了视频和图像生成的质量。GitHub Copilot 推出了免费版本,而 OpenAI 发布了 o1 模型的 API 以及最新的 o3 模型。Remento 和 DeepSeek-VL2 等新产品也被介绍。市场方面,智谱和爱诗科技完成了大规模融资,Perplexity 收购了 Carbon,以及 2024 年语音 AI 行业现状报告的内容也被总结。最后,网页提出了视频生成模型发展速度快的原因,并预测了 2025 年 AI 的六大趋势。
阅读更多