The Connector 周刊#10:DevOps 文化实践指南

The Connector 每周会选取我从信息流里获取的有价值内容,包括 AI 探索专题、Github 开源库推荐、工具介绍和一些文章书籍等,目标是链接互联网上的优质内容,获得更多的灵感和知识,从而激发彼此的创造力。

我的新书《LangChain编程从入门到实践》 已经开售!推荐正在学习AI应用开发的朋友购买阅读!
LangChain编程从入门到实践

AI 探索

  1. 用 LLM 构建企业专属的用户助手:很好的 LLM 应用工程实践,主要介绍了 PingCAP 如何使用大型语言模型(Large Language Model,LLM)构建一个搭载企业专属知识库的智能客服机器人。除了采用行业内通行的基于知识库的问题解答方法,还尝试让模型在“小样本(Few-Shot)”学习下进行不良(毒性)内容识别,如何对机器人性能进行优化以提高准确度,包括解决“不准确的不良(毒性)内容识别”、“上下文理解错误”、“语义搜索结果不精确”以及“文档信息不足或过时”等问题。
  2. LightLLM:纯Python超轻量高性能LLM推理框架:大语言模型受到越来越多的关注,极大的提高了人们的工作效率,然而如何低成本、高吞吐的将参数量动辄千亿的模型部署到各类服务器上,成为将技术进一步大范围推广的关键,本文比较了LightLLM,FasterTransformer,Text-Generation-Inference(简称TGI),vLLM几个流行推理框架。
  3. AI 推理加速原理解析与工程实践分享:AI 推理是指将用户输入的数据,通过训练好的模型产生有价值信息的过程。具体的是将训练好的 AI 模型部署到提供算力的硬件上,并通过 HTTP/RPC 等接口对外提供服务,对 AI 算法工程师来说,他们希望自己训练的复杂模型可以更快的提供服务,而对于基础架构工程师来说,他们则希望可以将价格昂贵的 GPU 资源发挥出最好的效能,本文就探讨了这两类问题的解决思路。

开源推荐

  1. NLP民工的乐园:一个markdown项目,几乎是最全的中文NLP资源库索引了。
  2. guidance:一个解决LLM可控输出的项目,通过“模板语言”来定义 LLM 的输出结构,以确保输出格式的正确性。

工程师工具

  1. ReadPaper:集翻译、阅读、搜索、管理等于一体的专业科研神器,特别是多人共读论文场景,协作方面很强大。
  2. DevPod:Github Codespaces,Jetbrains Spaces或Google Cloud Workstation这一类产品可选替代,支持VSCode和完整的Jetbrains套件,支持主流的云厂商服务器、Kubernetes 集群,以及本地笔记本电脑。
  3. llm.report:可以通过对 OpenAI 的 API 请求日志进行记录,能够分析成本并改进提示,此类的产品现在很多,但是这款做的最好看,数据分析的也最全面。
  4. Cerelyze:将技术研究论文转化为可用的代码,ReadPaper Copilot工具,值得关注。

值得一看

  1. 《DevOps实践指南》:以流动、反馈、持续学习和实验 三步工作法作为 DevOps的基础原则,然后针对每个环节遇到的问题针对性提出一些技术实践,适合有一定工作经验的软件工程参与者阅读,才会对一些问题感同深受。DevOps是一种很好的团队文化,但是不得不说对个人的要求很高,我的理解就是能流程化的一定要通过技术改造为自动化,价值流上参与的每个个人做到凡事有交代,件件有着落,事事有回音,这样的团队肯定会高效,方法论固然好,还是在于人的执行,很值得一读。在团队协作中,以这样的理念来要求自己,做齿轮,不做螺丝钉。
  2. Matrices and graphs:作者把矩阵转换为有向加权图,进行定理推导,思路很有意思。

The Connector 周刊#10:DevOps 文化实践指南

https://liduos.com/the-connector-weekly-10.html

作者

莫尔索

发布于

2023-08-27

更新于

2024-05-24

许可协议

评论