类 ChatGPT 模型调研
ChatGPT虽然强大，但在国内的政策下，真要落地数据安全才是最重要的，Meta AI 发布的 LLaMA 让大家看到在相对较小的模型上使用大规模数据集训练并达到较好性能的曙光，笔者也第一时间使用 Docker 和 Alpaca LoRA 对 LLaMA 7B 大模型进行 Fine-Tune，内部使用达到预期效果。下面将该过程使用到的背景资料进行整理，为想私有化落地的朋友作为参考！
我的新书《LangChain编程从入门到实践》 已经开售！推荐正在学习AI应用开发的朋友购买阅读！
ChatGPT模型
类ChatGPT模型
LLaMA
- Github：LLaMA
- 模型文件：LLaMA-7b-hf
- 论文：LLaMA: Open and Efficient Foundation Language Models
Alpaca
Bloomz(支持中文)
- Github：Bloomz
- 模型文件：Bloomz
- 论文：Crosslingual Generalization through Multitask Finetuning
Belle(支持中文)
- Github：Belle
- 模型文件：
- Belle-7B-2M（基于Alpaca训练）
- Belle-LLAMA-7B-2M（基于LLAMA训练）
- 论文：无
哈工大中文LLaMA(支持中文)
- Github：Chinese-LLaMA-Alpaca
- 模型文件：
- 论文：无
ChatGLM
- Gtihub：ChatGLM-6B
- 模型文件：THUDM/chatglm-6b
- 论文：ChatGLM
其他
训练方法
学习资料
- InstructGPT 论文精读【论文精读·48】
- Anthropic LLM 论文精读【论文精读·51】
- GPT-4论文精读【论文精读·53】
- 一文详解Prompt学习和微调（Prompt Learning & Prompt Tuning）
- BLOOM 训练背后的技术
- PEFT: 在低资源硬件上对十亿规模模型进行参数高效微调
相关论文
类 ChatGPT 模型调研
