开源模型部署需要的硬件配置，16 位浮点精度（FP16）的模型，推理所需显存（以 GB 为单位）约为模型参数量（以 10 亿 为单位）的两倍，据此，Llama 3 7B（70 亿）对应需要约 14GB 显存以进行推理（以普通家用计算机的硬件规格作为参考，一块 GeForce RTX 4060 Ti 16GB 显卡市场价超过 3000 元）。模型量化（quantization）技术可以很大程度上降低显存要求，以 4-bit 量化为例，其将原本 FP16 精度的权重参数压缩为 4 位整数精度，使模型权重体积和推理所需显存均大幅减小，仅需 FP16 的 1/4 至 1/3，意味着约 4GB 显存即可启动 7B 模型的推理（实际显存需求会随着上下文内容叠加而不断增大）...

前段时间，音乐人包小柏用 AI 重现女儿的声音和形象，商汤科技创始人汤晓鸥被公司以数字人的形式现身年会，“AI 复活”走入现实。然而“AI 复活”展现出来的科技人文关怀，没几天就变味了。多位已故明星李玟、乔任梁、高以翔被“复活”，登上微博热搜，但这些网友擅自的复活遭到了明星亲属的极力反对，关于AI“复活”逝者，你怎么看?