在 macOS 上安装 ChatGLM2-6B

2023年06月29日

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，可单机部署。本文记录下要注意的点。

  1. 安装 MPS 。PyTorch 使用新的 Metal Performance Shaders 进行加速，可显著提升训练速度。安装可参考 Apple 的说明。
  2. 建议手动下载完整的模型实现，地址在 huggingface 。其中类似pytorch_model-00001-of-00007.bin。
  3. 修改代码支持本地加载模型。如项目中的web_demo.py，参考如下：
# No.5 "../chatglm2-6b-models/chatglm2-6b" 修改为你本地的模型路径
tokenizer = AutoTokenizer.from_pretrained("../chatglm2-6b-models/chatglm2-6b", trust_remote_code=True)
# No.6 同上
model = AutoModel.from_pretrained("../chatglm2-6b-models/chatglm2-6b/", trust_remote_code=True).to('mps')
# No.107 建议增加 server_name 以支持内外网其它客户端
demo.queue().launch(share=False, inbrowser=True, server_name='0.0.0.0')

实测 M1 Max + 32G 统一内存 可顺利运行。

ChatGLM2