第一次部署开源ChatGLM-6B纪实

前言：部署过程超级简单 !!!!

进入github THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型 (github.com)

下拉至READEME.md，查看文档。

可以选用git bash 本地运行 git clone THUDM/chatglm-6b · Hugging Face

也可使用一键打包下载

遇到报错：没有cuda

1	AttributeError: C:\\Program Files (x86)\\NVIDIA Corporation\\PhysX\\Common\\cudart64\_30\_9.dll: undefined symbol: cudaDeviceGetAttribute

解决方法：

调用的dll中发生错误 · Issue #23 · THUDM/ChatGLM-6B (github.com)

(17条消息) 【Windows11】Cuda和Cudnn详细安装教程_Jin·的博客-CSDN博客

解决完毕，刷新后运行：

再次遇到报错：Torch无法启用cuda进行编译

AssertionError: Torch not compiled with CUDA enabled

怀疑是cuda和torch版本可能不匹配，测试一下

#检测cuda是否可用
import torch
print(torch.__version__)#torch版本
print(torch.cuda.is_available())#是否可用

出现以下情况：

1
2
3

Reloaded modules: transformers_modules, transformers_modules.THUDM, transformers_modules.THUDM.chatglm-6b, transformers_modules.THUDM.chatglm-6b.a10da4c68b5d616030d3531fc37a13bb44ea814d, transformers_modules.THUDM.chatglm-6b.a10da4c68b5d616030d3531fc37a13bb44ea814d.tokenization_chatglm, transformers_modules.THUDM.chatglm-6b.a10da4c68b5d616030d3531fc37a13bb44ea814d.configuration_chatglm, transformers_modules.THUDM.chatglm-6b.a10da4c68b5d616030d3531fc37a13bb44ea814d.modeling_chatglm
2.0.1+cpu
False

版本是2.0.1，出现False,说明二者不兼容——torch是cpu的版本。

安装cuda版本Pytorch：

卸载不合适的Pytorch

pip uninstall torch

Uninstalling torch-2.0.1:
  Would remove:
    c:\users\11298\appdata\local\programs\python\python311\lib\site-packages\functorch\*
    c:\users\11298\appdata\local\programs\python\python311\lib\site-packages\torch-2.0.1.dist-info\*
    c:\users\11298\appdata\local\programs\python\python311\lib\site-packages\torch\*
    c:\users\11298\appdata\local\programs\python\python311\lib\site-packages\torchgen\*
    c:\users\11298\appdata\local\programs\python\python311\scripts\convert-caffe2-to-onnx.exe
    c:\users\11298\appdata\local\programs\python\python311\scripts\convert-onnx-to-caffe2.exe
    c:\users\11298\appdata\local\programs\python\python311\scripts\torchrun.exe
Proceed (Y/n)? Y
  Successfully uninstalled torch-2.0.1