本地化部署Chatglm和防踩坑攻略

最近想搞点什么东西练练手,传统crud又没有意义,于是就看到了给介绍AI的文章,然后就慢慢自己摸索,从0到1,独自部署应用。

最近想搞点什么东西练练手,传统crud又没有意义,于是就看到了给介绍AI的文章,然后就慢慢自己摸索,从0到1,独自部署应用。

项目简介

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:

  1. 更强大的基础模型:  ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
  2. 更完整的功能支持:  ChatGLM3-6B 采用了全新设计的 Prompt 格式 ,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。
  3. 更全面的开源序列:  除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。以上所有权重对学术研究完全开放 ,在填写 问卷 进行登记后亦允许免费商业使用

具体请查看官方GitHub github.com/THUDM/ChatG…

环境

python

项目要求python环境最低3.10,安装完成后执行 python -v查看python版本

conda

安装conda

这里我选的是miniconda,具体请自行选择docs.conda.io/en/latest/

安装完成使用conda -V 查看版本号即可表示安装成功

本地化部署Chatglm和防踩坑攻略

部署

先把项目拿下来

git clone https://github.com/THUDM/ChatGLM3

切换到根目录,使用pip安装依赖

bash
复制代码
cd ChatGLM3 pip install -r requirements.txt

ChatGLM3basic_demo目录下执行命令

arduino
复制代码
streamlit run web_demo_streamlit.py

第一次执行需要下载很大的模型文件,大概11g左右

本地化部署Chatglm和防踩坑攻略

特别注意,此处需要使用魔法(非国内节点),否则会报错。

本地化部署Chatglm和防踩坑攻略

启动成功后,如果你的控制台出现以下一句话就说明你使用的是cpu在运算

WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.

本地化部署Chatglm和防踩坑攻略

因为CPU跑太慢了,我们必须要使用GPU进行运算。 在web_demo_streamlit.py文件里面有这么一段代码

python
复制代码
def get_model(): tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True) model = AutoModel.from_pretrained(MODEL_PATH, trust_remote_code=True, device_map="auto").eval() return tokenizer, model

我们把他改造一下

python
复制代码
def get_model(): tokenizer = AutoTokenizer.from_pretrained(TOKENIZER_PATH, trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True,device_map="cuda").quantize(4).cuda() return tokenizer, model

然后再启动我们的项目,心想美滋滋啊,终于能跑了。

但是事情没有想象中那么简单启动后还是会出现WARNING:root:Some parameters are on the meta device device because they were offloaded to the cpu and disk.

pytorch

查阅资料后发现,是因为我们的pytorch没有安装正确的版本

使用python交互模式输入

python
复制代码
import torch as t print(t.cuda.is_available()) print(t.__version__)

可以看到输出是False和xxx+cpu这样的数据

既然是错误的版本,那重新安装就可以了吧。 我们去到PyTorch官网根据我们的机器进行版本安装 pytorch.org/get-started…

本地化部署Chatglm和防踩坑攻略

cuda版本

控制台输入

复制代码
nvidia-smi

查看GPU信息

本地化部署Chatglm和防踩坑攻略

右边的cuda是最高支持的版本,左边是GPU驱动信息

然后根据你的驱动版本在cuda官网查看对应的cuda版本 docs.nvidia.com/cuda/cuda-t…

本地化部署Chatglm和防踩坑攻略

找到对应的cuda版本之后我们到

developer.nvidia.com/cuda-toolki…

下载你的GPU对应的版本号。

安装cuda的时候注意,这个界面只是把安装程序解压到此目录,真正的安装在后面。

本地化部署Chatglm和防踩坑攻略

这个目录cuda安装完成后会自动删除,但是还是不建议放在c盘。 等待一段时间后会出现以下窗口。

本地化部署Chatglm和防踩坑攻略

此处才是真正的cuda安装路径,还是不要放在c盘,安装过程屏幕可能会闪烁,这属于正常现象。

安装完成后控制台使用 nvcc -V查看版本

本地化部署Chatglm和防踩坑攻略

ok,cuda和pytorch都安装完成了,我们测试一下能不能使用到cuda
python
复制代码
import torch print(torch.cuda.is_available())

本地化部署Chatglm和防踩坑攻略

python
复制代码
import torch print(torch.__version__)

本地化部署Chatglm和防踩坑攻略

注意,笔者使用conda安装pytorch后运行出现以下情况

本地化部署Chatglm和防踩坑攻略

结果一看还是cpu版本的pytorch,不知道是什么情况,欢迎评论区指出。

再来启动一次AI,等待一段时间后会自动跳转到以下界面

本地化部署Chatglm和防踩坑攻略

此图为官网图,~~我的忘记截图了~~

我本来以为我的显卡能跑起来的,但是试了之后发现,三分钟跑一个字

本地化部署Chatglm和防踩坑攻略
右边GPU使用和显存直接爆了,风扇转得飞起,下次还是去租一个云服务器跑吧。

总结

虽然跑起来很吃力,但是总算是踩了几个坑跑完了了,只是有点慢(

朋友们安装pytorch的时候要注意版本以及cuda的版本对应关系,坑都是这两个比较深。

笔者也是第一次玩这东西,欢迎大家评论区讨论指出不足。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
人工智能

探索生成式AI的未来:Chat与Agent的较量与融合

2024-6-3 19:40:58

人工智能

效率翻倍!6 款不容错过的免费 AI 神器

2024-6-12 5:46:06

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索