chatgpt国产化小规模化的实现非常的多。
今天我们用腾讯云提供的60块15天的t4服务器要来实现的是chatglm。
一个清华开源的类chatgpt对话式大参数量语言模型。
(相关资料图)
首先验证一下实例的python环境,python环境验证为3.8版本python。适合当前实验。
第二验证实例的cuda环境 cuda为11.4
第三开始安装实验所需要的基础深度学习框架
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
向下一个版本的cuda应该可以。在后面的实验中我们会验证一次。如果cuda不支持的话,需要我们重新安装一遍cuda适配的版本,之前的实验中cuda的选择11.7、11.8都是可以跑的。
第四开始寻找哪些盘符的空间比较大
df -h
第五进入盘符空间比较大的文件夹下,通过git clone获取chatglm的代码。
git clone https://github.com/THUDM/ChatGLM-6B.git
目前看git clone的速度比较慢一些。多clone两次发现还是能clone下来的。
第六 进入目录后执行 cli_demo.py
项目会自动下载chatglm模型。