“ 这两天根据官方文档搭建国产开源大模型 ChatGLM2-6b,不说七七四十九难,也碰到不少坑,坑坑不一样。”
01
—
之前ChatGLM2-6B 初体验文章发出时,答应朋友搭建一个免申请的版本,方便朋友们试用咱们的国产大语言模型。
从官方指引开始,官方 Git 仓库:
https://github.com/THUDM/ChatGLM2-6B
看着很简单,统共3行命令。
我就信心满满的撸起袖子开干:买个虚拟空间开始。没想到,这才是碰个满头包的开始。
按传统的思路,买了一台云服务器,操作系统为国产 OpenCloudOS Server 8。远程登录上去,一顿前置软件安装:yum update, git, python,docker。
过程也没少遇到各种报错,好在本人经验丰富,一一摆平!
但是由于 python 的版本没注意,安装是按搜索教程里面的版本,略低,导致给后面的步骤埋下了坑。
ChatGLM2-6B 仓库克隆到本地后,用 pip 安装依赖库出现第一个大坑:
“No matching distribution found for transformers>=4.20.1 (from chatgpt==0.1.0) #2752”。
最重要的依赖 transformer 居然安装不上,这怎么行!
stackoverflower 有个同样的问题,回答是:“You need Python >=3.7.”。
一检查发现之前安装的 Python 是 3.6.8。继续折腾,重新安装 3.8 版本。
再重试还是不行,卒。
再找,关于安装 transformer 的方案有个试用 Docker 安装的建议:
“https://github.com/hpcaitech/ColossalAI#Use-Docker”。
一顿折腾,此方案,卒。
找到官方网站,加入微信交流群,有朋友建议把依赖的版本降低,降到上面报错信息里面提示可以找到的最高版本。也就是 4.18.0,这次可以继续了。
但是安装另外一个重要依赖:torch 也出现了同样问题,降版本再试。安装完后,启动测试代码,依然不行。
此方案,卒。
还有说可以用谷歌的在线 Colab 运行模型,立刻动手。
等了半天,等到安装过程中途报了一个错,同样无法解决。
此方案,卒!
02
—
进展受挫,暂时休战。
正准备睡觉,刷了一下官方交流群里的内容,忽然受到这句启发:“我跟着B站一个教程做的云里雾里的”。
爬起来,到B站用“ChatGLM”一搜索,果然找到有最新的一个视频,讲解了如何用GPU云资源来搭建最新的ChatGLM2-6B的过程。
视频链接:
https://www.bilibili.com/video/BV1414y1m7mE
按视频讲解的过程,注册登录,购买GPU,登录到操作界面,命令行。
中间也经历不少坑,好在GPU的预安装环境是符合要求的,再没出现各种莫名其妙的错误。只是在网络上出现了卡壳的问题,加了镜像站的配置后,就解决了。
一开始按视频教程,手动下载7个大文件,再修改 web_demo.py 里面的加载模型文件的路径,出现错误提示,失败。
后来抱着死马当活马医的思路,已经都进展到这里了,直接运行官方的示例代码,试试。
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)
凌晨4点半,终于看到了下面这个成功的界面!
实验成功,再试试命令启动:python web_demo.py
吼吼!最终的成果:
“我使用的模型是清华大学KEG实验室和智谱A共同训练的 GLM 模型一种基于 Tansformer 的通用预训练语言模型。
Transhormer模型是一种基于自注意力机制的深度神经网络模型,经常用于处理序列数据。
我可能用到最大的模型是 GLM2-6B,具有 1300 亿参数,支持中英双语。我具体使用的模型规模视应用场景可能会有所变化。”
早上,官方交流群里又传来好消息:“这有个安装教程,亲测,成功部署”
https://blog.csdn.net/stay_foolish12/article/details/131437090?spm=1001.2014.3001.5502
我去看了一下,这个是全程手动部署版本,不依赖上面视频提供的预安装环境。有兴趣的朋友可以趟一下坑。
03
—
预告:ChatGLM2-6B,已经搭建成功,这两天合适的时候,网上发布出来,提供给朋友们使用和反馈。
往期热门文章推荐:
性能提升571%,32K超长上下文,推理速度提升42%,允许商用,国产开源大模型推出了二代 ChatGLM2-6B
技术科普与解读:ChatGPT 大模型硬核解读!(二)GPT4 的多模态涌现能力-接近人类关键特征
不允许还有人不知道可以免费用 ChatGPT 的网站,ChatGPT3 和 4,Claude 和 Claude+ 一网打尽
拥抱未来,学习 AI 技能!关注我,免费领取 AI 学习资源。
文章浏览阅读1.1w次,点赞7次,收藏34次。vue-grid-layout的使用、实例、遇到的问题和解决方案_vue-grid-layout
文章浏览阅读218次。然后连接一个数据源,就会在下面自动产生一个添加附件的组件。把这个控件复制粘贴到页面里,就可以单独使用来上传了。插入一个“编辑”窗体。_powerapps点击按钮上传附件
文章浏览阅读264次。(1) Abstraction (抽象)(2) Polymorphism (多态)(3) Inheritance (继承)(4) Encapsulation (封装)_"object(cnofd[\"ofdrender\"])十条"
文章浏览阅读133次。删除node_modules,重新npm install看是否成功。在 package.json 文件中的 scripts 中加入。修改你的第三方库的bug等。然后目录会多出一个目录文件。_修改 node_modules
文章浏览阅读883次。【代码】【】kali--password:su的 Authentication failure问题,&sudo passwd root输入密码时Sorry, try again._password: su: authentication failure
文章浏览阅读1w次,点赞13次,收藏97次。整理5个优秀的微信小程序开源项目。收集了微信小程序开发过程中会使用到的资料、问题以及第三方组件库。_微信小程序开源模板
文章浏览阅读128次。Centos7最简搭建NFS服务器_centos7 搭建nfs server
文章浏览阅读1.2k次,点赞2次,收藏3次。前言mybatis在持久层框架中还是比较火的,一般项目都是基于ssm。虽然mybatis可以直接在xml中通过SQL语句操作数据库,很是灵活。但正其操作都要通过SQL语句进行,就必须写大量的xml文件,很是麻烦。mybatis-plus就很好的解决了这个问题。..._mybaitis-plus ruledataobjectattributemapper' and 'com.picc.rule.management.d
文章浏览阅读325次。EECE 1080C / Programming for ECESummer 2022Laboratory 4: Global Functions PracticePlagiarism will not be tolerated:Topics covered:function creation and call statements (emphasis on global functions)Objective:To practice program development b_eece1080c
文章浏览阅读53次。被同机房早就1年前就学过的东西我现在才学,wtcl。设要求的数为\(x\)。设当前处理到第\(k\)个同余式,设\(M = LCM ^ {k - 1} _ {i - 1}\) ,前\(k - 1\)个的通解就是\(x + i * M\)。那么其实第\(k\)个来说,其实就是求一个\(y\)使得\(x + y * M ≡ a_k(mod b_k)\)转化一下就是\(y * M ...
文章浏览阅读1.3k次。首先,问题是如何出现的?晚上复查代码,发现一个activity没有调用自己的ondestroy方法我表示非常的费解,于是我检查了下代码。发现再finish代码之后接了如下代码finish();System.exit(0);//这就是罪魁祸首为什么这样写会出现问题System.exit(0);////看一下函数的原型public static void exit (int code)//Added ..._android 手动杀死app,activity不执行ondestroy
文章浏览阅读894次。Q: SylixOS 版权是什么形式, 是否分为<开发版税>和<运行时版税>.A: SylixOS 是开源并免费的操作系统, 支持 BSD/GPL 协议(GPL 版本暂未确定). 没有任何的运行时版税. 您可以用她来做任何 您喜欢做的项目. 也可以修改 SylixOS 的源代码, 不需要支付任何费用. 当然笔者希望您可以将使用 SylixOS 开发的项目 (不需要开源)或对 SylixOS 源码的修改及时告知笔者.需要指出: SylixOS 本身仅是笔者用来提升自己水平而开发的_select函数 导致堆栈溢出 sylixos