清华大学ChatGLM2-6B
ChatGLM2-6B是由清华大学2023年6月25日发布的聊天模型ChatGLM-6B的第二代版本。它保留了第一代模型的流畅对话流程和低部署门槛，同时引入了以下新功能：
1、更强的性能：基于第一代ChatGLM模型的开发经验，我们全面升级了ChatGLM2-6B的基础模型。 ChatGLM2-6B使用GLM的混合目标函数，并经过了1.4T双语令牌的预训练和人类偏好对齐训练。评估结果显示，与第一代模型相比，ChatGLM2-6B在数据集如MMLU（+23％），CEval（+33％），GSM8K（+571％），BBH（+60％）上取得了实质性改进，显示出与同等规模模型的强大竞争力。
2、更长的上下文：基于FlashAttention技术，我们将基础模型的上下文长度从ChatGLM-6B中的2K扩展到32K，并在对话对齐期间以8K的上下文长度进行训练，允许更多轮对话。
3、更高效的推理：基于Multi-Query Attention技术，ChatGLM2-6B具有更高效的推理速度和更低的GPU内存使用率：在官方实现下，推理速度比第一代提高了42％；在INT4量化下，6G GPU内存支持的对话长度从1K增加到8K。
4、更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。
本次借助于千里马装饰的设计黄总提供的电脑，配置：NVIDIA GeForce RTX 2060，显存6GB，将ChatGLM2-6B运行起来。
前置条件
安装Conda
下载地址：https://www.123pan.com/s/3sPiVv-QGVoA.html
提取码:gAld
验证安装成功
在CMD窗口内输入conda后，按下回车键，可以得到如下命令反馈，这代表Conda安装成功。
安装程序
下载：https://www.123pan.com/s/3sPiVv-kGVoA.html
提取码:duPj
环境部署
在CMD中执行如下命令，强制切换至ChatGLM2-6B的项目目录。
cd /d E:\chatGLM2\ChatGLM2-6B
创建Conda虚拟环境至该项目的目录中
conda create -y -p E:\chatGLM2\ChatGLM2-6B\ENV python=3.8
初始化Conda环境
conda init cmd.exe
激活已创建的Conda环境
conda activate E:\chatGLM2\ChatGLM2-6B\ENV
安装该项目的相关依赖库
pip install -r requirements.txt
pip install –upgrade charset_normalizer
pip install pyreadline
pip install streamlit streamlit-chat
安装PyTorch
PyTorch 是一个基于 Python 的开源机器学习框架，它由 Facebook 开发并维护。PyTorch 的主要特点是其动态计算图机制，以及提供了丰富的神经网络层和工具库。
PyTorch官网：https://pytorch.org/
查看自己应该安装的CUDA版本，需要先在CMD命令行中执行如下命令：
nvidia-smi
需要下载CUDA版本为12.2的安装程序。
https://developer.nvidia.com/cuda-toolkit-archive
安装：
模型下载
下载：https://www.123pan.com/s/3sPiVv-kGVoA.html
提取码:0V5K
将下载完成的THUDM文件夹移动至ChatGLM2-6B项目文件夹内即可。
运行方式
每次运行该项目时，只需要先激活我们刚刚所创建的Conda虚拟Python环境，然后运行启动文件即可。
在CMD中执行如下命令，强制切换至项目目录文件夹。
cd /d E:\chatGLM2\ChatGLM2-6B
激活已创建的Conda环境，这样才可以正常使用该项目。
conda activate E:\chatGLM2\ChatGLM2-6B\ENB
执行如下代码，运行程序的GUI界面。
# cli_demo.py｜web_demo.py｜web_demo2.py三种方式任选其一
python 启动方式文件名.py
界面展示
评论 (0)