以 windows11 为例
安装 anaconda
下载安装
去 官网 下载安装包 exe，一路点击安装。之后配置环境变量。
配置环境变量
右击此电脑 => 属性 => 高级系统设置 => 系统变量中的 Path 变量添加以下三行：
D:\anaconda\anaconda3 // 安装路径
D:\anaconda\anaconda3\Scripts
D:\anaconda\anaconda3\Library\bin
环境变量如果不生效，可以重启电脑，或者搜索引擎里搜一下解决方案。之后，在命令行中输入：conda --version，正确显示出版本，则 conda 安装成功。
conda 23.3.1
常用的 conda 命令：https://zhuanlan.zhihu.com/p/67745160
安装 ChatGLM
下载 ChatGLM 源码
去官网克隆代码（如果没装 git，先安装 git）
cd D:\project\
git clone https://github.com/THUDM/ChatGLM-6B
根据硬件要求，修改 ChatGLM-6B 下的 web_demo.py 文件。
| 量化等级 | 最低 GPU 显存（推理） | 最低 GPU 显存（高效参数微调） |
|---|---|---|
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
// 如果使用无量化版本，则保持不变
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
// 如果使用INT8版本，改动如下
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int8", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int8", trust_remote_code=True).half().cuda()
// 如果使用INT4版本，改动如下
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()
创建虚拟环境
两种方式：
第一种使用界面UI（Anaconda Navigator），点击创建环境，选择 python3.10 即可。创建环境完成之后，点击如下三角按钮，进行环境激活，然后点击打开该环境下的 shell 界面。
第二种：在 git_bash 下执行如下命令
conda create -n chatglm python=3.10
source D:\anaconda\anaconda3\etc\profile.d\conda.sh // 其中 D:\anaconda\anaconda3\ 是安装目录，执行该命令是解决这个问题 https://bobbyhadz.com/blog/commandnotfounderror-your-shell-has-not-been-properly-configured-to-use-conda-activate
conda activate chatglm
在虚拟环境下，进入 ChatGLM-6B 目录，安装依赖。
(chatglm) D:\project\ChatGLM-6B>pip install -r requirements.txt
注意：此处安装了 Downloading torch-2.0.1-cp310-cp310-win_amd64.whl。
尝试启动 webUI：首次执行，会自动从huggingFace上下载模型，会下载到C:\Users\xxx\.cache\huggingface\hub\models--THUDM--chatglm-6b-int8，C 盘空间不够的可以自行下载模型，按照官网修改路径。
(chatglm) D:\project\ChatGLM-6B>python web_demo.py
下载日志如下：
Downloading (…)okenizer_config.json: 100%|████████████████████████████████████████████████████| 446/446 [00:00<?, ?B/s]
D:\anaconda\anaconda3\envs\chatglm\lib\site-packages\huggingface_hub\file_download.py:133
Downloading (…)enization_chatglm.py
Downloading ice_text.model
Downloading (…)lve/main/config.json
Downloading (…)iguration_chatglm.py
Downloading (…)/modeling_chatglm.py
Downloading (…)main/quantization.py
Downloading pytorch_model.bin:6.71G
启动过程中如果报错：
AssertionError: Torch not compiled with CUDA enabled
则需要去 pytorch 官网，选择与安装的 torch 版本兼容的相关依赖，如下，之后复制红框部分的命令，进行执行即可。
(chatglm) D:\project\ChatGLM-6B>conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
之后，再次尝试启动，如果报错：
ModuleNotFoundError: No module named 'chardet'
则执行如下命令安装（ModuleNotFoundError 该类错误均可通过该方式进行解决），如果 pip install xxx 报错，可通过 conda install xxx 代替试试。
pip install chardet
之后，再次尝试启动，如果报错：
ModuleNotFoundError: No module named 'cchardet'
此时执行 pip install cchardet 报错，可通过 conda install cchardet 解决。
之后，再次尝试启动，看到如下信息，则表示成功。
Running on local URL: http://127.0.0.1:7860
浏览器访问即可进行交流。
