当前位置: 首页>后端>正文

教程-高性能应用服务 HAI 快速搭建并使用AI模型 ChatGLM2-6B

本次我们使用?高性能应用服务 HAI?体验快速搭建并使用AI模型?ChatGLM2-6B?,实现思路如下:

1、体验?高性能应用服务HAI?一键部署?ChatGLM2-6B

2、启动?ChatGLM2-6B WebUI?进行简单的对话

3、开发者体验?JupyterLab?进行?ChatGLM2-6B API?的配置调用

1、配置高性能应用服务 HAI

点击前往体验HAI,登录?高性能应用服务 HAI 控制台

③ . 点击?新建?选择?AI模型,输入实例名称

温馨提示:如果没有进阶型的算力方案(2.41元/小时),建议您购买基础型的算力方案(0.88元/小时),并在创建成功后参考实验过程中关闭 、重新开启 webui 功能的命令,以提高服务器的性能,加速您完成实验的体验!

④ . 等待创建完成?(预计等待3-8分钟,等待时间不计费)

⑤ . 创建完成,查看相关状态

⑥ . 查看配置详情

2、启动?高性能应用服务HAI?配置的?ChatGLM2-6B WebUI?进行简单的对话

① . 选择?chatglm2_gradio?进入?WebUI?页面

② . 体验与?ChatGLM2-6B?简单的对话

3、高性能应用服务HAI?快速为开发者提供?ChatGLM2-6B API?服务

① .使用?JupyterLab?启动?ChatGLM2-6B?提供的 API 服务

(1) .在?算力管理?页面,选择进入?jupyter_lab?页面

选择?终端命令

温馨提示:如果您购买使用的是?基础型算力服务器(0.88元/小时)?请您在开始实验前输入以下关闭 webui 功能的命令,提高服务器的性能,以便后续实验能快速正常进行:

apt-get update && apt-get install sudo
sudo apt-get update  
sudo apt-get install psmisc
sudo fuser -k 6889/tcp #执行这条命令将关闭 HAI提供的 chatglm2_gradio webui功能
Copy

如果需要重新开启 webui 服务执行以下命令:

 python /root/ChatGLM2-6B/web_demo.py --listen --port 6889
Copy

输入命令 用于开启 API 服务:

cd ./ChatGLM2-6B
python api.py
Copy

(2) .新增服务器端口规则

选择?编辑规则

选择?入站规则?中的添加规则

添加入站规则 (来源:?0.0.0.0/0?协议端口:?TCP:8000)


https://www.xamrdz.com/backend/3ug1916243.html

相关文章: