本地部署Chinese-llama-2-7b模型（Windows）

最近在网上看到了llama模型的部署，故写下此篇文章来记录一下我的部署过程。

部署大模型有着多种方式，但是我用的是一键安装的方式，在网上可以找到很多一键安装包，方便简洁。

第一步需要下载好一键安装包，大约在2.5g左右。

一键安装包下载地址：

链接：https://pan.baidu.com/s/1MVfik3ZM3dIloGZMqTbSAA 

下载好一键安装包以后打开start_Windows，等待一段时间会自动跳到大模型的交互界面。我们可以先试试与AI进行交流，发现并不是那么智能，因为缺少大模型。所以我们需要去下载一个大模型添加到里面，我用的是Chinese-llama-2-7b的模型，还有一个1.3b的模型，稍显笨拙一点，所以我的建议是下载7b的模型，至少在聊天的时候还能知道你在说什么。

Chinese-llama-2-7b大约在12.5g左右，模型是被汉化过。

模型下载地址：

链接：https://pan.baidu.com/s/1AB-QphUwGA0kKCRzOOj7Jg 

！！！模型下载好以后，需要解压到一键一键安装包里里面的models文件夹里面

上述工作做好以后，我们打开start_Windows，会进入到聊天界面，打开model界面

 选择Chinese-llama-2-7b模型，点击load，等待一段时间，显示加载成功以后便可以使用当前模型。示意图如下：

注意事项：

1.在下载一键安装包的时候，建议新建文件夹，并且为全英文的路径，不然容易报错。

2.模型较多，根据自己的电脑配置选择合适的模型。

3.7b的模型可能语料库还是不够多，在聊天的时候可能有些问题，自己多试试。

4.此篇文章仅仅用来记录我的部署过程，大部分来自于其他人的经验，如有侵权，请私信一下，谢谢各位！！！