分享

简单两步将Lllama、Qwen等开源大模型安装到自己的电脑上

 AIGC部落 2024-05-08 发布于广东

现在已经有非常多优秀的开源大语言模型了,比如Command R+、Mistral、Qwen、MiniMax、Baichuan、Phi3等,其中Lllama3和Qwen等已经和GPT4的性能比较接近了。

如果能把这些免费的开源大模型部署到本地电脑或手机上,可以完全自由的使用,而且数据安全性有保障,可以节省大量成本。对于高手而言,还可以对这些大模型进行微调等深度定制,来满足个性化需求。

将大模型安装部署到电脑上也非常方便,简单两步即可:

第一步:下载安装Ollama软件https://ollama.com/download

安装完成后,在电脑上打开命令提示符,并输入ollama serve来启动Ollama服务:

然后输入命令:ollama pull phi3,这是来下载微软的Phi-3模型:

下载完成后,输入命令:ollama run phi3,这时候 phi3大模型就运行成功了:

但是,这样在命令行界面下对话,非常不方便。接下来安装一个图形界面,然后和大模型的对话就和ChatGPT对话一样了。

第二步:安装图形界面chatbox https://chatboxai.app/zh

点击打开chatbox,设置中AI模型提供方选择olllam

API域名是http://localhost:11434,系统已经默认填好了,模型选择刚才安装的phi3

Ok,接下来就可以畅快的和phi3模型聊天了:

Ollama支持的开源模型是非常多的,具体可以在官网进行查看:

比如如果想安装阿里巴巴的qwen大模型,可以在命令行中输入:

ollama run qwen:7b

安装llama3:

ollama run llama3

安装Llama 2 对话中文微调参数模型:

ollama run llama2-chinese

    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多