|
Llama2，Gemma，Mistral等大语言开源模型都开源免费给大家使用，但是基于这些模型的使用都要操作一堆代码，操作之繁琐。本期我们就基于ollama一键安装各大开源模型，且可以本地部署使用。告别繁琐的代码编程，不用联网，本地使用大语言模型。 ollama是一个开源的第三方大语言模型使用插件，我们下载ollama后，可以很方便的使用Llama2，Gemma，Mistral等大语言开源模型。首先到ollama的官网，或者GitHub链接下载ollama进行安装，其ollama支持window版本，Mac版本，以及Linux版本，可以根据自己的电脑配置下载安装。由于ollama要使用GPU进行加速运算，因此电脑需要有N卡。 ollama就是一个简单的软件，安装完成后，直接双击运行即可，运行后，ollama会运行在后台提供服务，我们只需要进入一个CMD窗口即可。在终端界面输入ollama run llama2就可以愉快的跟llama2模型聊天了。当然，你若是第一次运行ollama，ollama会自动检测电脑上是否有相关的开源模型，若没有相关的开源模型，会自动下载。若是已经下载过llama2，运行以上命令后，会自动打开llama2大模型。 ollama支持主流的几十种大语言模型，可以直接使用ollama run + 模型的名字来运行，若本地没有下载过相关的模型，会自动下载，大大节省了操作的流程。这里模型记录聊天记录，能使用中文聊天，当然若想体验完整的中文，最好下载中文llama模型，或者其他国产开源模型。 当然这里下载的任何模型都可以进行使用，ollama list可以查看所有本地电脑安装好的模型，当然这些大模型也是比较大，若不想使用，也可以使用ollama rm llama2来删除。 这里需要注意的是8 GB RAM run 7B models, 16 GB run 13B models, 32 GB run 33B models.这里需要注意自己的电脑配置。 当然运行在终端窗口中，虽然是一个界面，但是其界面并不美观，其实很多UI界面窗口都支持ollama，我们下期分享下其他界面的安装与使用方法。 动画详解transformer 课程链接
|
|
|
