Meta 发布了最新的开源语言模型Llama 3。因为它是开源的,你可以下载这个模型,并在自己的电脑上运行。 我清楚,你可能会想,在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心!这篇文章会提供一个简单的步骤指导,帮助每个人都能轻松上手。 准备工作在我们深入到具体步骤之前,我们先来看一下我当前使用的环境配置:
确实,运行这个模型并不需要你拥有顶级的GPU。只要有一个不错的CPU和充足的内存,你就能在自己的电脑上顺畅运行Llama 3。 第 1 步:下载并安装 Ollama首先,访问Ollama网站,下载最新版本的安装程序。Ollama是一个多功能工具,旨在帮助用户在不同平台上本地运行、创建和分享大型语言模型(LLMs)。 完成Ollama的安装后,确保它在后台运行。你可以通过系统托盘或任务管理器中的Ollama图标来进行检查。 要验证Ollama在命令行界面(CLI)中是否正常工作,可以运行以下命令来查看版本。我当前的版本是0.1.32,你的版本可能会有所不同。
第 2 步:在 VS Code 中安装 CodeGPT 扩展接下来,打开Visual Studio Code,转到扩展标签页。搜索来自codegpt.co的“CodeGPT”并安装这个扩展。这个扩展使你能够直接在VS Code里使用Llama 3。 安装完毕后,你应该能在VS Code的左侧边栏看到CodeGPT的图标。 第 3 步:下载模型在VS Code的终端里,运行以下命令来下载Llama 3模型:
因为模型大小超过4GB,所以下载可能需要一段时间。请耐心等待直到完成。下载成功后,你将看到一个成功的消息提示。 第 4 步:选择 Llama 3 模型在VS Code的左侧CodeGPT仪表板中,找到“提供者”下拉菜单,选择“Ollama”。然后,在“模型”下拉菜单中选择“Llama3:8b”。如果列表中没有显示这个模型,你可以手动输入“Llama3:8b”。 确保正确选择模型,这样CodeGPT就会使用Llama 3来生成回答。 第 5 步:在VS Code上运行Llama 3现在我们已经下载了模型并在VS Code上安装了CodeGPT,让我们通过输入一个测试提示来检查一切是否正常工作。
一切正常工作。现在,让我们使用模型来解释一段源代码。在VS Code中写入或打开任何源代码文件。右键点击文件,选择“CodeGPT: 解释CodeGPT”让AI来解释这段源代码。 值得注意的是,代码会作为提示输入传递给CodeGPT面板。AI分析代码,并提供了详细的解释。 这非常酷,因为你不再需要把代码块复制粘贴到ChatGPT或VS Code外的其他聊天机器人中。而且,这完全是免费的,而且是在你的机器上本地运行的,所以你不需要担心API成本或网络连接问题。 就这样!一份关于如何在Visual Studio Code中运行Llama 3的逐步指南。我希望你觉得这个指南有用,而且易于操作。在你自己的机器上本地运行强大的语言模型并没有想象中那么困难。 资源:
|
|