本期文章教你如何在本地部署LLama3,让你的电脑摇身一变成为AI-PC,从此摆脱ChatGPT4,每个月省20美刀它不香吗? 部署好后让你的生产效率直线拉满!正所谓能动手的事情,尽量别废话,本期教程全程高速,教学简单,适合小白无脑冲!从此你的电脑也化身AI-PC,从本地部署能有效的减少对在线LLama套壳们的依赖,也能很好的保护个人敏感数据。 注意:遇到网络问题下载不了大模型的直接滑倒最下面,有网盘链接! 第一步:下载LM Studio,下面是网盘链接: https://pan.baidu.com/s/10uzz31J5GiMo9mGvgHjl1w 打开界面是这样的: 第二步:选择LLama3-8B-Instruct下载 第三步:选择并使用模型 我们演示几个简单的对话: 本人的配置是3070的N卡,跑的是8B的模型,整体对话相对来说非常流畅,基本实现了本地改写文章,本地改代码,本地写测试用例等多种常见的需求,没事儿时还可以聊聊天,也进行了几个弱智吧的测试,推理能力讨喜: 这还只是个8B的模型,还没有上70B,众所周知参数越大效果越好,所以建议大家如果有条件还是直接上70B。 LLama3大模型网盘传送门: 8B:https://pan.baidu.com/s/1l51s3UfQyg5sq7HL-4Hy-w提取码:w94q 70B: 通过网盘下载LLama3到本地后,点击左边的文件夹按钮,然后点击Show in file Explorer按钮,打开大模型所在文件夹: 然后打开里面的lmstudio-community文件夹,把从网盘下载的大模型拷贝进去: 然后回到第三步,选择模型并使用!期间如果感觉模型跑不动的话就检查以下自己的设置,尤其是看看自己的GPU或CPU线程: 在对话页面找到Hardware Setting,想要跑到最大性能直接点击Max!总之就是两个字:通透! |
|
来自: 蒙rrpigqpq6iim > 《文件夹1》