|
各位星友好，今天我们要为大家介绍一款名为MiniGPT-4的神奇人工智能模型。这款模型基于大名鼎鼎的GPT-4技术，能够在多模态生成能力方面实现突破性进展，为我们展示了人工智能发展的新高峰。 相信大家都见证了ChatGPT 的对话能力，无论是文本生成能力，还是写代码的能力，甚至是上下文的关联对话能力，无不一次又一次地震撼着我们。 最具有划时代意义的是GPT-4实现了多模态的进阶发展，所谓的多模态，通俗来说，就是多个领域的技术融合与打通，我们知道，AI人工智能领域包含CV计算机视觉，以及NLP自然语言处理方向，二者是AI方向的不同专业领域，CV是计算机视觉的图像方向，NLP则是自然语言处理的文本方向，所谓的多模态方向则是将视觉与文本方向进行对齐融合，实现图像与文本数据的融合，完成更加复杂的处理任务。结合MiniGPT-4的模型，可以实现以下的功能：
我们大概可以对以上实现功能进行总结，其实多模态方向实现的就是“Text to image”或者“Image to text”，从而实现文本信息与图像信息的融合交互。类似画一个网站的草图，GPT4 就可以立马生成网站的 HTML 代码。怎么样是不是很酷炫！
但是GPT-4大模型，目前的功能还没有开源这一部分功能，没想到，我看到了这么一个项目。该项目名为 MiniGPT-4，是阿卜杜拉国王科技大学的几位博士做的，而且项目是完全开源的，以下是Demo测试网页效果图，可以直接体验效果。
在线体验的网页社区地址：https://minigpt-4.，但是可能是在线体验的人太多了，OpenAI的官方暂时将其后台的接口进行了下架，不过今天（5月4号）我发现这个接口又重新上架了。
MiniGPT-4相比于GPT-4的最显著的特点，顾名思义是模型体积优化了不少，使得计算的延时也降低了不少，得益于MiniGPT-4 是在一些开源大模型基础上训练得到的，fine tune 分为两个阶段，先是在 4 个 A100 上用 500 万图文对训练，然后再用一个一个小的高质量数据集训练，单卡 A100 训练只需要 7 分钟。 GPT-4承诺的实现的多模态，以下是官方提供的一些图像解释的演示示例：
我们从以上的两个官方演示示例中可以看到，MiniGPT-4实现了“描述图片内容”的功能，打通了图像到文字的壁垒。大家可以使用自己的图片试一试，而且回答不仅仅只限定是英文，以下是千寻使用网络来源图进行尝试得到的实验结果。
目前使用MiniGPT-4服务的人数较多，如果有技术基础的小伙伴们，可以进行自己的模型服务部署，代码部署流程如下： 1、拷贝官方代码，并且配置运行环境： git clone https://github.com/Vision-CAIR/MiniGPT-4.git cd MiniGPT-4 conda env create -f environment.yml conda activate minigpt4 2、准备预训练的Vicuna权重，在模型配置文件，修改模型的路径。
3、准备预训练的MiniGPT-4模型权重，根据您准备的Vicuna模型，下载预训练的MiniGPT-4模型
4、配置完毕，输入指令运行： python demo.py --cfg-path eval_configs/minigpt4_eval.yaml 运行过程需要保证有网络链接，需要下载一些 BLIP 之类的依赖库。如果觉得本地进行运行，自己配置深度学习环境比较麻烦，也可以直接使用开源的谷歌实验室Colab的MiniGPT-4体验地址：Jupyter Notebook 各位星球的小伙伴，大家赶快动手试试吧，尝试一下MiniGPT-4，相信不久的将来，真正发布的GPT-4不仅仅是可以多模态输入，还可以多模态输出。AI 能根据我们的需求，生成我们需要的文本、图像、音频、甚至是视频，拥抱ChatGPT改变生活，赋能创业生产。 第一次写技术分享，给大家简单介绍一下我自己，我是千与千寻，Top2计算机硕士，目前在大厂担任研发工程师，专注于算法工程与后端研发领域，希望和星友一起学习ChatGPT，努力跟随易洋哥做人工智能时代的“弄潮儿”。 |
|
|
