中文多模态模型问世！IDPChat生成图像文字，只需5步 单GPU

---

  新智元报道  

编辑：桃子 拉燕

【新智元导读】中文多模态模型IDPChat来了，快速上手教程在此。

中文多模态模型IDPChat和大家见面了。

随着GPT4、文心一言等的发布，预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。

我们认为，未来的AI应用将主要以大模型为核心基石。

而在大模型的领域，基于基础模型（Foundation model）构建领域或企业自有的大模型，会是近中期的重要发展趋势。

但在私有化大模型微调和应用方面，企业和机构仍面临着微调复杂、部署困难、成本较高等种种工程化挑战。

白海作为AI基础软件服务商，我们希望能够从AI Infra层面，提供端到端的大模型微调、部署和应用工具，降低大模型微调和应用的门槛。白海科技IDP平台目前提供了从大模型数据源接入到大模型微调训练、模型发布的全流程功能。

我们以IDP平台为工具支撑，以预训练大语言模型LLaMA和开源文生图预训练模型Stable Diffusion为基础，快速构建了多模态大模型应用IDPChat。开发者们可根据场景需求，便捷地对其进行微调优化。

项目地址：https://github.com/BaihaiAI/IDPChat

IDPChat 能做什么

IDPChat目前可以同时支持文字对话和图片生成。

首先是图像生成，我们可以让模型根据文字描述画一幅画。

基础的文字对话聊天示例，可支持中文。

IDPChat 快速上手

仅需简单的5步和单GPU，即可快速启用IDPChat。

操作步骤如下：

1.  修改 ./backend/app/stable_diffusion/generate_image.py 文件，设置 diffusion_path 的值为本地 stable-diffusion 模型存储路径，设置 trans_path 的值为本地中文翻译模型的存储路径

2.  修改 ./backend/app/llama/generate_text.py 文件，设置 load_model 的 base 参数值为本地 llama 模型的存储路径

3.  执行 build.sh 脚本进行编译

4.  编译成功后执行 run.sh 脚本启动服务

5.  服务启动成功后，在浏览器中打开http://127.0.0.1:8000

在应用之前，需要下载准备所需的模型，LLaMA、Stable diffusion和相应的翻译模型。

具体所需的环境、模型、和操作步骤可以参考https://github.com/BaihaiAI/IDPChat

目前发布IDPChat初步版本，打通模型微调的全流程。

后续我们会继续对模型进行优化和丰富，如多模态部分增加图像描述功能。

当然要实现特定领域更高质量、针对性的表现，还需要基于领域数据的finetune和优化。