分享

清华大学开源中文版ChatGPT模型——ChatGLM-6B发布

 勇无止境879 2023-03-16 发布于广西

ChatGLM-6B是清华大学知识工程和数据挖掘小组(Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University)发布的一个开源的对话机器人。根据官方介绍,这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本,约60亿参数,本地部署仅需要6GB显存(INT4量化级别)。

ChatGLM-6B模型卡信息:ChatGLM-6B(ChatGLM-6B)详情 | 数据学习 (DataLearner)

ChatGLM-6B的特点

从目前的使用情况看,这个模型虽然不大,但也是与ChatGPT类似,做了针对对话的调优,使用体验很好。

下图是几个对话实例:

文章图片1
文章图片2

可以看到,虽然该模型并不是很大,但是回答的结果十分自然。在这种规模的模型上能做到这种程度,对于很多中小企业或者成本敏感的个人开发者来说十分具有吸引力。

该模型的基础模型是GLM( GLM: General Language Model Pretraining with Autoregressive Blank Infilling ),是清华大学2021年3月份发布的一个预训练大模型。在2022年8月,他们发布了1300亿参数的超大规模的模型。该模型也是开源,只是目前仅接受内测邀请,需要申请才能使用。

ChatGLM-6B模型的硬件使用成本

根据测试,ChatGLM-6B虽然参数很少,但是效果很好。对于硬件的需求也很低。

硬件需求:

量化等级

最低GPU显存

FP16(无量化)

13GB

INT8

10GB

INT4

6GB

大家可以直接去官方下载预训练文件使用:ChatGLM-6B(ChatGLM-6B)详情 | 数据学习 (DataLearner)

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多