谷歌最强开源大模型亮相！Gemini技术下放，笔记本就能跑，可商用

明敏 发自 凹非寺

谷歌大模型，开源了！

一夜之间，Gemma系列正式上线，全面对外开放。

它采用Gemini同款技术架构，主打开源和轻量级，免费可用、模型权重开源、允许商用，同时笔记本可跑。

共有2B和7B两个版本，性能全面超越开源标杆Llama 2。

每种规模都有预训练和指令微调版本，可在Kaggle、Colab Notebook、Google Cloud中访问。

而且支持JAX、PyTorch和TensorFlow通过原生Keras 3.0进行推理和监督式微调（SFT），适应多种开发需求和环境。得益于对JAX的支持，它还能进行快速推理。

目前模型也同步上线Hugging Chat，可在线体验试玩。

发布几个小时里，Gemma火速成为圈内最热话题，成为议论焦点。

Keras作者François Chollet高呼：最强开源大模型，刚刚易主。

大神卡帕西第一时间赶来解析技术报告。

AI圈内大佬更是表示，谷歌做开源是明智之举啊。

网友们都很兴奋，已经有人开始问考虑推出更多语言版本吗？

还有人提出2B的规模，是不是意味着也能支持安卓/iOS本地推理？

多性能超越同规模开源模型

具体来看Gemma的技术报告。

在18个任务中，Gemma在11个任务上表现优于同规模优质开源模型。

Gemma包含两种规格。

7B版本参数量约78亿，面向GPU和TPU上的高效部署和开发，2B版本参数量约25亿，用于CPU和端侧应用程序。

它基于Transformer解码器架构，关键模型参数如下。

相比于基础Transformer，Gemma进行了一些升级。

7B版本使用多头注意力机制，2B版本使用多查询注意力机制。

在每一层中使用旋转位置嵌入代替绝对位置嵌入；使用GeGLU激活函数替代标准ReLU非线性。

同时对每一个子层的输入和输出都进行归一化。