刚刚微软推出了 Phi-3「赛博禅心」第一时间带来详细报道
Phi 是由微软 AI 研究院开发的一个开源「小型语言模型」，可商用，卖点是小，需要的资源少。 今天发布的 Phi-3 新发布的 Phi-3，包括 Phi-3-Mini、Phi-3-Small 和 Phi-3-Medium。 其中，Phi-3-Mini 最小，只有 3.8B 的参数，但在重要的基准测试中的表现可与大型模型如 Mixtral 8x7B 和 GPT-3.5 媲美。 而更大的 Small 和 Medium ，在扩展的数据集的加持下就更牛逼了。 第 1 部分刚刚发布的 Phi-3就在中午，在 arXiv 上悄咪咪的出现了一篇论文《Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone》 ，即：《Phi-3 技术报告：一个能跑在手机上的牛逼模型》，地址在这：https:///abs/2404.14219，宣示着 Phi-3 的到来。 模型概述Phi-3-mini 3.8B 的参数，3.3T token 训练数据。在多个学术基准测试中，Phi-3-mini 性能接近或等同于市场上的大型模型，例如在 MMLU 测试中得分为 69%，在 MT-bench 测试中得分为 8.38 分。 Phi-3-small 和 Phi-3-medium 这两个是扩展模型： - Small 是 7B 参数，4.8T token 训练数据，MMLU 75%，MT-bench 8.7 分。 - Medium 是 14B 参数，4.8T token 训练数据，MMLU 78%，MT-bench 8.9 分。 核心优势小，特别小 小到在手机上就能跑：在 iPhone 上，每秒能出 16 token 的信息，相当于 12 个单词
本地跑，意味着很多 提供 GPT-3.5 水平的输出，还不需要联网，意味着很多东西：离线部署、隐私保护... 很多事情的玩法彻底变了 一些缺点文化有限 脑袋小了，装的东西就少，在面对需要广泛事实知识支撑的任务（如 TriviaQA 测试）时尤为明显，表现为性能下降、幻觉提升。这种问题可以通过与搜索引擎集成来弥补，利用搜索引擎提供额外的信息支持，增强模型的知识库和应对能力。 只懂英文 Phi-3-mini 还目前只能处理英语。但 Small/Medium 已经包含了更多的多语言数据，相信以后会慢慢迭代的。 第 2 部分技术性能从分数上看，仅仅是 Phi-3-mini 这一最小版本，就已经全面超越刚刚发布的Llama 3了。对此，我人肉整理了个 Excel...以及所有评比的 Excel
性能测试基准测试
架构与优化Phi-3-mini 的架构
Small 和 Medium 这两个模型引入了分组查询注意力机制和块状稀疏注意力机制等先进配置，这些配置有助于在保持长期上下文检索性能的同时，最大限度地减少键值（KV）缓存的占用。 数据训练 使用高水平的网页数据和合成数据进行训练。分为两个阶段进行训练：第一阶段以网页源数据为主，旨在教授通用知识和语言理解能力；第二阶段结合更多严格筛选的网页数据和一些合成数据，培养模型的逻辑推理能力和特定技能。 低资源占用 对于 Phi-3-mini，内存占用约为1.8GB，能够在 iPhone 14 上配备 A16 Bionic 芯片的设备上运行，离线状态下 12+ token/s。 第 3 部分好玩的思路Azure AI Platform 的副总裁 Eric Boyd，在接受 The Verge 采访的时候，提到里以下几个信息：
以上由本「大聪明」报道以及...发稿的时候，模型上线还没完成 所以，想体验的，估计还得再等几个小时 🆕 已上线，附链接（要拉到最下）：www.huggingface.co/microsoft |
|
|
