写代码神器 CodeFuse 代码大模型发布

蚂蚁自研的代码生成专属大模型，可以根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。

CodeFuse 基于蚂蚁基础大模型研发，现已上架 Hugging Face：https:///codefuse-ai。

本次开源的内容包括：

1. MFT（多任务微调）框架，也称为 MFTcoder；

2. 两个用于增强 LLMs 编码能力的数据集，包括 Code Exercise 和 Evol-Instruction；

3. 基于 FasterTransformer 的更快速、更可靠的部署框架 ;。

由此产生的模型集合包括 CodeFuse-13B 和 CodeFuse-CodeLlama-34B，支持多种与代码相关的任务，如代码补全、文本转代码、单元测试生成等。

值得一提的是，CodeFuse-CodeLlama-34B 基于 CodeLlama 作为基础模型，并利用上述 MFT 框架进行微调，在 HumanEval Python pass@1 评估中取得高达的 74.4%（贪婪解码）的好成绩，甚至超过了 GPT-4（67%）的表现。

官方介绍称，CodeFuse 的使命是开发专门设计用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。