阿里巴巴DAMO院: Babel大模型覆盖90%全球语言

这项由阿里巴巴DAMO院的赵奕然、刘朝群等研究团队开展的研究发表于2025年3月的arXiv预印本平台，研究编号为arXiv:2503.00865v1。对这项研究感兴趣的读者可以通过访问https://babel-llm.github.io/babel-llm/项目主页或论文下载地址获取完整的技术细节。

在人工智能飞速发展的今天，我们见证了一个令人尴尬的现象：尽管AI技术能够翻译数百种语言，能够识别各种口音，但真正高质量的多语言AI助手却寥寥无几。就像全球化让世界变成了地球村，但村里的"翻译官"总是偏爱某些"富裕邻居"，对那些人口众多但资源相对匮乏的地区却爱答不理。

考虑这样一个场景：一位孟加拉国的学生想要使用AI来帮助学习，一位乌尔都语使用者希望通过AI获取信息，或者一位印地语母语者想要与AI进行自然对话。尽管这三种语言的使用者加起来超过6亿人，但他们却很难找到一个真正懂他们语言、能够流畅交流的AI助手。这种现象的根源在于，现有的多语言AI模型往往只关注那些拥有丰富训练资源的语言——通常是发达国家使用的语言，比如法语、德语、西班牙语等。

阿里巴巴DAMO院的研究团队敏锐地察觉到了这个问题。他们发现，当前的开源多语言大语言模型就像是一个挑食的孩子，只愿意"品尝"那些精心准备、营养丰富的"高端食材"（高资源语言），而对那些同样有营养但准备条件相对简陋的"家常菜"（低资源语言）却不屑一顾。这种偏见不仅不公平，更是对全球数十亿人智能服务需求的忽视。

为了解决这个问题，研究团队推出了名为Babel的开源多语言大语言模型。这个名字很有意思，来源于《圣经》中巴别塔的故事——人们建造通天塔想要到达天堂并实现统一，但上帝却混乱了他们的语言，将他们分散到世界各地。而现在的Babel模型，就像是要逆转这个过程，重新连接被语言隔阂分离的人们。

Babel的野心很大：它要覆盖全球按使用人数排名前25的语言，服务超过90%的世界人口。这25种语言包括了我们熟悉的英语、中文、西班牙语、阿拉伯语、法语等，也包括了经常被忽视但使用人数庞大的印地语、孟加拉语、乌尔都语、印尼语、斯瓦希里语、菲律宾语、泰米尔语、越南语、土耳其语、爪哇语、朝鲜语、豪萨语、波斯语、泰语和缅甸语。值得注意的是，这25种语言中有一半以上都是此前多语言AI模型很少关注的语言。

更令人印象深刻的是，Babel并不是简单地把现有模型"翻译"成多种语言版本，而是采用了一种全新的技术路径。传统的做法就像是给一栋房子重新装修——在原有基础上修修补补，而Babel选择的是"扩建房屋"——通过增加新的楼层来提升整体性能上限。

具体来说，研究团队采用了一种叫做"层扩展"的技术。可以把AI模型想象成一栋多层建筑，每一层都负责处理不同层次的信息理解和生成任务。传统的改进方法是在现有楼层内重新布置家具或更换设备，而层扩展技术则是在建筑中间插入全新的楼层，这些新楼层与原有楼层具有相同的结构设计，但能够显著提升整栋建筑的"处理能力"。

为了满足不同用户的需求，研究团队推出了两个版本的Babel模型。Babel-9B就像是一台高效的家用轿车，拥有90亿参数，设计重点是高效推理和便捷微调，适合研究机构和个人用户在本地部署使用。而Babel-83B则像是一辆豪华SUV，拥有830亿参数，代表了当前开源多语言AI模型的最高水准，为那些需要最先进性能的用户提供服务。

在数据准备方面，研究团队面临的挑战就像是为一个有着25种不同口味偏好的大家庭准备晚餐。对于那些"食材丰富"的语言（如英语、中文），他们可以轻松获得高质量的训练数据，就像在超市里随意挑选优质食材。但对于那些"食材稀缺"的语言，他们必须更加精心地寻找、筛选和处理数据，确保每一份数据都是高质量的。

为此，研究团队建立了一套严格的数据清洁流程。首先，他们使用预定义规则过滤掉明显的低质量数据，比如内容过短或包含过多数字的文档，这就像是在烹饪前先挑拣掉坏掉的蔬菜。接着，他们训练了一个基于AI的质量分类器，这个分类器就像是一位经验丰富的美食评论家，能够评估每份数据的质量。他们使用GPT-4o作为"首席评审"，对潜在的训练数据进行多维度评分，然后由语言学专家对这些评分进行仔细审查，确保只有高质量的数据被选中用于训练。最后，他们还使用哈希技术识别和删除重复文档，避免AI模型"偏食"——过度学习某些重复内容。

在模型扩展的技术实现上，研究团队做了大量的实验来找到最佳方案。他们发现，直接在模型末尾添加新层就像是在房子顶上突然加盖一层阁楼，会导致结构不稳定，性能大幅下降。相比之下，在现有层之间插入新层就像是在楼房中间加建夹层，虽然也会带来一些影响，但要稳定得多。

在参数初始化方面，他们尝试了几种不同的策略。完全复制原有参数就像是用同样的装修方案装饰新楼层，虽然保守但稳妥。添加高强度随机噪声就像是在新楼层里随意摆放家具，结果往往是一团糟。而添加少量精心控制的噪声（均值为0.0001的高斯噪声）就像是在复制装修方案的基础上做一些微调，既保持了稳定性，又为后续的个性化改进留下了空间。

模型训练过程分为两个阶段，就像是培养一个多语言人才的过程。第一阶段是"恢复训练"，当研究团队对模型进行扩展后，模型的性能会暂时下降，就像一个熟练的钢琴师突然要用一架新钢琴演奏，需要时间来适应。在这个阶段，他们使用包含所有25种语言的大规模通用训练语料，让模型重新找回处理多语言信息的能力。为了加速恢复过程，他们在第一阶段特别加强了英语和中文的训练数据比例，因为这两种语言的高质量数据最为丰富。

第二阶段是"持续训练"，就像是让这位多语言人才更加专注于那些容易被忽视的语言。在模型基本恢复能力后，研究团队增加了低资源语言在训练语料中的比例，并且增加了教科书和教程类内容的占比，因为这类内容对于AI学习新知识特别有效，就像是为学生提供了更多高质量的教材。

为了验证Babel的性能，研究团队设计了全面的评估实验。他们选择了多个类别的多语言任务来测试模型能力：世界知识类任务使用了MMMLU数据集，这是MMLU数据集的多语言版本，覆盖14种语言的人类翻译版本，对于未覆盖的语言则使用Google翻译生成版本。他们还使用了M3Exam数据集，这个数据集包含来自不同国家的真实人类考试题目，覆盖多个学科和教育水平。

推理能力测试使用了MGSM和XCOPA数据集，理解能力测试使用了XNLI数据集，翻译能力测试使用了Flores-200数据集。这些测试就像是给AI模型安排了一场全面的"语言能力考试"，不仅要测试它是否认识各种语言的词汇，还要看它能否用这些语言进行逻辑推理、阅读理解和翻译转换。

在10B参数规模的模型比较中，Babel-9B在所有评估任务中都表现出色。与同规模的其他模型相比，它在XCOPA任务上得分89.2，在MGSM任务上得分43.4，在XNLI任务上得分71.9，在Flores-200任务上得分55.1，平均得分达到63.4，超过了最接近的竞争对手Gemma2-9B的59.5分。这种优势就像是在一场多项运动竞赛中，Babel-9B不仅在单项上表现突出，综合实力也是最强的。

在80B参数规模的比较中，Babel-83B同样表现抢眼。它在MMMLU任务上得分76.3，超过了Qwen2.5-72B的74.7分和Llama3.1-70B的69.1分；在M3Exam任务上得分72.1，同样领先；在XCOPA任务上得分92.8，表现最为出色；在XNLI任务上得分76.6，远超其他模型；在Flores-200任务上得分58.8，也是最高的。综合平均得分73.2，显著超过Qwen2.5-72B的69.8分和Llama3.1-70B的66.9分。

更有趣的是，研究团队深入分析了Babel在不同资源水平语言上的表现。他们将支持的25种语言分为高资源语言和低资源语言两类，分类标准基于CommonCrawl数据的统计。高资源语言包括英语、中文、德语、西班牙语、法语、印尼语、意大利语、日语、葡萄牙语、俄语和越南语，这些语言在网络上有丰富的公开训练语料。低资源语言包括印地语、标准阿拉伯语、孟加拉语、乌尔都语、斯瓦希里语、泰米尔语、土耳其语、朝鲜语、爪哇语、豪萨语、泰语、波斯语、菲律宾语和缅甸语。

分析结果显示，Babel-9B在低资源语言上相比基础模型Qwen2.5-7B有显著提升。在MMMLU任务上，低资源语言的得分从50.0提升到54.4，在XNLI任务上从66.7提升到69.2，在MGSM任务上从25.5大幅提升到37.8。这种提升就像是为那些原本被忽视的学生提供了专门的辅导，让他们的成绩有了明显进步。同时，Babel在高资源语言上的表现也很稳定，保持了与其他先进模型相当或更好的水平。

为了进一步提升Babel的实用性，研究团队还训练了对话版本的模型。他们主要使用了开源的多语言监督微调数据，包括WildChat数据集和EverythingInstructMultilingual数据集。WildChat包含100万个用户与ChatGPT的对话，涵盖超过250万轮交互。EverythingInstructMultilingual是一个广泛的Alpaca指令格式数据集，覆盖多样化的主题。

在构建监督微调数据时，研究团队比较了纯英语数据和多语言数据的效果。结果显示，虽然英语数据能够提升模型的指令遵循能力，但多语言数据能带来显著更好的整体性能。因此，他们构建了一个包含约100万多轮对话的大规模多语言监督微调数据池。在这个数据池中，英语占40%，中文占10%，其余50%分布在其他23种语言中。

监督微调后的Babel聊天模型表现令人印象深刻。Babel-9B-Chat在10B规模模型中取得了最高的平均分67.5，超过了Gemma2-9B-Instruct的65.7分。它在XCOPA（88.9）、MGSM（64.3）、XNLI（72.4）和Flores-200（56.7）任务上都取得了最佳成绩，展现了强大的多语言推理和问题解决能力。

更令人瞩目的是Babel-83B-Chat的表现。它在开源多语言大语言模型中取得了最高的平均性能74.4分，非常接近商业模型GPT-4o的75.1分，并且超过了Qwen2.5-72B-Instruct的71.9分和Llama3.1-70B-Instruct的67.0分。在XCOPA和XNLI等任务上，Babel-83B-Chat的表现甚至领先于GPT-4o，展现了其在多语言理解和推理方面的强大能力。

研究团队特别强调，这些出色的结果完全是基于公开可用的数据集实现的，这充分展现了Babel基础模型的robustfoundationalperformance。他们相信，如果能够获得更多不同类型、不同领域和不同格式的监督微调数据，以及额外的对齐数据和偏好调优，聊天版本的性能还能进一步提升。

从技术创新的角度来看，Babel的层扩展方法为大语言模型的改进提供了一个新的思路。传统的继续预训练方法就像是在现有的花园里重新种植，而层扩展方法则是扩大花园的面积，为更多样化的"植被"（语言能力）提供生长空间。这种方法不仅提高了模型的性能上限，还为后续的优化提供了更大的空间。

从社会意义的角度来看，Babel的推出代表了AI发展中的一个重要里程碑。它不仅仅是一个技术产品，更是对AI公平性和包容性的有力推动。通过为那些被主流AI模型忽视的语言提供高qualitysupport，Babel让更多的人能够平等地享受AI技术带来的便利。这就像是在全球化的浪潮中，确保每个社区都能获得同等质量的公共服务。

当然，Babel也面临着一些挑战。首先是数据质量问题。对于低资源语言，高质量训练数据的获取仍然是一个难题。研究团队虽然建立了sophisticated的数据清洁pipeline，但在某些语言上，可用数据的数量和质量仍然有限。其次是计算资源问题。训练和部署大规模多语言模型需要significant的计算资源，这可能限制了模型的广泛应用。最后是评估标准问题。目前的多语言评估数据集主要集中在少数语言上，对于一些低资源语言，缺乏标准化的评估基准。

尽管存在这些挑战，Babel的成功推出仍然具有重要意义。它证明了通过innovative的技术方法和careful的数据处理，可以构建出真正inclusive的多语言AI系统。更重要的是，作为一个开源项目，Babel为全球的研究者和开发者提供了一个solid的foundation，他们可以在此基础上进一步改进和customization，为更多语言社区提供服务。

展望未来，Babel的发展路径可能会朝着几个方向前进。首先是扩展语言覆盖范围，将更多的regionallanguages纳入支持范围。其次是提升低资源语言的性能，通过更advanced的few-shotlearning和transferlearning技术，在有限数据下实现更好的效果。第三是增强多模态能力，让模型不仅能处理文本，还能理解图像、音频等多种modality的信息。第四是优化效率，通过modelcompression、quantization等技术，让模型能够在resource-constrained的环境下运行。

Babel项目也为AIethics和responsibleAIdevelopment提供了一个重要案例。它展示了如何在追求技术先进性的同时，不忘记socialresponsibility和culturalsensitivity。通过积极关注和支持underrepresentedlanguages，Babel体现了technologyforgood的理念，这对整个AI行业都有重要的示范意义。

说到底，Babel不仅是一个技术产品，更是一个关于包容和连接的故事。在这个increasinglyconnected但linguisticallydivided的世界里，Babel就像是一座新的"巴别塔"，但这次它的目标不是通天，而是连接——连接不同语言社区的人们，让他们都能平等地participateinAI时代的opportunities。正如研究团队在论文中引用的《圣经》故事一样，上帝曾经混乱了人类的语言并将他们分散各地，而现在，通过AI技术的力量，我们或许能够重新buildbridges，让语言差异不再是障碍，而是丰富人类文明的multicoloredtapestry中的一部分。

归根结底，Babel的成功在于它回答了一个fundamentalquestion：AI技术应该为谁服务？它的答案很清楚——为所有人服务，无论他们说什么语言，来自哪个地区。这种inclusive的approach不仅在技术上是innovative的，在价值观上也是progressive的。它提醒我们，真正的technologicalprogress不仅要追求performance的极致，更要确保benefits的公平分配。

对于普通用户来说，Babel的推出意味着什么呢？简单来说，它意味着更多的人将能够用自己的母语与AI进行naturalconversation，获得personalized的帮助和服务。一个说孟加拉语的farmer可能很快就能用AI来获取agriculturaladvice，一个说斯瓦希里语的student可能能够用AI来辅助学习，一个说乌尔都语的entrepreneur可能能够用AI来处理businesscommunications。这些可能性在以前都是unimaginable的，但现在正在变成reality。

研究团队在论文最后也表达了对未来的展望。他们认为，Babel只是一个开始，真正的目标是建立一个trulymultilingualAIecosystem，在这个生态系统中，每种语言都能得到appropriate的支持，每个languagecommunity都能享受到AI技术的benefits。这个vision虽然ambitious，但从Babel的成功来看，是完全achievable的。

Q&A

Q1：Babel模型主要解决了什么问题？它与其他AI模型有什么不同？

A：Babel主要解决了现有多语言AI模型偏向发达国家语言、忽视低资源语言的问题。与其他模型不同，它专门支持全球使用人数最多的25种语言，包括印地语、孟加拉语、乌尔都语等经常被忽视但使用人数庞大的语言，覆盖超过90%的全球人口。它采用创新的"层扩展"技术而非传统的继续训练方法，就像给建筑加盖新楼层而不是重新装修。

Q2：普通人能不能使用Babel？它有什么实际应用价值？

A：Babel是开源模型，普通人可以通过其项目主页https://babel-llm.github.io/babel-llm/了解和获取。它的实际价值在于让更多语言社区的人能用母语与AI自然对话。比如说孟加拉语的农民能用AI获取农业建议，斯瓦希里语的学生能用AI辅助学习，乌尔都语的创业者能用AI处理商务沟通等，这些在以前都很难实现。

Q3：Babel的性能如何？能不能跟商业AI模型比较？

A：Babel性能表现出色。小版本Babel-9B在10B参数规模中综合得分最高（63.4分），大版本Babel-83B在开源多语言模型中表现最佳（73.2分），甚至接近商业模型GPT-4o的75.1分。特别是在对话版本中，Babel-83B-Chat在某些任务上甚至超过了GPT-4o，展现了强大的多语言理解和推理能力。