小米大模型交成绩单

来源：猎云精选，文/王非

距4月14日雷军官宣杀入大模型不到4个月，小米大模型终于首次曝光，并交出了一份初步成绩单！

多方消息显示，小米大模型MiLM-6B现身C-Eval、CMMLU大模型评测榜单。

根据GitHub项目页给出的信息，MiLM-6B（下称：小米大模型）是由小米开发的一个大规模预训练语言模型，参数规模为64亿。

相关页面显示，小米大模型在C-Eval榜单中排名第9、同参数量级排名第1，在CMMLU中文向大模型排名第1。

值得一提的是，雷军将于下周一（8月14日）晚间的新品发布会上，发表年度演讲。

本次演讲以“成长”为主题，雷军发布的微博透露，“当初做的一个决定，改变了我的一生。”而且，这个决定让他庆幸至今。

外界猜测，雷军年度演讲的内容，除了与小米造车相关，或许还将与小米筹备已久的大模型有关。

小米大模型取得双“第一”，下周一或亮相

C-Eval榜单，全称C-Eval全球大模型综合性考试测试榜，是由清华大学、上海交通大学和爱丁堡大学合作构建的中文语言模型综合性考试评估套件。

该套件覆盖人文、社科、理工、其他专业四个大方向，包括52个学科，涵盖微积分、线性代数等多个知识领域。共有13948道中文知识和推理型题目，难度分为中学、本科、研究生、职业等四个考试级别，能够更加全面的对模型的语言处理能力进行评估，对中文社区语言大模型的研发有着很好的参考价值。

具体而言，在C-Eval评估中，小米大模型的平均分为60.2，在STEM、社会科学、人文科学、其他这四个类别中，均取得了不错的表现。

其中，在STEM（科学、技术、工程和数学教育）全部20个科目中，小米大模型得分54.5，在计量师、物理、化学、生物等多个项目中获得了较高的准确率；在10个社会科学科目中，小米大模型得分71.7，在教育学和地理外的所有科目中，获得了较为理想的准确率；在11个人文科学科目中，小米大模型得分62.7，在历史与法律基础上，获得了不错的准确率；在其他分类下，小米大模型则得分57.7。

整体而言，小米大模型在法学、数学、编程、概率论、离散数学等科目上的表现，仍然有明显进步空间。

CMMLU，则是由MBZUAI、上海交通大学、微软亚洲研究院合作完成的，一个全面的中文大模型基准。它涵盖了67个主题，涉及自然科学、社会科学、工程、人文、以及常识等，可以全面地评估大模型在中文知识储备和语言理解上的能力。

在CMMLU中文向大模型评估中，小米大模型在zero-shot和five-shot测试中的平均分分别为60.37和57.17，表现出良好的知识和推理能力。

在zero-shot测试中，小米大模型在人文学科得分63.49，社会科学得分66.2，其他得分62.14，中国特定主题得分62.07，平均分为60.37。

在five-shot测试中，小米大模型在人文学科得分61.12，社会科学得分61.68，其他得分58.84，中国特定主题得分59.39，平均分为57.17。

小米大模型首次曝光于上述两个评测榜单中，并取得“双第一”的不错成绩，也为其接下来的亮相，带来了充足底气。

至于亮相的时间，或许就在下周一，小米举办的新品发布会中，雷军的年度演讲环节。

此前，雷军曾表示，“今年的演讲比前几年更长些，演讲之后是我们的年度新品发布，还会披露我们技术探索的新进展。今年内容也非常多，估计3小时左右。”

雷军口中的“技术探索的新进展”，除了小米汽车，可能就要数小米大模型了。

任命栾剑做领头人，千人团队百亿研发护航

4月14日，据澎湃新闻报道，小米集团发布内部邮件，任命栾剑担任技术委员会AI实验室大模型团队负责人，向技术委员会副主席、AI实验室主任王斌汇报。

公开资料显示，栾剑现任小米技术委员会AI实验室语音生成团队负责人，曾任东芝研究院研究员、微软工程院高级语音科学家、微软小冰首席语音科学家及语音团队负责人等职位。

紧随其后，雷军于4月14日晚间在微博发文，首度谈及小米对大模型和AIGC的看法。

“全力以赴、坚决拥抱”，雷军为小米大模型发展定调！他还透露，对于大模型，小米“正在研发一些有趣的技术和产品，等我们打磨好了，再给大家展示。”

雷军在微博提及小米，在AI领域有AI实验室、小爱同学、自动驾驶等团队。

此外，从服务能力协同来看，雷军手中亦有金山云这张底牌。金山云是金山软件的附属公司，在公司掌舵人雷军超前布局下，是与阿里巴巴最早在中国全力进军云计算的企业。

要知道，ChatGPT热潮带来的AI竞争，最直接的受益者正是云计算平台。一方面，生成式AI应用背后的大模型需要更强的算力；另一方面，区别于传统云计算平台提供的算力、存储等资源，拥有大模型的云厂商未来可以提供基于大模型开发应用。

早在今年2月的小米投资者日上，对于小米在ChatGPT上的布局，小米手机部总裁曾学忠就表示，ChatGPT基于AI大模型、千亿级参数量、数据量、还有人工标注支撑，AI大模型方面小米一直都有投入。手机和汽车业务有很多AI大模型落地的场景。

随后，在今年3月的2022年财报电话会议上，小米集团总裁卢伟冰谈到ChatGPT相关问题时表示，小米很早就在AI大模型方面进行了许多部署，同时采用了多技术路线并行的策略，小爱同学就是小米大模型落地的代表。

5月24日晚，小米披露的2023年第一季度业绩数据中提到，目前小米AI领域相关研发人员超1200人，未来小米将不断挖掘AI相关的用户场景，发挥技术优势，并以开放的态度与合作伙伴开拓更多机会。

卢伟冰再次强调，小米会积极拥抱大模型技术，但小米不会像OpenAI那样去做通用大模型，而是寻求大模型与自身业务的深度协同，例如与小爱同学、MIUI、机器人等业务相结合，同时也不断提升集团的内部工作效率。

小米副总裁、首席财务官林世伟也在业绩电话会上透露，“已经把业内大模型团队都过了一遍”，小米会采用惯用的“打法”，也就是战略投资等方式，来实现AI大模型方面的生态合作。

第一季度业绩数据还显示，小米一季度持续投入研发，研发支出同比增长17.7%达41亿元。小米表示，预计2023年总研发投入将超200亿元。

从目前综合信息来看，小米大模型“万事俱备，只欠东风”。下周一晚间，能否见证它的正式亮相，外界正翘首以待。