麻省理工科技评论大模型评测：讯飞星火“最聪明”得分居首
来源：上海证券报·中国证券网
2023-08-18 15:01:56
【资料图】
国内“千模大战”下，谁是最聪明的大模型？近日，《麻省理工科技评论》从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力，力图评出“最聪明”的国产大模型。报告选取了“讯飞星火”“百度文心一言”“商汤商量”“阿里通义千问”作为中文大模型平台的代表，展开系统、科学的评测。
报告显示，在8个一级大类的600道题目的测试和盲评中，讯飞星火认知大模型V2.0在6个大类中得分率排名第一，表现突出；以81.5分（百分制计）的成绩在本次评测中登顶，荣获“最聪明”的国产大模型称号。
本次评测使用的测试集包含600道题目，覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类，126个二级分类，290个三级标签，并针对问题的丰富性和多样性做了优化。
作为“最聪明”大模型的基础能力，语言专项评测包含对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等61个二级分类，题型则以简答为主。结果显示，讯飞星火85.73%的得分率排名第一，明显高于平均值。
数学专项评测，是“最聪明”大模型必不可少的评测维度。本次评测包含代数、几何、解方程、复杂数学、统计学等9个二级分类，以选择题为主。讯飞星火以77.75%的得分率名列第一，远高于56%的平均得分率。
逻辑思维也是“最聪明”大模型的重要体现，本次逻辑思维评测包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等19个二级分类。在逻辑思维题目中，讯飞星火81.25%的得分率名列第一，明显高于72.6%的平均值。
编程能力是大模型较高阶的能力，评测包含ASCII、ASCII码识别、Python、代码、代码修正、计算机6个二级分类。结果显示，讯飞星火80%的得分率明显高于71%的平均值。
（文章来源：上海证券报·中国证券网）
