AGI-Eval

AGI-Eval详细介绍

AGI-Eval 是一个面向大语言模型与多模态模型的公开评测社区，由高校与产业机构共同维护，目标是用统一、可复现的评测方法把模型能力摊在阳光下。

AGI-Eval 的核心能力集中在三块：实时更新的模型榜单、人机协同评测，以及由官方与社区共建的评测数据集。榜单包含综合与分项能力，数据源透明，能直接看到每家模型的得分与短板。

对研究者和工程师来说，AGI-Eval 的价值在于把哪个模型更强从体感变成可查证的数字。选模型、写论文、做横向对比时，先来这里翻一遍榜单，能少走很多弯路。

AGI-Eval 的门槛很低，浏览器打开即用，无需安装。社区还鼓励普通人参与人机评测并换取回报，这种众包机制让榜单更新更快、收录更广。

用过 AGI-Eval 的人普遍反馈榜单更新勤、数据可溯源，但也提醒评测集本身会偏科，结论要结合实际业务再判断，不能唯分数论。

AGI-Eval的核心功能

• 模型榜单：实时更新的大语言模型与多模态模型能力排名，按综合与分项展示得分，数据透明可查。
• 人机协同评测：普通用户也能参与评测任务，在人与模型协作中标注质量，既贡献数据又换取回报。
• 评测数据集：官方与社区共建的多领域数据集，涉及代码、数学、知识等任务，支持查看与检索。
• 能力分项对比：榜单按推理、代码、知识等维度拆分，方便横向比较不同模型的强弱项。
• Data Studio：个人可贡献专业领域数据，平台用机审加人审保证质量，逐步扩充任务标签。
• 学术背书：由高校与产业机构共同维护，贡献者包含多名人工智能方向教授与研究员。

AGI-Eval的价格详情

免费权益：

社区榜单浏览、评测集查看与人机评测参与完全免费，版本以官网为准，价格可能随官方调整。

收费模式：

面向企业与科研机构的定制化评测、私有化榜单与数据共建合作，需沟通询价，价格以官网为准。

AGI-Eval的应用场景

• 论文选型：写综述或做实验前，先查榜单确认 baseline 模型的能力边界。
• 模型采购：企业引入大模型前，用分项对比看候选模型在自身任务上的强弱。
• 教学演示：课堂展示不同模型的推理与代码得分，直观讲清能力差异。
• 人机评测兼职：参与平台评测任务，标注质量并换取积分回报。
• 数据集共建：研究者上传专业领域题目，扩充公开评测范围。
• 能力追踪：定期看榜单变化，掌握模型迭代趋势。

AGI-Eval的适用人群

• 科研人员：做基准对比与论文实验，需要可溯源的模型得分。
• 开发者：选型时查分项能力，少踩模型短板坑。
• 学生：学习模型差异、做课程项目时快速查榜单。
• 产品经理：评估第三方模型能力，定接入方案。

同类工具对比