SSA 是一套面向社会模拟系统的评测基准平台,由 MIT 团队牵头发布。2026.9.28,项目公开真实评测任务,参赛系统需提前预测五个指定关键词的搜索热度分布,封存答案后由随后公布的真实数据检验。
核心要点
- MIT 牵头发布 Social Simulation Arena,官网 social-simulation-arena.com
- 评测以真实搜索热度为答案,封存后再检验
- 首批任务覆盖 iPhone、特斯拉等五个关键词
- 项目作者团队由 MIT 研究人员组成,面向社会模拟系统对人群行为判断的可靠性验证
产品详情
评测任务
SSA 把社会模拟系统的预测能力放进真实世界检验,任务要求参赛系统在数据公布前预测五个关键词的相对热度。
答案先封存,再由随后公布的搜索数据检验,评分依据预测与实际分布的一致程度,评测与接入文档在官网公开。
研究背景
社会模拟正从学术走向商业,Aaru、Simile 等公司尝试构建虚拟人群预演消费者反应,验证能力成为落地关键。
与竞品对比
对比 GAIA 和 BigBench 等通用智能体评测基准,SSA 的区别在于用真实未来数据做封存检验,可作为静态问答基准的替代。
| 维度 | GAIA | BigBench | SSA |
|---|---|---|---|
| 答案来源 | 预置问答 | 预置任务 | 真实未来搜索数据 |
| 检验方式 | 即时判定 | 即时判定 | 封存后真实数据检验 |
| 领域 | 通用助手 | 通用 NLP | 社会模拟预测 |
常见问题
问. SSA 是什么
SSA 是 MIT 牵头发布的社会模拟评测基准,用真实搜索热度检验系统对人群行为的预测能力。
问. 如何使用该评测基准
评测任务、接入文档与 FAQ 均在官网公开,参赛系统可按文档接入并提交封存答案。
问. 和 GAIA 等评测基准的区别是什么
对比 GAIA 用预置问答即时判定,SSA 以真实未来数据封存检验,评分依据实际分布一致程度。
问. 获取方式是免费吗
评测任务与文档开放访问,获取免费,代码仓库在 GitHub 以开源形式公开,许可证以仓库声明为准,未确认采用 Apache 或 MIT 之外的协议。
最后更新 2026 年,SSA 的更新日志随项目发布,社区贡献者可提交评测任务参与共建。
本文来源,新智元《MIT牵头破题,AI能模拟社会,但谁来验证它》https://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA%3D%3D&idx=3&mid=2652730110&sn=3c353f893197e722b79bf9dbc8ce98ac