研究:AI基准覆盖不足九成美国工时
热点事件持续更新
研究:AI基准覆盖不足九成美国工时
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Mercor 发布一项基于 O*NET 职业任务的研究,称 90% 的美国工作时间花在现有 AI benchmark 覆盖很少或完全没有覆盖的任务上。 该研究纳入至少含 25 条公开任务的基准,并加入 Mercor 自有 APEX 基准;判定标准是某条 O*NET 任务被其 29 个基准中的至少 5 条 prompt 映射为“已覆盖”,不足 5 条的任务被排除在平均之外。 按此标准,923 个职业中仅 208 个职业有任务被覆盖,22 个职业大类中有 6 类完全没有此类职业。
AI 根据报道生成 · 5 小时前更新
最新进展10月17日 01:08
研究:90% 的美国工作时间花在 AI benchmark 覆盖不足的任务上报道时间线
沿着报道,了解事件的不同侧面。
10月17日
- Hacker News · AI 高分帖研究:90% 的美国工作时间花在 AI benchmark 覆盖不足的任务上
一项基于 O*NET 的研究发现,90% 的美国工作时间花在现有 AI benchmark 覆盖很少或完全没有覆盖的任务上。在 923 个职业中,仅 208 个职业有任务被至少 5 条 benchmark prompt 覆盖,22 个职业大类中有 6 类完全没有此类职业。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。