ARTi Benchmark · 测试集
Dataset
100+ 道覆盖 A 股 / 港股 / 美股的标准化投研题，分三个难度层级，支持自动评分与人工扩展。
题目分类
Scan快速扫描类
- “NVDA 最新一季 EPS 是多少？”
- “茅台今天收盘价？”
- “苹果 2024 年总营收？”
有标准答案，可自动验证，适合作为基础评测题
Panorama全景分析类
- “帮我分析 NVDA 的竞争护城河”
- “茅台近三年的核心增长驱动是什么？”
- “Apple 的供应链风险有哪些？”
无唯一答案，需 LLM-as-judge + rubric 评分
Deep深度研究类
- “如果美联储 2025 年降息 3 次，对 NVDA 估值影响如何？”
- “茅台提价空间的边界在哪里？”
难度最高，考察推理与失效条件意识
构建流程
1
从历史问答挖掘
ARTi 有真实用户产出的问答记录，筛出"有可验证事实答案"的题目作为 Scan 类基础集
2
人工标注小样本
投研人员对 Panorama / Deep 类题目给出参考答案和评分标准（~50 题）
3
LLM-as-judge 扩展
用标注样本 fine-tune judge prompt，扩展到大规模自动评分
4
持续更新
每季度加入新题目，覆盖最新财报周期和市场事件