ARTi Benchmark · 评分体系
D × Q × R
三个维度，七个子指标，用 LLM-as-judge 自动评分，可覆盖 A 股 / 港股 / 美股场景。
DData数据质量维度
数据时效性
引用数据是否为最新可用数据，财报数据是否与发布时间匹配
来源权威性
数据来源是否为 SEC、交易所、官方财报等一级来源
无冲突
同一报告内不同段落的数据是否自洽，无前后矛盾
QQuality分析质量维度
分析深度
是否超出数据复述，提供有效推断和因果解释
覆盖度
核心问题是否被完整覆盖，关键数据点不遗漏
RReliability可靠性维度
无数据失真
数字未被四舍五入或错误单位化（如亿/百万混淆）
无幻觉
不引用未经验证的数据，不编造财务数字
综合得分 = D × Q × R，满分 100。每个子维度由 LLM-as-judge 打 0–1 连续分，加权求和后归一化。评分 rubric 需投研专业人员参与标注初始样本，再通过 prompt tuning 扩展到自动化流程。