Skip to main content
    Nicole Chen

    Thinking

    ARTi Benchmark

    用标准化测试集衡量 AI 投研能力——评分体系、工程架构与排行榜实现方案

    他们做了什么

    IRAB 是目前最系统的 AI 投研能力排行榜——用一套标准化测试集跑所有模型配置，按多维度打分，公开展示结果。

    评分体系：D × Q × R

    • D（Data）：数据质量、时效性、来源权威性、无冲突
    • Q（Quality）：分析深度、覆盖度
    • R（Reliability）：无数据失真、无数据冲突

    每次测试记录

    综合分、7 个子维度分、成本/次、耗时/次、P95 耗时、样本量 N

    可视化

    排行榜表格、能力热力图、成本×分数散点图、time×分数散点图、head-to-head 胜率

    ARTi 已有的基础

    • —evaluate-with-judge + admin-golden-set 跑批评估
    • —多 provider / 模型支持（RFC-0017）
    • —AI gateway 里有耗时 / token 记录

    需要新建的

    测试集

    ★★★

    100+ 道有标准答案的投研题（覆盖 scan / panorama / deep，含 A 股 / 港股 / 美股）

    最核心，人工成本高

    评分 rubric

    ★★★

    把 D/Q/R 7 个子维度翻译成投研场景的打分标准，用 LLM-as-judge 自动评

    benchmark runner

    ★★☆

    对每个模型 × reasoning 档位跑完整测试集，记录分 / 成本 / 耗时

    结果存储

    ★☆☆

    新建 benchmark_runs / benchmark_scores 表

    排行榜页面

    ★★☆

    表格 + 热力图 + 散点图，公开可访问

    head-to-head 计算

    ★☆☆

    两两比较胜率，按题目粒度

    关键判断

    最重的工作量在测试集构建和评分维度定义，不是代码。工程侧 2–3 周能出初版，但测试集质量决定排行榜有没有公信力——这才是值得投入时间的地方。

    ARTi 有先天优势——有真实用户产出的研报和预测记录，可以：

    1. 1.从历史问答里筛出"有事实答案"的题（股价预测验证、数据查询）做自动评估
    2. 2.用专业投研人员标注少量样本，再用 LLM-as-judge 扩展