AIDD·Atlas AI 制药学习地图
335

用 TDC Benchmark 评估模型:让结果可比较

用 TDC Benchmark Group 的标准划分与指标评估模型,并对照公开排行榜,让结果真正可比。

自己划分、自己定指标,结果没法和别人比。用 TDC Benchmark Group 做标准化评测。

操作步骤

  1. 安装 pip install PyTDC,选定 Benchmark Group(如 ADMET);
  2. 用其提供的标准划分(含 seed)训练与评估;
  3. 用官方评测函数算指标;
  4. 多个 seed 取均值与方差,别只报最佳;
  5. 对照 Leaderboard 校准「多少分算好」。

常见坑与提示

必须用官方划分与指标,否则不可比;多 seed 报均值方差是基本规范;高于 SOTA 时先怀疑数据泄漏(见 169)。

延伸资源

  • 教程见 005、009;数据见 244–248。