DUD-E：虚拟筛选 Benchmark 的优势和问题

DUD-E（Directory of Useful Decoys, Enhanced，Shoichet 组 2012）是虚拟筛选领域引用最多的基准数据集。它覆盖 102 个靶点，每个靶点有一批已知活性分子和约 50 倍的诱饵分子（decoys）。理解它的构建逻辑和后来被发现的问题，是理解「虚拟筛选评测为什么这么难」的最好案例。

构建逻辑

• 活性分子：从 ChEMBL 取对该靶点有确证活性的化合物，按骨架聚类去冗余。
• 诱饵分子：从 ZINC 中挑选——物理性质相似（MW、logP、可旋转键、氢键供受体、净电荷），但拓扑结构不同（指纹相似性低）。
• 设计意图：让评测不能靠「按分子量或疏水性排序」就作弊，必须真正识别结合模式。

规模	数值
靶点	102 个（覆盖多个蛋白家族）
活性分子	约 22,886 个
诱饵	约 100 万个
诱饵:活性比	约 50:1

评测指标

# 常用指标
ROC-AUC          # 整体排序能力，但对早期富集不敏感
BEDROC (α=20)    # 加权强调排名靠前的部分
EF@1%            # 前 1% 中活性分子的富集倍数 ← 最贴近实际
logAUC           # 对数尺度 AUC，强调早期富集

EF@1%（1% 富集因子）是最实用的指标：真实筛选中你只会买前 1% 的分子，整体 AUC 再好，前面没富集也没用。

被发现的严重问题

2019 年前后多项研究揭示了 DUD-E 的隐性偏倚，这些发现深刻改变了领域的评测习惯：

• 活性与诱饵在化学上「太容易区分」：活性分子按骨架聚类选取、诱饵按拓扑不相似挑选，导致两组的化学空间天然分离。只用配体特征（不看蛋白）训练的神经网络，就能在 DUD-E 上取得很高的 AUC——这意味着模型根本没在学蛋白-配体相互作用。
• 诱饵不是真阴性：诱饵只是「未被报道有活性」，其中可能混有真正的活性分子，也可能有些从未被测试过。
• 类似物偏倚（analogue bias）：同一靶点的活性分子常来自少数几个化学系列，模型记住系列即可。
• 跨靶点泛化被高估：在 DUD-E 上训练的模型换到真实筛选数据上，性能常大幅下降。

今天该怎么用

• 不要用它训练机器学习打分函数。这是最重要的一条——在 DUD-E 上训练几乎必然学到偏倚而非相互作用。
• 可以用它做经典打分函数的对照：评测 Vina、Glide 这类不从中学习的方法时，DUD-E 仍有参考价值。
• 必设对照实验：若要用它评测 ML 方法，必须同时跑一个「只用配体特征」的基线。你的方法若赢不过这个基线多少，说明它没学到结构信息。
• 转向更真实的基准：LIT-PCBA（见 242《LIT-PCBA》）来自真实 HTS 实验，活性/非活性都是实测的，不平衡程度也更接近现实。
• 结合多个基准：DEKOIS、MUV（专门设计以减少类似物偏倚）、以及自家内部数据。

它留下的方法论遗产

DUD-E 的故事是计算化学领域一次重要的自我纠错：一个设计精良、被广泛接受的基准，仍然可能包含让模型「作弊」的隐性偏倚。它的教训适用于所有 AI 制药基准——评估一个模型时，永远要问「有没有一个不使用关键信息的简单基线也能拿到相似分数」。这个问题问下去，能挡掉大量看似漂亮的结果。

延伸资源

• 更真实的基准：242《LIT-PCBA》；亲和力数据：238《PDBbind》；
• 打分函数与评测陷阱：095《Docking Score》、169《Benchmark 陷阱》；
• 虚拟筛选流程见「实战流程」模块。