测试成本问题

[PeppaWu]

MODE="gen" 相对 MODE="disc" 测试耗时相对扩大了很多，在ImageNet1K的评测上相同资源配置下大约是 30min vs 10s，请问 作者这个时间差是完全由于gen mode下的COT造成的吗，还是因为其他原因？

[Nonoor]

gen mode 相比 disc mode 的主要额外耗时确实来自 CoT 的自回归生成。由于 Transformer 的计算复杂度随序列长度近似二次增长，对于 ImageNet-1K 这类原始输入 token（图像 + 文本）本身较短的数据集，CoT 会显著拉长序列长度，从而放大 gen / disc 之间的速度差异；当原始输入较长时，这种差距会相对减小。

另外，您提到的 ImageNet-1K 上 30min vs 10s 的差异与我们观察到的结果似乎不太一致。以2B模型的 query generation 为例，在未使用 vLLM、相同资源配置下，我们测得 disc mode 约 11s，gen mode 约 1min 13s。需要补充说明的是，GPU 数量和显存规模会直接影响可用的 batch size，从而对推理吞吐和整体耗时产生较大影响，这也可能导致不同环境下观测到的速度差异。

如果希望提高推理速度，我们推荐使用 vLLM 进行加速 gen mode 推理，通常可以显著降低整体评测时间。