[讨论] 关于F1指标的讨论以及与现有的代码评审工具的对比

[ScarletCarpet]

我在B站上看到有关OCR工具的讨论，其中有个章节吸引到我了，就是目前有一些其他类似的CR工具coderabbit、bugbot、deepsource等，这个网站上的显示其他几个工具的F1指标很高（虽然不知道数据来源是哪）。

想一起讨论下业界情况和OCR目标的方向。

1. 业界的指标是多少呢？
2. 其他工具的做法是否有调研？OCR现在是单文件逐个审查防止AI漏文件，其他的agent也是类似做法么？
3. OCR的目标？目前看到有ultra模式，这个模式的具体设计理念是什么呢。

[lizhengfeng101]

1. 业界指标没统一，有很多个榜单，细致的看你会发现有很多榜单甚至是只有5到10个 pr，以及人工进行打分。
2. 从早期内部做的时候就一直会保持调研业界的方案，但是这一块儿如果把内部的报告往外发涉及到数据披露等很多因素，我们开发者团队人很少，可能没有精力做这块儿事情。
3. OCR 的目标很简单，永远追随先进、主流的技术框架，在找 bug 的场景更准、更快、更省，同时工具开源、免费。 ultra 模式的设计理念很简单，由于目前相对来说 ocr 使用的 token 很少，后续会增加 token 使用，通过次数来换确定性，从而提升召回率。

[ScarletCarpet]

1. 业界指标没统一，有很多个榜单，细致的看你会发现有很多榜单甚至是只有5到10个 pr，以及人工进行打分。
2. 从早期内部做的时候就一直会保持调研业界的方案，但是这一块儿如果把内部的报告往外发涉及到数据披露等很多因素，我们开发者团队人很少，可能没有精力做这块儿事情。
3. OCR 的目标很简单，永远追随先进、主流的技术框架，在找 bug 的场景更准、更快、更省，同时工具开源、免费。 ultra 模式的设计理念很简单，由于目前相对来说 ocr 使用的 token 很少，后续会增加 token 使用，通过次数来换确定性，从而提升召回率。

我有看到一篇字节的论文关于CR准确率的提升，不过字节并没开源（做没做出来也不清楚），不知道你们是否有研究过，当然我会先去研究下是怎么实现 25 % 到 75 % 的提升的。