如何测试检索器的性能？

[thunderbolt-fire]

想知道怎么测试检索器的 recall 和 MRR 这些指标？

[ZhuochengZhang98]

目前FlexRAG尚未支持MRR指标，关于检索FlexRAG目前支持Recall、Precision、MAP以及nDCG指标。如果您使用flexrag.entrypoints.run_assistant运行完整的RAG流水线，您可以在eval_config.metrics_type这一命令行参数中传入您想要的指标，如retrieval_recall、retrieval_precision、retrieval_map或retrieval_ndcg。

如果您在Python代码中希望对检索结果进行测试，您可以直接从FlexRAG中导入必要的类来完成测试，如：

from flexrag.metrics import RetrievalRecallConfig, RetrievalRecall
from flexrag.common_dataclass import Context, RetrievedContext

# prepare your contexts here
golden_ctxs: list[list[Context]]
retrieved_ctxs: list[list[RetrievedContext]]

metric = RetrievalRecall(RetrievalRecallConfig())
metric(retrieved_contexts=retrieved_ctxs, golden_contexts=golden_ctxs)