GitHub、AIコードレビュアーを評価するオープンベンチマーク「ReviewBench」を公開

GitHubは、AIコードレビュアーが余計なノイズを増やすことなく重要な問題を捉えられるかを検証するオープンベンチマーク「ReviewBench」を公開した。このベンチマークはGitHub上の1億390万件のプルリクエスト分析から導出され、19のプログラミング言語にわたる219件のプルリクエストで構成されている。

GitHubのブログ記事にある通り、開発者は独自のコードレビューエージェントを持ち込んでベンチマークで評価し、結果を提出できる。