本文へスキップ

たけぞうBLOG

AIコードレビューCLIのocrをGLMで動かしてcubicと比較した話

AIエージェントにコードを書かせる機会が増えると、レビューもAIに任せたくなる。有名どころのSaaS(Cubic、CodeRabbitなど)もあるが、AlibabaがOSSで公開している「OpenCodeReview(コマンド名はocr)」は、gitの差分を自分の好きなLLMに投げてレビューコメントを生成してくれるCLIツールだ。LLMプロバイダーが差し替え可能なので、手持ちのAPIトークンで運用できるのが強み。

今回はこのocrを自宅のClaude Codeルーティングプロキシ経由でz.aiのGLM(glm-5.3-flash)につなぎ、普段使っているAIレビューSaaSのcubicとレビュー性能を比較した。結論を先に言うと、バグを7つ仕込んだテスト差分での検出率は両者とも7/7で互角。ただし所要時間はocrが約5分に対してcubicは約2分で、実用面ではcubicに軍配が上がる、という結果だった。導入手順と比較結果をまとめる。

目次

広告

OpenCodeReview(ocr)とは

ocrはnpmで配布されているCLIで、ocr reviewを実行するとカレントリポジトリのuncommitted changes(または指定ブランチ・コミットとの差分)をLLMに送り、レビューコメントを生成する。LLMの呼び出しが全てローカルの設定ファイルに閉じているので、GitHub連携などは不要で単体で動く。

ビルトインのプロバイダーは30種類以上。ocr llm providersで一覧が見られる。

$ ocr llm providers
Built-in providers:
  NAME                 PROTOCOL           BASE URL
  anthropic            anthropic          https://api.anthropic.com
  deepseek             openai             https://api.deepseek.com
  kimi                 openai             https://api.moonshot.cn/v1
  openrouter           openai             https://openrouter.ai/api/v1
  z-ai                 openai             https://open.bigmodel.cn/api/paas/v4
  z-ai-coding          openai             https://open.bigmodel.cn/api/coding/paas/v4
  (他20種以上省略)

さらにcustom_providersという仕組みがあり、URLとプロトコル(openai / anthropic)を指定すれば任意のエンドポイントをプロバイダーとして登録できる。今回の肝はここだ。

インストールでハマった点:–allow-scripts は npm に存在しない

まず導入でつまずいた。README風のコマンドをそのまま打ったところ、

$ npm install -g --allow-scripts=@alibaba-group/open-code-review
npm error code ENOENT
npm error path /Users/kawai/package.json
npm error Could not read package.json: no such file or directory

というエラーになった。パッと見「package.jsonがない?」と誤解するが、実際の原因は引数のパース。--allow-scripts=@alibaba-group/open-code-reviewと書くとパッケージ名がフラグの値として解釈され、インストール対象の位置引数がゼロになる。その結果npmはカレントディレクトリのpackage.jsonを読む通常インストールとして動作し、ファイルが無くてENOENT、という流れだ。

そもそも--allow-scriptsはpnpm v10系のオプションであって、当時使っていたnpm 10.9.2には存在しない。npmではpostinstallスクリプトはデフォルトで実行されるので、フラグは不要。正しくはこうだ。

$ npm install -g @alibaba-group/open-code-review
$ ocr --version
open-code-review v1.13.11 (0f5a284) darwin/arm64

なおocrはnpmパッケージとして公開されており、bin名はocr。パッケージ名とコマンド名が違うので注意。

GLMを設定する:Claude Code用プロキシの流用

LLMの接続先はz.aiのGLMにした。私の環境ではAIエージェントに自宅サーバーへのSSHを許可する方法の記事でも触れた通り、Claude Code用にローカルルーティングプロキシ(127.0.0.1:8787)を常時稼働させており、リクエストのmodel名に応じてGLM(z.ai)とAnthropic公式へ振り分けている。GLMルートはプロキシ側がz.aiトークンを注入するので、クライアント側はトークンを持たなくてよい。

ocrはAnthropicプロトコルを話せるので、このプロキシをcustom_providersとして登録すればClaude Codeと同じ経路をそのまま流用できる。

$ ocr config set provider claude-router
$ ocr config set custom_providers.claude-router.url http://127.0.0.1:8787
$ ocr config set custom_providers.claude-router.protocol anthropic
$ ocr config set custom_providers.claude-router.api_key dummy
$ ocr config set custom_providers.claude-router.model glm-5.3-flash
$ ocr llm test
✓ Connection test successful
✓ Tool-call round trip verified
  • api_keyはダミーでOK:GLMルートではプロキシがAuthorizationヘッダーを上書きしてトークンを注入するため
  • modelはcustom_providers側に設定する:llm.modelには設定できるが、providerが有効だとcustom_providers側が優先される(設定漏れだと「provider has no model configured」エラーになる)

ちなみにClaude CodeのPro/MaxサブスクのOAuthログインをocrで使うことはできない。ocrのauthコマンドは「Sign in with ChatGPT」専用で、AnthropicのOAuthトークンを取得する仕組みを持たないためだ。サブスクでClaudeにレビューさせたい場合はローカルプロキシ経由でも結局トークンを運べないので、APIキー課金か別のLLMになる。

モデル選定:glm-5.2-flashは存在しない

最初は「GLM-5.2-Flash」を指定したが、z.ai側から[1211] Unknown Modelエラーで弾かれた。z.aiのモデル一覧はAPIで取得できるので、正確なモデルIDを確認するのが確実だ。

$ curl -s https://api.z.ai/api/paas/v4/models \
    -H "Authorization: Bearer $ZAI_TOKEN" | jq -r '.data[]?.id'
glm-4.5
glm-4.5-air
glm-4.6
glm-4.7
glm-5
glm-5-turbo
glm-5.1
glm-5.2
glm-5.3
glm-5.3-flash
glm-5.3-flashx
glm-5.3-flashx-legal

5.2系にはFlashが無く、Flash系の最新は5.3系だった。今回は標準のglm-5.3-flashを採用した。モデルIDはliteralsな文字列なので、公式ドキュメントより実APIの一覧を見るのが早い。

比較:バグを7つ仕込んだ差分でレビューさせる

レビュー性能の比較には、意図的にバグを埋め込んだテスト差分を使った。決済モジュール風のTypeScriptファイル(約90行)を用意し、ベースコミット(正常版)から作業ツリーへ「変更」の形で7つの欠陥を仕込む。LLMには回答の正解を与えず、埋め込んだ欠陥リスト(グラウンドトゥルース)を私が別途保持し、両ツールの指摘を突き合わせた。

仕込んだ7つの欠陥は次の通り。

  • C1 [critical] 消費税率の定数を0.1→1.0に変更(全注文が2倍額になる)
  • C2 [critical] パラメータ化クエリを文字列補間に書き換え(SQLインジェクション)
  • C3 [critical] ループ条件を<=に変更し配列範囲外参照(毎回クラッシュ)
  • C4 [critical] INSERTクエリのawaitを削除(注文が永続化されず、Promise参照でTypeError)
  • C5 [high] クーポン検証処理を削除(クライアント指定の割引率が無検証で適用)
  • C6 [high] 在庫チェックを未awaitのmap(async ...)に移動(チェックが無効化される)
  • C7 [low] 未使用の定数(デッドコード)

同じuncommitted diffをocr(GLM-5.3-flash)とcubicにレビューさせた結果がこれだ。

埋め込みバグocr (GLM-5.3-flash)cubic
C1 税率1.0critical ✓P0 ✓
C2 SQLインジェクションcritical ✓P0 ✓
C3 off-by-onecritical ✓P0 ✓
C4 await欠落critical ✓P0 ✓
C5 クーポン検証の削除high ✓P1 ✓
C6 在庫チェック無効化critical ✓P1 ✓
C7 未使用定数low ✓P3 ✓

検出率は両者7/7、誤検出ゼロ。どちらも「検証コードの削除」というdiffの削除行から原因を推論するタイプの欠陥(C5・C6)を正確に特定していて、修正案のコードまで提示してきた。行番号の特定も両者正確だった。

  • 所要時間:ocr 4分52秒 vs cubic 約2分(同じdiff、並行実行)
  • トークン消費:ocrは計測上57.7kトークン(出力12.9k)
  • 出力言語:ocrは英語、cubicは日本語(環境設定に追従)

所感:精度は互角、課題は運用側

ocr側で1つ実用上の問題を発見した。GLM-5.3-flashはreasoningモデルなのだが、ocrの出力するJSONのthinkingフィールドにLLMの思考プロセスが全コメントに全文複製されて混入する。出力トークン12.9kの大半が実はこの思考ログで、コメント本文自体は2k程度だ。JSON出力の汚染になるしコストも無駄なので、GLM系のreasoningモデルをocrで使う場合はこの挙動を織り込んでおく必要がある(セッションビューやGitHubコメント生成への転用時はノイズになる)。

一方でocrの良さは、レビューが完全にローカル設定で閉じることと、LLMのコストを自分のトークンで賄えることだ。手持ちのGLMトークンで実質無料運用できるのは、月額課金のSaaSにない強み。cubicは2倍速く日本語で出力してくれるので、普段のPRレビューは引き続きcubicを主軸にしつつ、ocrは「第2のレビュアー」としてのクロスチェックに使うのが現実的な落とし所だと感じた。

なお、この比較は単一ファイル・人為的に作った差分・1試行の結果なので、大規模diffや自然なコードでの差は検証できていない。あくまで「手元の環境で最低限の精度は出る」という確認結果として読んでほしい。Claude Codeのメモリ同期をやったClaude Codeのメモリを複数台のMacで同期する方法の記事と合わせて、AIエージェント周りの運用ネタとして参考にしていただけると嬉しい。

まとめ

  • OpenCodeReview(ocr)はLLMを差し替えられるOSSのAIコードレビューCLI。npm 10には--allow-scriptsは無いので注意
  • custom_providersでAnthropic互換プロトコルを話せるので、Claude Code用のローカルルーティングプロキシ経由でGLMが使える。modelはcustom_providers側に設定する
  • バグ7個の差分での比較では、ocr(GLM-5.3-flash)とcubicがともに7/7で検出率は互角。所要時間はcubicが約2.5倍速い
  • ocrは無料でクロスチェック用の第2レビュアーとして有用。ただしreasoningモデルの思考がthinkingフィールドに混入する点は要留意

広告

この記事をシェア