AIレビューに修正案を書かせるか、別のパスに分けるか

指摘をそのまま直しに回したいとき、指示文に「修正案も書いて」を足すことになる。同じ差分に3条件を各3回当てたところ、修正案を同居させた条件では指摘の総数が減った。減ったのはテストを場所にした指摘で、3巡のうち2巡で1件ずつ落ちている。落ちた指摘を別パスに回すと修正案が付いた。 同居で落ちていたのは、修正案を書けない指摘ではない。

この記事の提案を使うのは、出てきた指摘をそのまま直しの作業に渡したいときである。

同じ出力に修正案を書かせたときに消えた指摘

指摘だけを求めた条件で、次の指摘が出た。

claude-sonnet-5、2026-10-12、条件1(1巡目の出力から1件)
- 場所: test_store.py:17-20
- 主張: 追加された `test_reserve_holds_stock` は残数以下の正常系のみで、残数超過時の挙動を検証していない。
- 根拠: `store.reserve("widget", 2)` を残数5に対して呼ぶケースのみで、`reserve` が残数チェックを欠いていること(store.py:17-18)をテストが検出できる構成になっていない。

同じ差分に、同じ道具と同じモデルで「修正案」の欄を足して実行すると、この指摘は出なかった。出た4件は inventory/report.py、test_report.py、inventory/store.py、inventory/pricing.py を場所にしていて、test_store.py の1件だけが消えている。

2巡目では落ちたファイルが入れ替わった。消えたのは test_report.py:6 の指摘で、こちらもテストファイルを場所にしている。

題材と、落ちた指摘の数え方

題材は道具の許可の段で定義した10ファイル・120行の Python のリポジトリで、差分は6ファイル・57行である。仕込んだ弱点は2件で、どちらも3条件・9回すべてで検出された。この記事が数えるのは、仕込んだ弱点ではなく、その周辺に出た指摘の増減である。

数え方は2つに分けた。

  • 指摘の件数と場所のファイル。 「場所:」の行をスクリプトで取り出し、パスだけを比べる。行番号は条件ごとに動くのでファイル単位で比べる
  • 不在を指す指摘の件数。 主張の文に「が無い」「がない」「されていない」「していない」「欠けて」「不足」のいずれかを含むものを数える

2つ目は言い回しに左右される。実際、2巡目は「不在を指す指摘」が条件1で1件・条件2で0件になったが、消えたのはその1件ではなく別の指摘で、残った側の言い回しが変わっていた。この記事の主な数字は1つ目(場所のファイル)に置く。 言い回しの数え上げは、同じ内容が別の語で書かれたときに動いてしまう。

3条件を各3回

3条件で違うのは、修正案をどこに出させるかだけである。モデル、題材、道具の可用性(ファイルを読む操作と検索する操作だけを許す)、指摘の3項目(場所・主張・根拠)は3条件で同じに固定した。条件3は、条件1の出力をそのまま2パス目の入力に渡して、修正案だけを書かせる。

claude-sonnet-5(Claude Code CLI 2.1.285)で 2026-10-12 に各条件3回、合計9回実行した。

巡回 条件1 指摘のみ 条件2 修正案を同居 条件3 別パスで修正案
1回目 5件 4件 5件すべてに修正案
2回目 4件 3件 4件すべてに修正案
3回目 4件 4件 4件すべてに修正案

条件2で落ちたファイルは、1巡目が test_store.py、2巡目が test_report.py、3巡目が test_store.py である。3巡目は件数が同じだったが、test_store.py が落ちて test_report.py が入っている。テストファイルを場所にした指摘は、条件1で合計4件、条件2で合計2件だった。

出力の量も測った。条件2の出力は条件1の約1.4倍である(平均 14,745 トークン対 10,366 トークン)。件数は同じか少ないので、1件あたりの出力が長くなった分だけ、件数が削られている。どの指摘が削られるかは指示文の側で決めていない。条件1も条件2も「重い順に並べる」とは書いていないので、落ちる件を選んだのは指示文ではない。

テストファイルの指摘が選ばれて落ちる理由は、この測定からは言えない。言えるのは、落ちた3件がどれもテストファイルを場所にしていたことと、同じ3件が別パスでは修正案を伴って残ったことである。

別パスに回した指摘に付いた修正案

条件3は、条件1が出した指摘の一覧をそのまま渡して修正案だけを書かせる。1巡目では5件すべてに修正案が付いた。条件2で消えた test_store.py の指摘にも付いている。

claude-sonnet-5、2026-10-12、条件3(1巡目の出力から1件)
- 場所: test_store.py:17-20
- 修正案:
    def test_reserve_over_stock(self):
        store = Store({"widget": 1})
        with self.assertRaises(OutOfStock):
            store.reserve("widget", 2)

3巡の合計で、条件1が出した13件すべてに条件3の修正案が付いた。「修正案なし」と書かれた件は0件である。条件2が出した11件も全件に修正案が付いている。

修正案を書けるかどうかで指摘が選別されていたのではない。 テストが無いという指摘の修正案は、新しいテストを書くことであって、書けない種類ではない。同居の条件で落ちていたのは、1回の出力に収まる量の側の問題である。

修正案を別パスに出す指示

1パス目は指摘だけを出させ、2パス目でその一覧に修正案を付ける。山括弧は各自の環境に置き換える。

1パス目に足す行
修正案は書かない。指摘だけを出す。
2パス目の指示文(1パス目の出力をそのまま貼る)
前のレビューで出た指摘の一覧を渡す。この一覧の各件について、修正案だけを書いてほしい。

指摘を足したり取り下げたりしない。一覧の順に、1件ずつ次の2行で書く。

- 場所: <元の一覧と同じ場所>
- 修正案: <置き換え後のコード。5行以内。修正案を書けない場合は「修正案なし」と書き、
  何が決まれば書けるかを1文で添える>

--- 前のレビューの指摘の一覧 ---

<1パス目の出力をそのまま貼る>

--- このPRの差分 ---

<差分をそのまま貼る>

「指摘を足したり取り下げたりしない」の1行は外さない。これが無いと、2パス目が指摘の採否をやり直す。2パス目に差分も渡すのは、修正案を書くのに変更後のコードが必要なためである。

同居させてよい条件は、1回の出力に収まる件数で終わる差分である。 1ファイルだけの差分、設定値の変更、型の付け替えでは、指摘が数件で収まるので同居でも落ちない。渡す前に1パス目を1回だけ実行して、指摘が5件を超えるかを見ればよい。超えないなら修正案を同居させて1パスで済ませられる。

パスを分けると何を使うか

払うのはパスの数である。1つの差分に対する実行が1回から2回になる。

出力の総量は増えない。3巡の平均で、条件1が 10,366 トークン・条件3が 3,332 トークンで、合計 13,698 トークンである。同居の条件2は 14,745 トークンで、2パスの合計とほぼ同じである。待ち時間も 126秒 + 40秒 に対して 179秒 で、差は小さい。

増えるのは料金である。3巡の合計で、同居が $1.0752、2パスが $1.3165 だった。約1.2倍で、差は出力の量ではなく、1回の実行ごとに乗る固定費が2回になるぶんである。この固定費は実行の形態によって変わるので、手元の環境で1回の空の実行を測ってから見積もる。

パスを分けるのを落としていい条件は、上に書いた「指摘が5件を超えない差分」である。 もう1つ、修正案を人が読まずにそのまま適用しない運用なら、分けても得るものが少ない。2パスに分ける利点は、1パス目の一覧が修正案の長さに影響されないことにある。一覧を見てから直す件を選ぶのでなければ、この利点は出てこない。

指示文の点検

修正案を書かせるときに確かめる項目
  • 修正案を同じ出力に書かせるか、別パスに出すかを決めたか
  • 1パス目に「修正案は書かない」と書いたか
  • 2パス目に「指摘を足したり取り下げたりしない」と書いたか
  • 2パス目に差分も渡したか(修正案に変更後のコードが必要なため)
  • 修正案を書けない場合に何を書かせるかを決めたか
  • 修正案の長さに上限を置いたか
  • 同居させる場合、指摘を並べる順を指示文で決めたか
  • 1パス目を1回実行して、指摘が5件を超えるかを見たか
  • 条件を変えた前後で、場所のファイルの集合を比べたか
  • 落ちた指摘がテストファイルを場所にしていないか確かめたか

おわりに

同じ差分に3条件を各3回当てると、修正案を同居させた条件で指摘の総数が減り、落ちた3件はどれもテストファイルを場所にしていた。出力は約1.4倍に伸びていて、件数は同じか少ない。1件あたりが長くなった分だけ件数が削られている。

削られた件は、修正案を書けない指摘ではなかった。条件1が出した13件すべてに、別パスの条件3が修正案を付けている。テストが無いという指摘の修正案は、新しいテストを書くことである。

次に取る行動を1つ挙げる。直近のPRで、修正案を求めない指示文を1回だけ実行して指摘の件数を数える。5件を超えていたら、修正案は2パス目に分ける。超えないなら同居のままでよい。