AIレビュープロンプト設計のマニュアル一覧
AIレビュープロンプト設計のマニュアルは現在まで14件公開されています。
-
同じ差分に3条件(指摘のみ・指摘と修正案を同居・指摘のあと別パスで修正案)を各3回当てた。 同居させた条件では指摘が5件から4件、4件から3件へと減り、減った分はテストを場所にした指摘だった。 同じ指摘を別パスに回すと、落ちた指摘にも修正案が付いた。落ちていたのは修正案を書けない指摘ではない。
-
3つの観点を別々に当てた出力12件を、連結のみ・同一性の規則・矛盾の規則の3通りで処理して数えた。同一性を「場所と機構」で判定すると2件がまとまるが、判定が逆の2件も1件に潰れて矛盾が消える。同一性の鍵に判定を足した規則と、隣接行の扱いを示す。
-
プロンプトキャッシュの公式の規則(tools→system→messagesの順に前方一致で作られ、変更したレベル以降が無効になる)から、レビュー指示の並べ方の要件を導く。固定部に差分の話を1文混ぜると、キャッシュしない場合より入力の課金が高くつく。境界を引く規則と並べ方の雛形を示す。
-
20条の基準文書と8ファイルの差分について、条ごとに該当行の候補を機械で引いた。候補が差分の中にある条は16、差分の外にしかない条は4である。基準文書を20倍に膨らませても消化表は20行のままになる。条番号と該当行の対を全条について書かせる1行と、出力が増える量を示す。
-
テストが1件失敗する題材に、実行証跡の欄あり・なしの2条件を各3回当てた。6回すべてで実際にテストが走っていたが、 欄が無い条件では3回のうち2回、実行したという記述が出力に1つも現れなかった。 残る1回は「実際に Python で確認済み」と書きながらコマンドが無く、人は実行していない出力と区別できない。
-
指摘8件について判定に必要な場所を1件ずつ列挙し、渡した差分に入っているかを機械で突き合わせた。差分だけを材料にすると断定できるのは4件で、残る4件は材料が差分の外にある。差分の文脈を0行から5行へ広げると断定は1件から5件まで動く。棄権の欄と、足す材料の決め方を示す。
-
生成物3種(ビルド出力・ロックファイル・スナップショット)を含むモノレポの差分に、対象の宣言を4通り当てて各3回実行した。 対象のパスを列挙しただけでは、対象パスの内側にあるスナップショットを指摘の場所にした出力が3回とも出た。 除外をglobで書くと生成物は外れるが、対象に挙げ忘れたワークフロー定義の指摘が3回とも落ちた。
-
指摘8件を5欄で2つの形式に書き起こし、同じバイト数で切って受け取り側に何が読めるかを数えた。JSONは400バイトで切っても1件も読めず、見出しを固定したテキストは7件まで読める。総件数を末尾に置くと宣言そのものが落ちる。先頭に置く2行と、続きを取る2回目の指示を示す。
-
10ファイル・120行のリポジトリに対して不在を指す主張5件を立て、先に決めた検索語で振り分けた。3件は検索で誤りと分かり、2件が成立した。同じ主張でも検索語を変えると件数は1件から3件まで動く。検索語と件数の欄、検索語の作り方3規則、見つかった場合の書かせ方を示す。
-
構成ファイル7ファイル・追加12行の差分に、注記の形をした命令文を5箇所仕込んで数えた。5箇所は4つの規則で全部検出でき、仕込んだ欠陥4件はすべて2箇所以上の命令文に覆われる。区切り記号で囲う案が材料と9回衝突することも示し、境界の宣言1行と数え上げの手順を置く。
-
思考量の設定(effortと思考の予算)の公式の定義を読み、レビュー指示の側に何が残るかを導く。設定が動かすのは思考の量であって出力の形ではない。呼び出し経路を何段辿らせるかは、追跡の終端条件を3行で書いて指定する。
-
5欄のレビュー出力に対して、形式の誤り5通りと中身の誤り5通りを作り、22行のJSONスキーマに当てて落ちる件数を数えた。スキーマは形式の5件を全部落とし、中身の5件を全部通す。通った5件のうち4件を拾う受け取り側の検査と、スキーマを渡せない環境向けの代替を示す。
-
30ファイル・203行の差分を、ファイル数で等分した3通りと、importの関係で作った集合で分けた6通りに切り、依存が何本切れるかを数えた。等分はどの分割数でも、1件の指摘に必要な2ファイルを別の塊に落とす。切る手順と、集合をまたぐ指摘を指示文で扱う宣言を示す。
-
10ファイル・120行のリポジトリに欠陥を2件仕込み、差分を読む・識別子で検索する・テストを実行する の3段を別々に実行して、どの段でどちらの欠陥に届くかを数えた。読めば分かる欠陥は実行では出ず、実行は1回では片方しか出さない。段ごとに許可を書く雛形を示す。