ハーネス（Harness）とは何か

Harnessという言葉は元々「馬具」を意味する — 馬（対象）を制御するために包む装置。ソフトウェアでも同じ意味で使う。

Test Harness — 元祖

Test HarnessはSUT（System Under Test）を包んで実行する環境だ。テストランナー、モックデータ、ログ収集、結果評価をまとめたもの。

JUnit、RSpec、pytest全てTest Harnessだ。テストコード自体ではなく、テストを実行して結果を収集する「環境」がハーネス。

KeployのようなツールもTest Harnessだ。eBPFでカーネルレベルでアプリのネットワークトラフィックを録画し、録画からテストを自動生成する。アプリコードを修正せずアプリを「包んで」テスト環境を作る。

AIハーネス — 拡張

AI/LLM文脈ではモデルを実際の作業に接続するシステム全体を指す。ファイル読み込み、コード修正、テスト実行、エラー分析、リトライまで含むパイプライン。

核心的な洞察は「対象（モデル/アプリ）の性能よりハーネス設計が重要」ということだ。同じCodexでも単純なハーネス（prompt→コード→終了）と良いハーネス（repo探索→patch→テスト→エラー分析→再修正ループ）ではSWE-benchスコアが大きく異なる。

ハーネスの共通パターン

分野が違ってもハーネスの構造は似ている。

ラッピング — 対象を直接修正せず外部から包んで制御する。KeployはeBPFでアプリを包み、Claude Codeはプロンプトとツールでモデルを包む。

隔離 — 外部依存を遮断し制御された環境で実行。Test HarnessはDBをモック化、AIハーネスはサンドボックスでコード実行。

観察 — 対象の入出力を記録・分析。Test Harnessはテスト結果を、AIハーネスはモデルの行動を追跡。

反復 — 結果を見て再実行。テスト失敗→コード修正→再実行。エージェント失敗→別のアプローチを試行。