Promptfooの使い方｜AIの答えを変更前後で比べる

AIの指示文を直したら、前より良くなった？ Promptfooで同じ質問を繰り返し試し、結果を並べて確かめる方法を紹介します。

ツールみっけ！編集部2026年10月21日更新約5分で読めます

先に結論

Promptfooは、同じ質問を複数の指示文やモデルに試し、回答を並べて比較する評価ツールです。合否を自動判定する条件も設定できます。評価のたびにAI API利用料がかかる場合があり、点数だけで正しさを保証するものではありません。

AIの指示文を少し直したら、答えが良くなった気がする。でも、別の質問では前より悪くなっていないだろうか。Promptfooは、同じ質問セットを繰り返し試して、変更前後の回答を並べて確かめる道具です。

例：問い合わせ返信のルールを直す

「短く丁寧に返信して」とだけ指示していると、必要な案内まで省いてしまうかもしれません。そこで「予約日・確認事項・次の行動を必ず含める」と指示を変えます。Promptfooに、よくある質問を10件ほど登録して両方の指示を同じ条件で実行すれば、どの質問で改善し、どこで崩れたかを一覧で見られます。

まずは小さなテストを作る

1安全な質問を5〜10件用意する
個人情報を含まない架空の問い合わせを作ります。「予約変更」「営業時間」など、回答で必ず含めたい要素も決めます。
2テスト用プロジェクトを初期化する
Node.jsを用意し、公式のgetting-started例を使います。APIキーは設定ファイルへ直書きせず、環境変数に置きます。
この手順で使う入力例
```
npx promptfoo@latest init --example getting-started
```
3質問・指示・判定条件を記入する
同じ質問に対し、元の指示と修正版を試します。「回答に必要な案内文が含まれる」など簡単な条件から始めます。
4実行して結果を人が読む
一覧で差が出た質問を開き、判定が外れていないか元の回答まで確認します。点数だけで自動採用しないことが大切です。
この手順で使う入力例
```
npx promptfoo@latest eval
```

Claude/Codexにテストコードを作ってもらう方法と比べる

方法	できあがるもの	費用・保守
Promptfoo Community	質問・指示・モデル・判定条件を設定として保存し、繰り返し実行した回答と合否を一覧で見る。	Communityは無料。回答・採点に使うAI APIは従量課金。設定や質問セットは自分で手入れ。
Claude/Codexで自作テスト	自分の業務向けテストプログラムやレポートを作れる。条件に合えばCIで自動実行もできる。	作成時のAI契約/API、実行環境、評価モデルの利用料が別。モデルAPIや回答形式が変わったときのコード修正・テストを保守する。
チャットで毎回手確認	その場で読んだ回答へのコメントや修正案が残る。定型テストの一覧は別に作らないと再利用しにくい。	チャットプランの利用上限またはAPI料金。質問・判断基準を毎回そろえる手間がかかる。

同じ質問で変更前後を確かめるとき、結果として残るものを比較します。Promptfoo Communityは2026年10月21日に公式料金を再確認。

テストが数件だけなら、ClaudeやCodexに回答を読んでもらうだけでも始められます。指示文を直すたびに何十件も確かめる段階では、質問と判定条件を保存して同じ形で実行できることが重要になります。自作テストなら結果の形を自由にできますが、条件やAPIの変更を自分で追う必要があります。Promptfooは比較のひな型と実行・結果表示を提供し、どちらも回答の正しさ自体は人が確認します。AI契約の費用と評価実行のAPI料金は別です。

ローカル実行でも、通信がゼロとは限らない

Promptfooの評価ツール自体はPC上で実行しますが、選んだAI提供元へ質問を送れば、その内容は提供元で処理されます。また、機能によってはPromptfooのホストされた生成・採点サービスへ情報が送られる場合があります。機密データを使わず、データ取り扱いの公式説明を読み、必要な設定をしたうえで試してください。ローカル実行というだけで、すべての通信が止まるわけではありません。