LangfuseのPrompt Experiment｜問い合わせAIの指示文を同じ質問で比べる

問い合わせ返信を作るAIに「短く丁寧に」と指示したら、予約変更の案内まで抜けた。指示文を直したあと、別の質問でも良くなったか確かめたい。LangfuseのPrompt Experimentなら、用意した質問セットに新旧の指示文を使い、回答を並べて見比べられます。

何を比べる機能？

LangfuseはAIアプリの問い合わせ・回答・利用状況を記録する仕組みとして紹介しました。今回はその中でも、保存したテスト質問にプロンプトやモデルを実行して結果を比較するPrompt Experimentを使います。通常の運用ログを眺めるだけでなく、変更前に同じ質問で試すのがポイントです。

はじめての比較手順

1. 1個人情報を含まない質問を5件選ぶ

   最初は公開情報や架空のFAQで作ります。入力には質問と必要なら期待する答えを入れます。プロンプトで使う変数名とテストデータの項目名を一致させます。

2. 2データセットを作る

   LangfuseのプロジェクトでDatasetsを開き、質問と期待する出力を登録します。後からテスト内容を変えても比較できるよう、使ったデータセット版を記録します。

3. 3比較するプロンプトとモデルを設定する

   データセットの詳細からStart Experimentを選び、Prompt Experimentを作成。比較したいプロンプト版、LLM接続、データセット、必要なら評価方法を設定して実行します。

4. 4平均点だけで決めず、回答を開いて読む

   実験結果では回答やスコアを並べて確認します。低い点の質問、事実が変わった質問、回答が長くなった質問を開き、元の質問と期待する答えに照らして人が判断します。

テストコードを自作する方法と比べる

数件を試すだけなら、ClaudeやCodexに回答を読んでもらい、手で直す方法が簡単です。毎回同じ質問を回し、どの質問で良くなったかを残したい段階では、Langfuseが作る実験結果の一覧が役立ちます。自作コードは採点や出力形式を自由にできますが、その精度を確かめ、依存ソフトやAPI変更に合わせて維持する必要があります。Langfuseの月額プランと、実験で呼び出すAI API料金は別です。

ログに残す内容を先に決める

クラウド版では質問・回答・評価データがLangfuseのプロジェクトに保存されます。セルフホストなら自分で保存先を管理できますが、アクセス権・バックアップ・更新を自分で担います。どちらの場合も、APIキーや顧客名、予約番号などをテストデータに入れないでください。