Ragasの使い方｜社内FAQのAI回答を根拠つきで評価する

社内FAQに答えるAIが、資料にないことを言っていないか。Ragasで根拠との一致や質問への関連性を小さく検証する方法を説明します。

ツールみっけ！編集部2026年10月21日更新約6分で読めます

先に結論

Ragasは、検索した資料をもとに回答するRAG型AIなどを、評価用の質問・根拠・回答で採点するPythonライブラリです。Faithfulnessなどの指標を使えますが、評価にも別のAI呼び出しが必要な場合があり、点数だけで正しさを保証しません。

社内FAQを検索して答えるAIを作った。質問には返事をするけれど、その答えは本当に資料に書いてあるだろうか。Ragasは、質問・検索で見つけた文書・AIの返答をそろえて、根拠との一致や質問への関連性を測るための道具です。

例：「休館日はいつ？」に資料どおり答えたか

社内FAQに「毎週火曜は休館」と書いてあるのに、AIが「水曜」と答えてしまう。普通の会話テストでは、答えが自然に見えて見落とすことがあります。Ragasでは、質問、検索された文章、AIの回答、期待する答えを評価用の1件として用意します。

項目	サンプル
質問	休館日はいつですか？
検索された資料	施設は毎週火曜日を休館日とします。
AIの回答	毎週水曜日が休館日です。
期待する答え	毎週火曜日です。

評価に使う1件のイメージ

最初は指標を一つ選ぶ

RagasのFaithfulness（根拠への忠実さ）は、回答内容が検索された資料から読み取れるかを評価します。Answer Relevancyは質問に対して回答がずれていないか、Context Precisionは検索で関係ある資料を上位に持ってきたかを見る指標です。初回から多くの数値を並べず、いま困っている失敗に対応する指標を一つ選びます。

小さな評価セットで試す流れ

1失敗してほしくない質問を5件選ぶ
休館日、営業時間、手続きなど、回答の根拠となる資料が明確なものから始めます。個人情報や社外秘を含まない例にします。
2各質問に検索文書・回答・期待値を付ける
AIに聞く質問だけでなく、実際に検索された文章を記録します。検索が間違っているのか、回答の作り方が間違っているのか、切り分けに必要だからです。
3Ragasの公式Quick Startを作成する
Pythonとuvまたはpipを使い、公式のサンプルプロジェクトを開始します。初期設定では外部の評価用モデルを使う場合があるため、キーと料金を確認します。
この手順で使う入力例
```
uvx ragas quickstart rag_eval
```
4評価を実行して低い項目を人が確認する
Faithfulnessなどを計算し、点数の低い質問を開いて、元の資料・検索結果・回答を人が見ます。改善したら同じ質問セットを再実行します。

自作の評価プログラムとRagasで、何が残る？

方法	できあがるもの	費用・保守
Ragas	Pythonの評価処理と、Faithfulnessなど選んだ指標ごとの結果。質問・検索文書・回答を同じ形で繰り返し評価できる。	ライブラリはApache-2.0。評価用モデルAPI・PC費用は別。指標や質問セット、モデル設定を見直す。
Claude/Codexで評価コードを自作	独自ルールの採点スクリプト、CSV/HTMLレポート、必要なら社内画面を作れる。	コード作成時のAI契約/API、実行環境と評価モデルAPIが別。採点条件・検索結果形式・API変更に合わせてテストと修正が必要。
チャットで一件ずつ確認	個別の回答に対する説明・修正案が会話に残る。まとまった比較表は人が記録する。	利用プランの上限やAPI料金が関係する。件数が増えると確認時間と記録の手間も増える。

「どちらが賢いか」ではなく、繰り返し使う評価の成果物と維持費を比べます。

数問だけならAIに一件ずつ根拠とのずれを見てもらう方法でも始められます。質問が増えたり、回答方法を変更するたびに再確認したりするなら、同じ質問・検索文書・評価方法を保存して再実行できることがRagasの価値です。独自の業務基準や画面が必要なら、Claude/Codexにコード作りを手伝ってもらう方法もありますが、採点プログラムの検証と保守は自分で担います。Ragasも評価モデルを使う場合は、そのAPI費用が別途かかります。

チャットサービスの月額プランと、Ragasから呼び出すAPI利用料は別の費用です。評価に使うモデルがAPIかローカルかを確認し、質問件数を少なくして1回の費用と出力を見てから広げてください。

点数を見て、どこを直すか決める

Faithfulnessが低く、検索文書には答えが載っているなら、回答生成の指示やモデルを見直します。Context Precisionが低いなら、検索結果の並びや分割を確認します。期待する答えがない、または資料自体が古い場合は、システムだけでなく元データを直す必要があります。Ragasは原因を考える材料を出しますが、修正を自動で決めるものではありません。

向いている人、まだ要らない人

RAG型のFAQや社内文書検索を作り、変更のたびに根拠とのずれを調べたい人に向いています。Pythonやデータの準備が必要なので、AIチャットを一度試しただけの人には少し重めです。まず5問の評価表を人の手で作り、同じ質問を何度も確認するようになってから導入を考えると、道具の意味が見えやすくなります。