LiteLLMの使い方｜AI APIの費用をまとめて上限管理する

複数のAI APIキーを各アプリへ直接入れていると、「どのアプリがいくら使ったか」「試作が止まらず請求が増えていないか」を追いにくくなります。LiteLLM ProxyはAI APIの手前に置く共通の窓口です。利用記録や予算上限をまとめられますが、導入にはサーバーと設定が必要です。

小さな会社の試作を例にする

問い合わせ分類アプリと社内文書検索の試作を、別々のAPIキーで作ったとします。LiteLLMを窓口にすると、アプリはLiteLLMへ依頼し、LiteLLMが選んだ提供元へ転送します。試作ごとにキーを分ければ、記録を分けて見られます。予算を超えたときに依頼を拒否する設定もできます。どのモデルが安いかだけでなく、回答品質と遅さも合わせて判断します。

導入はテスト用環境で段階的に

1. 1Pythonのバージョンを確認

   2026年10月16日確認時点の公式Quick StartではLiteLLM 1.84.0以降はPython 3.10以上が必要です。uvを使う方法も案内されています。既存の本番環境をそのまま変更せず、先にテスト環境を用意します。

2. 2LiteLLM Proxyを起動してテスト

   公式Quick Startに従い、テスト用モデルとAPIキーで起動し、リクエストが成功するか確かめます。APIキーは設定ファイルへ直書きせず、環境変数や秘密情報管理を使います。

3. 3DBをつなぎ、予算・記録を設定

   予算上限の有効化にはDBが必要です。DBなしでは設定値を書いても上限チェックが行われず、超過後も処理が続く場合があります。PostgreSQLとLiteLLMの接続、認証、ログ保存をテストします。

4. 4小額の上限で挙動を確かめる

   実際に使う前に、低いテスト予算を設定し、上限到達後のリクエストが拒否されることを確認します。アプリが直接プロバイダーへ接続する迂回経路が残っていないかも点検します。

5. 5一つの試作だけを窓口経由へ切り替える

   利用ログ、応答、請求額を提供元の管理画面と照合します。差があれば料金表・モデル名・キャッシュなどの条件を見て、完全移行は問題が解消してからにします。

費用は「ソフト代」だけで見ない

LiteLLMはオープンソース版を自分で動かせますが、つなぐOpenAI・Anthropic・GoogleなどのAPI利用料は別です。サーバーとPostgreSQLの費用、バックアップ、監視、更新対応も考えます。チーム向けの一部機能やサポートは商用プランに分かれます。小さな個人利用なら、利用元の請求画面とccusageのような手元ログ確認で十分なこともあり、必ず導入すべきではありません。

AIの入力内容と認証情報を守る

LiteLLMはAI呼び出しの途中に入るため、構成によっては入力・出力や認証情報を扱います。管理画面をインターネットへ無防備に公開せず、秘密鍵をログやGitへ残さず、必要なログだけ保存します。LiteLLMを通したからといって、AI提供元へ送られるプロンプトが自動的にローカル処理へ変わるわけではありません。