LLMトークン計算

このツールについて

対応する GPT および reasoning モデルのトークン数を数え、トークナイザーの挙動を比較し、貼り付けたテキストの入出力コストを見積もります。

LLMトークン計算 — GPTとコスト試算は、テキスト、パターン、トークンなど言語処理に関する値をブラウザで素早く分析します。モデル、正規表現フラグ、文字エンコーディングによって結果が変わるため、入力条件も一緒に記録すると安全です。

プロンプト費用の見積もり、正規表現のデバッグ、文書長の確認、入力制限のチェックなど、テキスト中心の作業準備に便利です。

使い方

1. 分析するテキスト、パターン、モデルオプションを入力します。
2. 計算されたトークン、マッチ、文字統計を確認します。
3. 必要な結果をコピーしてコード、文書、プロンプトへ反映します。
4. 本番環境のモデルや正規表現エンジンとの差がないか確認します。

例

関連ツールと概念

• OpenAI tokenizer
• 文字列カウント — 文字・単語・バイト
• JSONフォーマット — 整形とミニファイ
• 正規表現テスター — ライブマッチとキャプチャグループ