Przejdź do treści
promptowy.com / AI用語集 / トークン (Token)
技術・仕組み

トークン (Token)

トークンとは、AIや大規模言語モデルが文章を理解し処理する際の最小単位であり、単語や文字の一部を細かく分割したデータの塊のことです。

トークンとは、ChatGPTなどの大規模言語モデル(LLM)がテキストを読み取ったり生成したりする際に扱う最小の処理単位です。人間は文章を単語や文字の集まりとして直感的に理解しますが、AIはテキストをそのまま読むのではなく、細かく切り分けた「トークン」という単位に変換して処理しています。

トークンはいわばAIの世界における「通貨」のような存在です。AIが一度に記憶できる会話の長さ(コンテキストウィンドウ)や、1回あたりの利用制限、APIサービスの利用料金などは、すべて文字数ではなくこのトークン数に基づいて計算されます。

なぜ文字数ではなくトークンで数えるのか

AIは文字の形そのものを直接理解しているわけではありません。入力された文章を一度細かな破片に分割し、それぞれに固有の番号を割り振って計算処理を行い、最後に出力として人間が読める言葉に再構成しています。この切り分けられたテキストの破片がトークンです。

英語の場合、基本的に1単語がほぼ1トークン、または少し多い程度で収まります。しかし、ひらがな、カタカナ、漢字が混在し、単語同士にスペースを入れない日本語は、AIにとって境界線が複雑です。そのため、1文字で1トークン以上を消費したり、漢字1文字が複数のトークンに分解されたりすることが頻繁に起こります。同じ内容を伝える場合でも、英語より日本語のほうがトークン数を多く消費しやすい傾向があります。

日本の身近な現場でみるトークンの具体例

たとえば、京都市内の和菓子屋さんがオンラインショップの問い合わせ対応をAIで自動化する場面を考えてみます。「本日発送の生八ツ橋の賞味期限を教えてください」という短い質問を顧客が入力したとします。

AIはこの文章をそのまま1つの文として扱うのではなく、内部で細かく分解して把握します。

  • 「本日」「発送」「の」といった語句や助詞の切り分け
  • 「生」「八」「ツ」「橋」のように、漢字とカタカナが連続する部分の細かい分割
  • 句読点や末尾の表現に関する要素の判別

この質問に対してAIが回答を作成する際、顧客が入力した文章のトークン数(入力トークン)と、AIが生成した返答のトークン数(出力トークン)の両方がカウントされます。店舗スタッフが「20文字程度のやり取りだから負担は軽いはず」と考えていても、システム内部ではそれ以上のトークンがやり取りされています。

トークン数を意識しないと起こるトラブル

業務でAIを活用する際、トークンの仕組みを把握していないと思わぬ壁にぶつかります。

もっとも一般的なトラブルは、長文の社内資料や過去の会議録を読み込ませた際に発生する「入力が長すぎます」という制限エラーです。AIツールが受け入れを拒否する基準は原稿用紙の枚数や文字数ではなく、あくまで合計トークン数です。また、外部連携のAPIを利用している場合、料金は利用したトークン量に応じて発生するため、無計画に長文のやり取りを繰り返すと、想定以上の費用がかかってしまう原因になります。

トークンを節約して効率的に使うコツ

AIの精度を落とさずにトークンの消費を抑えるには、指示文(プロンプト)の書き方に工夫が必要です。過度に丁寧な時候の挨拶や重複した前置きは削り、指示内容を箇条書きでシンプルに整理することが基本となります。また、1つの指示で膨大なマニュアル全体を読み込ませるのではなく、必要な章だけを小分けにして入力することで、上限エラーを回避しながら的確な回答を引き出すことができます。

よくある質問

日本語の1文字は何トークンとして計算されますか?

文字の種類によって異なりますが、一般的な日本語の場合、1文字あたり約1から3トークン程度を消費します。ひらがなよりも画数の多い漢字や珍しい表現のほうがトークン数が多くなる傾向があります。

トークン数を確認するにはどうすればよいですか?

各AIサービスが提供している公式のトークナイザーツールや、専用のカウント用ウェブツールに文章を貼り付けることで、そのテキストが何トークンになるかを事前に確認できます。

AIツールのトークン上限を超えるとどうなりますか?

上限を超えるとエラーメッセージが表示されて処理が止まるか、あるいは会話の古い履歴から順にAIの記憶から抜け落ちてしまい、前提条件を無視した回答が返ってくる原因になります。

← AI用語集一覧

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›