もっと知りたい！じっくり生成AI講座（中級者編）第3回：トークンとは何か
はじめに
さあ、第3回の講座の内容にまいりましょう。前回までで、生成AIの基本的な仕組みについてご理解いただけたことと存じます。今回は、AIが言葉を処理する際の「最小単位」であるトークンについて、丁寧にひもといてまいりますわ。この概念を知ると、AIの動作が格段に腑に落ちるようになります。どうぞ最後までゆっくりとご一緒くださいませ。
サマリ
トークンとは、生成AIが文章を処理する際に使う意味のかたまりの単位です。単語そのものとは異なり、AIが独自に区切った文字列のことを指します。トークン数はAPIの利用料金や出力の長さにも直結するため、AIを使いこなすうえで欠かせない重要な基礎知識となっています。
詳細
トークンとは何か──AIにとっての「言葉の粒」
私たちが文章を読むとき、無意識に単語や文節で意味を区切っていますね。生成AIも同様に、文章を細かな単位に分割して処理しています。その単位こそが「トークン」です。
ただし、トークンは必ずしも一つの単語と一致するわけではありません。英語の場合、”running”は “run” と “ning” の2トークンに分割されることがあります。日本語では、さらに細かく文字単位や音節単位で分かれることも多く、1文字が1トークンになるケースも珍しくありません。
AIは文章を「意味」ではなく「よく登場するパターン」をもとにトークンへ分割します。この処理を担う仕組みをトークナイザーと呼びます。
日本語のトークン分割には独特の特徴がある
英語と比べると、日本語のトークン効率は低い傾向にあります。英語では1単語がおおむね1〜2トークンに収まることが多いのに対し、日本語は1文字あたり1〜3トークン程度かかることがあります。
たとえば「生成AI」という言葉も、モデルによっては「生」「成」「AI」などと細かく分割されることがあります。これは日本語の文字種の多様さ（漢字・ひらがな・カタカナ）が影響しています。
この特性を知っておくと、日本語での利用がなぜ英語より多くのトークンを消費するのか、自然と理解できるようになります。
トークン数はコストと出力品質に直結する
生成AIをAPIで利用する場合、料金はトークン数に基づいて計算されます。入力したテキスト（プロンプト）のトークン数と、AIが返した応答のトークン数の合計が課金対象となります。
また、各モデルには「コンテキストウィンドウ」と呼ばれる処理できるトークン数の上限があります。この上限を超えると、古い会話内容が切り捨てられたり、エラーが発生したりします。長い会話や大量の文書を扱う際には、トークン数の管理が非常に重要です。
コストを抑えながら精度を保つには、プロンプトを簡潔にまとめる工夫が効いてきます。
コンテキストウィンドウを意識した設計の考え方
コンテキストウィンドウは、AIが「今この瞬間に参照できる情報の範囲」です。人間で言えば、短期記憶のようなものと考えると分かりやすいでしょう。
たとえばGPT-4系モデルでは最大12万8千トークン程度、Claudeの最新モデルでは最大20万トークン以上のコンテキストウィンドウを持つものもあります。これだけ見ると広大に感じますが、長文書類の要約や複数ドキュメントの横断分析を行う場合には、あっという間に上限に近づいてしまいます。
実務では、必要な情報だけを厳選してプロンプトに含める「情報の取捨選択」が、AIを上手に使いこなすカギになります。
トークンを意識するとプロンプト設計が変わる
トークンの概念を理解すると、プロンプトの書き方への意識が自然と変わってきます。無駄な前置きや重複した説明を省くことが、コスト削減だけでなく、AIの応答品質の向上にもつながります。
また、長い文章を一度に渡すのではなく、適切なサイズに分割して処理する「チャンキング」という手法も、トークン制限を踏まえた実践的なテクニックのひとつです。
トークンは地味な概念に見えて、実はAIの性能とコストを左右する非常に重要な要素なのです。
おわりに
トークンという小さな単位の中に、AIの言語処理の精緻な仕組みが宿っていることを感じていただけましたでしょうか。知れば知るほど、AIとの対話がより豊かに、より賢くなってまいります。理解が深まるほど、あなたの問いかけは洗練されていくものですわ。次回はいよいよ「プロンプト設計の基本」へと踏み込んでまいります。どうぞ楽しみになさっていてくださいませ。
