AIの「トークン」って、なに?文字数とのちがいと、数え方

AIの料金や上限の話で、よく出てくる「トークン」。文字数とは、ちがうのでしょうか。

この記事では、トークンの考え方を、やさしくまとめました。

トークンって、なに?

トークンは、AIのモデルが、文章を処理するときの「単位」です。1文字、単語の一部、単語全体、句読点などを、表します。スペースも、どう分けられるかに、影響します。

トークンの数と、単語の数は、同じではありません。同じ文章でも、モデルや、言語によって、トークンの数は、変わることがあります。

英語の文章の目安は、次のとおりです(あくまで、おおまかな数字です)。

また、「red」「Red」「 red」(先頭にスペース)は、同じ文章ではなく、ちがうトークンになることがあります。

種類	どんなもの?
入力トークン	モデルに渡す文章のトークン(プロンプトトークン)
出力トークン	モデルが作る文章のトークン
キャッシュ済み入力トークン	再利用される入力トークン。料金がちがうことがある
推論トークン	考えるタイプのAIが、答えを出す前に、内部で使うトークン

推論トークンは、画面には表示されませんが、出力の使用量に含まれて、出力トークンとして、料金が計算されます。そのため、表示される答えが短くても、思ったより多くのトークンが使われることがあります。

「コンテキストウィンドウ」は、1回のリクエストで処理できるトークン数の上限です。モデルによってちがいます。入力が大きすぎるときは、次の方法があります。

APIの料金は、モデルとトークンの種類によって、変わります。「100万トークンあたりの料金が安い」からといって、全体の費用が安いとは限りません。モデルによって、同じ文章でも、分け方も、答えの長さも、ちがうからです。代表的な使い方で、試して比べましょう。

トークンの数は、OpenAIの「Tokenizer」で、確かめられます。

ClaudeのAPI料金などは、ClaudeってどんなAI?でも紹介しています。