トークン化

Tokenization

言語モデルの性能に大きく影響する処理である。これを担うトークナイザは、単語レベルからサブワードレベルへ発展してきた。

詳細

概要

トークン化(Tokenization)は、言語モデルの性能に大きく影響する処理である。これを担うトークナイザは、単語レベルからサブワードレベルへと発展してきた。

技術的な要点

トークナイザは、トークン数と種類数のバランスを取ることで、複雑さを抑えながらモデルの適応性を高める。Byte Pair Encoding(BPE)などのサブワードトークナイザは単語トークナイザの多くの制約を克服した。一方で、非ラテン系の言語の扱いに難があり、複数語からなる表現の把握には大量の学習データと計算資源を必要とする。

産業での位置づけ

スタートアップの説明文では、推論処理の速度や処理量を「毎秒のトークン数」「1日あたりのトークン数」で示す文脈で、トークンという単位が使われる。