Tokenization
トークン化(Tokenization)は、言語モデルの性能に大きく影響する処理である。これを担うトークナイザは、単語レベルからサブワードレベルへと発展してきた。
トークナイザは、トークン数と種類数のバランスを取ることで、複雑さを抑えながらモデルの適応性を高める。Byte Pair Encoding(BPE)などのサブワードトークナイザは単語トークナイザの多くの制約を克服した。一方で、非ラテン系の言語の扱いに難があり、複数語からなる表現の把握には大量の学習データと計算資源を必要とする。
スタートアップの説明文では、推論処理の速度や処理量を「毎秒のトークン数」「1日あたりのトークン数」で示す文脈で、トークンという単位が使われる。
無料登録で、記事の全文とレポートPDFが読めます(会社のメールアドレスで1〜2分)。
無料で登録する