ウエハースケール集積

ウエハースケール集積は、露光済みのウエハーを個々のダイへ切り分ける通常の工程を取らず、ウエハー1枚を丸ごと1個のプロセッサとして使う実装方式である。

IEEE Spectrum の記事によれば、Cerebras の WSE-3 は「一辺21.5センチメートル」で「300ミリメートルウエハーのほぼ全体を使って1個のチップを作る」。面積は46,225平方ミリメートルに達し、通常の製造上の制約であるおよそ800平方ミリメートルを大きく超える。同チップは4兆個のトランジスタと90万個のAIコアを備え、オンチップメモリは44ギガバイト、メモリ帯域は毎秒21ペタバイトとされる。

ウエハーを切り分けない設計の狙いは、チップ間通信の遅延をなくすこと、オンチップメモリを演算器の近くに大量に置くことにある。IEEE Spectrum は、この構成により「現在の最大級のLLMの10倍以上にあたる最大24兆パラメータ」規模のモデルを、他システムが必要とする複雑なソフトウェア上の回避策なしに扱えるとしている。

一方で、ウエハー内に必ず存在する欠陥をどう許容するか（冗長化と歩留まり）、および巨大な面積からの排熱と給電が設計上の主要な課題となる。