広範なデータで訓練され、多様な文脈にわたって適用できるAIモデルである。米国国立標準技術研究所のNIST AI 600-1は大統領令14110の定義を引き、広範なデータで訓練され、一般に自己教師あり学習を用い、少なくとも数百億のパラメータを持ち、広範な文脈にわたって適用可能なAIモデルとしている。特定の狭い用途に限定して設計されるのではなく、下流の多様な課題へ転用できる点が従来のモデルと異なる。
暗号化されたデータのまま任意の関数を計算でき、その際に秘密鍵を知る必要がない暗号方式である。米国国立標準技術研究所（NIST）のプライバシー強化暗号（PEC）プロジェクトは、完全準同型暗号をマルチパーティ計算（MPC）、ゼロ知識証明（ZKP）、秘匿集合交差（PSI）と並ぶ主要ツールの一つとして挙げている。同プロジェクトはNISTIR 8214Cのしきい値スキーム公募において完全準同型暗号をカテゴリS5として扱い、将来の標準化に向けた動向を追っている。
データに段階的に雑音を加える過程の逆をたどり、雑音から標本を生成することを学習する生成モデルである。2020年のHoらの論文は、拡散確率モデルを非平衡熱力学の考え方に着想を得た潜在変数モデルの一群と説明し、重み付き変分下界による学習が、デノイジングスコアマッチングとランジュバン動力学との対応から設計できることを示した。同論文は無条件のCIFAR-10でInception score 9.46、FID 3.17を報告し、256×256のLSUNではProgressiveGANと同等の標本品質を得たとしている。
データの中から、大多数の振る舞いから外れた少数の事例を見つけ出す技術である。外れ値検知や新規性検知とも呼ばれ、正常データに比べ異常が稀でラベル付けも難しいという固有の難しさを持つ。近年は深層学習を用いた手法の研究が体系的に整理されている。運用では誤検知の抑制が課題となる。
IT機器を誘電性流体に浸して冷却する方式。単相液浸冷却（1PIC）と二相液浸冷却（2PIC）に分類される。
IT機器を誘電性の液体に直接浸して排熱する冷却方式である。液を循環させる単相方式と、沸騰による相変化を使う二相方式がある。空冷より高い熱密度に対応でき、供給水温を高くできるため冷却設備の効率向上につながる。高密度なAI向け計算基盤で採用が進む。
エッジ／フォグコンピューティングの発展に伴い生まれた領域。ネットワークエッジノードやユーザ端末がAI機能の生成に果たす役割に応じて複数のレベルがある。
学習済みのモデルに新しい入力を与え、結果を得る処理である。業界団体MLCommonsのMLPerf Inferenceベンチマークは、学習済みモデルを用いてシステムが入力を処理し結果を出す速さを測るものと説明する。評価は標準の負荷生成器が特定のパターンで推論要求を発生させ、定められた指標を測る形で行われ、single-stream、multiple-stream、server、offline の各シナリオが置かれている。ベンチマークはデータセンター、エッジ、モバイル、tiny といった配備先ごとに区分されている。
エージェントが動的な環境との試行錯誤的な相互作用を通じて行動を学習する枠組みである。各時点の正解は与えられず、報酬信号のみを手がかりに方策を改善する。マルコフ決定過程を理論的基盤とし、探索と活用の均衡や遅延報酬の扱いが中心的な論点となる。
Transformer が1トークンずつ生成する際に、過去のトークンについて計算済みのキーと値を保持して再利用する仕組み。系列全体の再計算を避けられる一方、系列長と同時に処理するリクエスト数に比例してGPUメモリを消費するため、推論スループットの制約要因になる。
外部の文書集合から関連箇所を検索し、それを入力に加えて文章を生成する構成。知識をモデルの重みだけに閉じ込めず、外部の索引側で更新できるため、モデルを再学習せずに情報を差し替えられる。生成結果の根拠として検索した参照元を提示できる点も特徴である。
データセンタ内の電力を、ラック単位の54V直流ではなく800V級の直流で配る給電方式である。NVIDIAの技術文書は、54V方式では1MW規模で最大200kgの銅バスバーを要し、電源シェルフがラック空間を占め、AC/DC変換の繰り返しが効率と信頼性を損なうと説明する。800V直流では同じ導体断面で85%多く送電でき、銅の使用量を45%削減し、端から端までの電力効率が最大5%改善するとされる。
利用者がサーバーの調達や台数管理を行わず、コードを預けるだけで実行環境が自動的に確保・拡縮される計算モデルである。出典は「サーバーレス＝FaaS＋BaaS」と定義し、明示的なプロビジョニングなしに自動拡縮し、使用量に基づいて課金されることを条件とする。
画像や映像と自然言語を共通の表現空間で扱い、視覚内容の説明や質問応答、言語による指示の解釈を行うモデルである。大規模言語モデルを視覚領域へ拡張する試みとして発展し、汎用のマルチモーダル基盤モデルのほか、ロボットの行動生成や自動運転のシーン理解の構成要素としても組み込まれる。
人手のラベルを使わず、データ自体から作った疑似的な課題（プリテキストタスク）を解かせて表現を学習する手法。大量の未ラベルデータをそのまま学習に使えるため、大規模な基盤モデルの事前学習で標準的な方法になっている。課題の設計と学習設定の選び方が結果を左右する。
内部状態を更新しながら系列を処理するモデル。注意機構と異なり系列長に対して計算量が線形に伸びる。2023年に発表された Mamba は、入力内容に応じて状態遷移のパラメータを変える選択機構を導入し、長い系列を扱う用途で Transformer の代替候補として扱われるようになった。
言語モデルの損失が、モデルサイズ・データセットサイズ・学習計算量のそれぞれに対してべき乗則で改善するという経験則。2020年の Kaplan らの論文が、7桁以上の範囲にわたって成り立つ傾向を報告した。固定された計算予算をモデルとデータにどう配分するかを決める判断材料になる。
環境の圧縮された空間的・時間的表現を教師なし学習で獲得し、行動に応じた将来の状態を予測する生成モデルを指す。予測が作り出す内部シミュレーションの中で方策を学習させ、それを実環境へ転移できることが示されている。実機での試行回数を抑えた制御や計画を可能にする枠組みとして扱われる。
入力ごとに一部のパラメータ（専門家）だけを選んで使う疎活性化のモデル構造。ルータが各入力を担当する専門家に振り分けるため、総パラメータ数を増やしても1入力あたりの計算コストをほぼ一定に保てる。大規模モデルのコスト効率を左右する設計として使われる。
大きなモデルやモデルの集合が持つ知識を、小さな1つのモデルに移す学習手法。正解ラベルではなく、教師モデルが出力するクラス全体の確率分布を目標として生徒モデルを学習させる。推論コストを下げながら性能を保つ手段として、実運用するモデルの小型化に使われる。
発熱するチップの近傍まで冷却液を導き、コールドプレートや液浸によって直接熱を受け取る冷却方式である。液体の熱容量は空気より桁違いに大きく、高い発熱密度のサーバを空冷より効率よく冷却できるため、AI向け計算設備の設計で前提となりつつある。液浸方式では水消費を抑えられる場合がある。
事前学習済みの重みを凍結したまま、Transformer の各層に低ランクの行列を挿入し、その部分だけを学習する微調整手法。学習対象のパラメータ数とGPUメモリの所要量を大幅に削減でき、推論時の追加遅延も生じない。用途ごとの派生モデルを安価に作る手段として使われる。
ニューラルネットワークの層の内部にある行列積を分割し、複数の演算器で同時に実行する並列化手法である。単一の演算器の容量に収まらない規模のモデルを扱えるようにする。層単位で分割するパイプライン並列とは直交する関係にあり、両者を組み合わせて用いられることが多い。
データセンター全体のエネルギー消費量を、同じ期間のIT機器のエネルギー消費量で割った指標である。国際規格 ISO/IEC 30134-2 が定義と測定・算定・報告の方法を定めており、定義上その値は1より大きい。測定点の違いによる区分も規定されている。
小型の近似モデルに複数トークンを先行生成させ、大規模モデル側でそれらを一度の並列計算により検証・採択することで推論を高速化する手法である。採択と棄却のサンプリング規則を適切に設計することで、元の大規模モデル単体で生成した場合と同一の出力分布を保ったまま加速できる。
注意機構（アテンション）のみで系列を処理するニューラルネットワークの構造。2017年の論文 Attention Is All You Need で、再帰と畳み込みを完全に排した構成として提案された。系列内の全要素の関係を並列に計算でき、大規模言語モデルの基盤アーキテクチャとなっている。
米国国立標準技術研究所（NIST）が2023年1月26日に公開した、AIのリスク管理のための任意適用の枠組み。Govern、Map、Measure、Manage の4機能で構成され、AIの設計、開発、利用、評価の各段階に信頼性への配慮を組み込むことを目的としている。
人間が付けた出力の順位付けから報酬モデルを学習し、それを報酬として言語モデルを強化学習で調整する手法。教師あり微調整、報酬モデルの学習、方策の更新という3段階で構成される。指示への追従性を高める後段の学習として使われ、モデルの挙動を利用者の意図に合わせる代表的な方法になっている。
システムにおける信頼の起点として暗黙に信頼される、特定の重要なセキュリティ機能を担う高信頼のハードウェア・ファームウェア・ソフトウェア部品を指す。この起点から段階的に検証を積み上げることで、ファームウェアやOSの完全性を担保する信頼の連鎖を構成する。
大規模言語モデルの推論を、入力を一括処理するプリフィル段階と、トークンを逐次生成するデコード段階に分け、別々の計算資源へ割り当てる方式である。両段階の相互干渉を取り除き、並列化戦略と資源配分を段階ごとに独立して最適化できる点に狙いがある。