アテンション機構とは？
読み方: アテンションキコウ
30秒まとめ
入力データの各要素間の関連性を動的に計算するニューラルネットワークの仕組み。Transformerの核心技術。
アテンション機構の意味・定義
アテンション機構（Attention Mechanism）は、入力データの各要素が他の要素とどの程度関連しているかを動的に計算し、重要な情報に「注目」するニューラルネットワークの仕組みです。2017年のTransformer論文「Attention Is All You Need」で提案されたSelf-Attention（自己注意機構）は、入力テキスト内のすべての単語間の関係性を並列に計算することで、長い文脈の理解を可能にしました。Query（クエリ）、Key（キー）、Value（バリュー）の3つのベクトルを使って関連度を計算し、重要な情報に高い重みを割り当てます。Multi-Head Attention（マルチヘッドアテンション）では、複数のアテンションヘッドが異なる側面の関係性を捉えます。現在のLLMの基盤技術であり、GPT、Claude、Geminiなどすべてのモデルがこの機構を採用しています。長いコンテキストを効率的に処理するためのFlash Attention、Sliding Window Attentionなどの改良版も開発されています。