Transformer

Transformerは、2017年に発表された深層学習モデルです。Attention機構を用いて、入力データ内の重要な要素に選択的に注目し、長距離依存関係を効果的に捉えられます。自然言語処理や画像認識など様々な分野で、最先端の性能を実現し、ChatGPTなどの大規模言語モデルの基盤となっています。