Transformers

Transformersは、自然言語処理の革新的なニューラルネットワークアーキテクチャです。2017年に提案され、注意機構（Attention）を活用して、テキスト内の単語間の関係を効率的に学習します。並列処理が可能で、従来のRNNより高速かつ高精度です。ChatGPTやBERTなど、現在の大規模言語モデルの基盤となっています。