transformer技術

Transformer 網絡架構架構由 Ashish Vaswani 等人在 Attention Is All You Need一文中提出，並用於機器翻譯任務，和以往網絡架構有所區別的是，該網絡架構中，編碼器和解碼器沒有采用 RNN 或 CNN 等網絡架構，而是採用完全依賴於注意力機制的架構。