Наскрізні зв’язки та залишкові мережі

Коротко: Наскрізний (залишковий) зв’язок додає вхід блока до його виходу: y = x + f(x). Це дозволяє градієнтам безперешкодно проходити крізь дуже глибокі мережі.

Докладніше: Метод походить із ResNet (2015) і уможливив навчання мереж для зображень із понад 100 шарами. Кожен блок трансформера використовує ту саму ідею.