Сквозные связи и остаточные сети

Коротко: Сквозная (остаточная) связь добавляет вход блока к его выходу: y = x + f(x). Это позволяет градиентам беспрепятственно проходить через очень глубокие сети.

Подробнее: Метод пришёл из ResNet (2015) и сделал возможным обучение сетей для изображений более чем со 100 слоями. Каждый блок трансформера использует ту же идею.