Контрастное и самоконтролируемое обучение

Коротко: При самоконтролируемом обучении система создаёт обучающую задачу из самих данных. Контрастное обучение сближает похожие примеры в векторном пространстве и отдаляет непохожие.

Подробнее: Это позволяет учиться на огромных объёмах неразмеченных данных, которых в интернете в избытке.