Интерпретируемость: что происходит внутри сети?

Коротко: Нейронные сети — «чёрные ящики»: числа видны, но почему они приводят к ответу, сразу не понять. Исследования интерпретируемости пытаются сделать внутреннее устройство понятным.

Подробнее: Есть два направления: объяснения отдельных предсказаний (почему это решение?) и понимание внутренних механизмов (что вычисляет сеть?).