Інтерпретовність: що відбувається всередині мережі?

Коротко: Нейронні мережі — «чорні скриньки»: числа видно, але чому вони призводять до відповіді, одразу не зрозуміти. Дослідження інтерпретовності намагаються зробити внутрішню будову зрозумілою.

Докладніше: Є два напрями: пояснення окремих передбачень (чому це рішення?) і розуміння внутрішніх механізмів (що обчислює мережа?).