О чём мечтают нейроны: как заглянуть внутрь нейросети

Представьте: вы показываете нейросети фотографию кота, и она уверенно говорит «кот». Отлично! Но почему она так решила? Увидела усы? Уши? Или, может быть, диван на заднем плане, потому что в обучающей выборке коты часто лежали на диванах?

Нейросети называют «чёрными ящиками» не просто так. Внутри типичной модели для распознавания изображений — миллионы параметров, организованных в десятки слоёв. Данные проходят через эту махину, и на выходе появляется ответ. Но что происходит между входом и выходом — загадка даже для создателей модели.