Ученые нашли в ИИ-моделях аналоги языковой сети мозга

Ученые из Швейцарской политехнической школы Лозанны (EPFL) обнаружили в крупных языковых моделях (LLM) специализированные элементы, которые напоминают языковую сеть человеческого мозга. Эти «языковые» нейроны играют важную роль в обработке текста, и их отключение резко снижает способности моделей.

Команда из лабораторий NeuroAI и обработки естественного языка изучила 18 популярных языковых моделей. Ученые сравнивали активность нейронов при обработке осмысленных предложений и случайных списков слов.