Российские ученые создали новый метод обучения больших языковых моделей

Исследователи создали новый метод обучения больших языковых моделей, позволяющий развивать их способность к логическим рассуждениям без высоких затрат. Метод снижает стоимость и проясняет механизм освоения навыков рассуждений моделями.

В отличие от стандартных методов обучения с подкреплением, требующих корректировки миллиардов параметров модели, предложенное решение использует компактные векторы-настройки. Эти векторы действуют как регуляторы, усиливающие корректные логические цепочки в...