DeepSeek представит революционный метод обучения искусственного интеллекта с использованием системы вознаграждений

Китайский стартап DeepSeek, получивший известность благодаря своей рассуждающей ИИ-модели R1, анонсировал новый метод обучения, который обещает значительное увеличение эффективности искусственного интеллекта. Об этом сообщает издание SCMP.

Разработанный метод нацелен на улучшение соответствия ИИ-моделей человеческим предпочтениям.

Он использует механизм вознаграждения, стимулирующий генерацию более точных и понятных ответов. Обучение с подкреплением уже доказало свою пользу в узкоспециализированных задачах, но его эффективность снижалась при применении к более общим задачам. Команда DeepSeek предложила решение, объединив генеративное моделирование вознаграждения (GRM) с самокритичной настройкой на основе принципов.

Согласно исследованию, новый подход превосходит существующие методы улучшения рассуждающих способностей больших языковых моделей (LLM). Тестирование показало, что модели, обученные с использованием GRM, демонстрируют максимальную производительность при обработке общих запросов, при этом требуя меньших вычислительных ресурсов.

Новые модели получили название DeepSeek-GRM, от аббревиатуры Generalist Reward Modeling (универсальное моделирование вознаграждения). Компания заявила о планах сделать модели с открытым исходным кодом, точные сроки релиза пока не объявлены.

фото: gazeta.ru