«Яндекс» представил нейросеть YandexGPT Lite третьего поколения

«Яндекс» создал YandexGPT 3 Lite — облегченную версию собственной генеративной нейросети третьего поколения. Она будет доступна клиентам облачной платформы Yandex Cloud через API, сообщили в компании.  С помощью обновленной модели можно оптимизировать разные задачи для бизнеса. Например, консультация клиентов в чате и по телефону, подготовка ответов для службы поддержки, создание маркетинговых материалов или дайджеста рабочих встреч, а также анализ данных.

По итогам теста YaMMLU_ru (русскоязычной версии международного эталонного теста MMLU), новая модель дает на 6 п.п. больше верных ответов, чем модель предыдущего поколения.  Две нейросети сравнивали также по методике Side by Side: модели отвечали на одни и те же вопросы, а эксперты выбирали лучший ответ. В среднем YandexGPT 3 Lite отвечала лучше, чем YandexGPT 2 Lite, в 68% случаев. 

Кроме того, обновленная версия на 62% эффективнее генерирует контент и на 67% лучше справляется с задачами классификации. Также новая модель допускает меньше орфографических и фактических ошибок, чем YandexGPT 2 Lite.

   Для создания нейросети третьего поколения разработчики усовершенствовали все этапы обучения. В частности, улучшили отбор данных для предварительного этапа обучения (pretraining), повысив долю полезной информации. А кроме того, стали использовать на этом этапе технологию curriculum learning, позволяющую поэтапно усложнять данные.  На втором этапе обучения (alignment, или выравнивание модели), включающем в себя обучение с подкреплением (reinforcement learning), улучшили модель для оценки качества ответов. Кроме того, в архитектуру нейросети добавили технологию Grouped Query Attention — она ускоряет обработку данных без потери качества.

YandexGPT 3 Lite можно интегрировать в свои продукты через API в сервисе Foundation Models. Новая модель заменит предыдущую в течение месяца, но попробовать ее можно уже сейчас. Стоимость использования YandexGPT 3 Lite — 20 копеек за 1 тыс. токенов. Новые пользователи Yandex Cloud смогут бесплатно протестировать ее в демо-режиме.  Ранее сообщалось, что нейросети «Яндекса» испытывают нехватку текстов на экзотических языках, что ухудшает качество работы ИИ. Разработчики моделей машинного обучения (LLM) сталкиваются с проблемой во время работы.