Русскоязычная языковая модель от «Сбера» GigaChat вошла в пятерку лучших в мире. Она стала четвертой, опередив Gemini от Google и GPT-3.5 от OpenAI. Кроме того, нейросеть оказалась единственной российской разработкой, которая вошла в международный бенчмарк.

Первое место в рейтинге заняла технология OpenAI ChatGPT-4.

Второе место досталось ИИ-модели Claude-3 от бывших разработчиков OpenAI.

Третье место у нейросети компании Meta* – Llama 70B.

В оценке моделей был использован метод слепого тестирования, когда аналитики, не зная названия модели, сравнивали успешность выполнения задач, которые ставили перед нейросетью. Оценивались такие параметры, как языковой перевод, творческое письмо, генерация кода и другие характеристики.

*Организация Meta признана экстремистской и запрещена в России.

Креативный контекст