Представлена первая российская диффузионная модель для генерации изображений по тексту на разных языках

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 - первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст - изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

FusionBrain.ai - открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.
В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.
Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

«Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке - так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, - прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди».

Сейчас также читают: 1 млн выплатят родителям тройняшек в Мурманской области

Соответствует редакционной политике

Другие новости за сегодня

НОВОСТИ МУРМАНСКА И
МУРМАНСКОЙ ОБЛАСТИ

13:15Швабра как орудие преступления: молодого кандалакшанина подозревают в избиении 72-летней бабушки

12:54Почти треть всех технологий Арктики и 28% торговли: Мурманскстат подсчитал вклад Заполярья в экономику Севера

12:20Мурманчанин в пьяном виде сбивший юного велосипедиста, заплатит 100 тысяч рублей за моральный вред

12:18Без медали — зато со званием: лыжник из Кировска выполнил норматив мастера спорта России на «Хибинской гонке»

12:00Жители отдалённого села получат порцию «солнечного витамина». Уже завтра проект «Витаминизация» сделает остановку в Варзуге

11:25Не заплатившему 1000 рублей штрафа северянину придется чистить заснеженные улицы

11:15Стройка упала вдвое, но ввод жилья взлетел на 35%: итоги 2025 года Заполярья в статистике

11:01Мурманчанин предложил поставить светофор с кнопкой на улице Книповича

10:27Задержали бывшего главу и бывшего директора отдела капитального строительства ЗАТО Александровск

10:19Рыбакам платят 271 тысячу, а учителям — 87 тысяч: Мурманскстат раскрыл реальные зарплаты и уровень бедности в Заполярье

10:17В Мурманске на руководителя организации общепита завели административные дела из-за нарушения Трудового кодекса

10:00Андрей ПРИВАЛИХИН. Покушение на Пушкина или ничего святого

13:14Куда утекают деньги с приходом темноты: 5 привычек ноября, которые увеличивают счета за свет

11:58Нежнейший пирог с хурмой и творогом за 40 минут: сезонный рецепт «как у бабушки» из простых продуктов

10:48Новое прочтение обычного винегрета: замените всего один ингредиент, и близкие сметут салат за минуту

20:48Белые разводы от соли на зимних ботинках исчезнут за секунды: копеечное средство с вашей кухни

21:29Черные плотные колготки со светлой обувью — безвкусица или тренд? 3 правила, чтобы не укоротить ноги в ноябре

20:56Не выбрасывайте кожуру первых ноябрьских мандаринов: батарея превратит её в ароматизатор и средство против жира

Все новости