НОВОСТИ / Экономика

18:0023.11.22

Представлена первая российская диффузионная модель для генерации изображений по тексту на разных языках

Представлена первая российская диффузионная модель для генерации изображений по тексту на разных языках

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 - первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст - изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

FusionBrain.ai - открытый портал для демонстрации моделей, приближающих мир к созданию AGI (Artificial General Intelligence, сильный искусственный интеллект) от Института AIRI, который Сбер решил поддержать, первым выложив свою модель на ресурсе. В будущем на сайте FusionBrain.ai будут доступны как генеративные, так и передовые мультимодальные и мультизадачные модели.
В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.
Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки).

Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски. Например, если сформулировать запрос «национальное блюдо» на русском языке, нейросеть чаще всего рисует щи, а на японском это будет мисо суп и суши.

Александр Ведяхин, первый заместитель Председателя Правления Сбербанка:

«Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке - так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, - прорыв в этой сфере. Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди».

 

Сейчас также читают: 1 млн выплатят родителям тройняшек в Мурманской области

НОВОСТИ МУРМАНСКА И
МУРМАНСКОЙ ОБЛАСТИ

17:00Мелодрама «…Будем жить как боги?..» пройдет в драмтеатре Мурманска

16:07Мурманская филармония приглашает на концерт «Джазовый Голливуд»

15:02В мурманской библиотеке состоится показ диафильма «Конек-горбунок»

14:43В Мурманской области число заболевших CoViD-19 выросло почти до 145 тысяч

14:37В Видяево открыли «СОПКИ»

14:27Глава Мурманска в топ-5 медиарейтинга по Северо-Западу

14:05В Мурманске проведут мастер-класс по изготовлению новогодней игрушки

13:02Жители и гости Мурманска сыграют в «Мафию»

12:05До 25 декабря продлится выставка «Заполярье»

11:06Фестиваль «Творчество без границ» стартует в Мурманске

10:02Художественный эксперимент с объединением науки и искусства представят мурманчанам

09:00Мурманчан приглашают на выставку расширенной Вселенной

17:00В Мурманском драмтеатре дадут спектакль «Малая Кузема»

16:03Заседание Клуба разговорного английского языка проведут в мурманской библиотеке

15:07Музыку современных композиторов исполнят в мурманской филармонии

14:46Автопарк скорой помощи Мурманской области получил 15 новых машин

14:11В Мурманске наградили победителей конкурса управляющих организаций

14:05В мурманской «научке» состоится «Литературный стендап»

Все новости