Инженеры научили нейросеть самостоятельно рисовать мультики по тексту

Инженеры Института искусственного интеллекта Аллена и Иллинойского университета создали систему CRAFT, которая способна создавать анимированную картинку по текстовому сценарию.

В качестве примера нейросеть обучалась на мульсериале «Флинстоуны». В текстовом сценарии были шаблонные образы: простая обстановка, небольшое количество персонажей и простые действия.

Прежде чем самостоятельно рисовать мультфильмы нейросеть изучила 25 тыс. кадров из «Флинстоунов». Инженеры в каждом кадре отмечали персонажей, фон, действия героев, а система подбирала тестовое описание для кадра.