Игорь Ирбитский
Cоздаем анимированный контент для соцсетей
с помощью ии
с помощью ии
О чем Мастеркласс?
Задачи:
Процесс:
Напишем сценарий с LLM
Сгенерируем изображения
Оживим видео-нейросетями
Сегенерируем музыку и озвучку
Соберем монтаж
Результат:
Получим короткое видео для соц сетей
- Разобраться с принципами работы нейросетей по генерации текста, изображений, видео, звука
- Научиться выбирать нейросети под задачи
- Провзаимодействовать с нейросетями для получения результата.
Процесс:
Напишем сценарий с LLM
Сгенерируем изображения
Оживим видео-нейросетями
Сегенерируем музыку и озвучку
Соберем монтаж
Результат:
Получим короткое видео для соц сетей
Кто ведет?
Игорь Ирбитский
Арт-Директор Анимации,
Креативный продюсер,
Моушен-дизайнер
Работал над проектами
для Aramco, Google, Microsoft, PepsiCo, Сбер, Яндекс, Авито, Билайн, Московский транспорт, Министерство Финансов РФ, Мэрия Стамбула.
Преподавал:
GeekBrains
Skillbox
Skillfactory
Яндекс.Практикум
Арт-Директор Анимации,
Креативный продюсер,
Моушен-дизайнер
Работал над проектами
для Aramco, Google, Microsoft, PepsiCo, Сбер, Яндекс, Авито, Билайн, Московский транспорт, Министерство Финансов РФ, Мэрия Стамбула.
Преподавал:
GeekBrains
Skillbox
Skillfactory
Яндекс.Практикум
Примеры личных проектов,
собранных на нейросетях
собранных на нейросетях
Примеры мировых проектов на нейросетях
Шаг 1: пишем сценарий
с Большой Языковой Моделью
с Большой Языковой Моделью
Как работает Большая Языковая Модель?
Перцептрон (1969):
Модель предсказывает наиболее вероятное следующее слово
в предложении на основе частоты комбинаций слов
в прочитанных книгах.
Одно слово за раз.
Модель предсказывает наиболее вероятное следующее слово
в предложении на основе частоты комбинаций слов
в прочитанных книгах.
Одно слово за раз.
Разметка слов
и весов
Word2vec — общее
название для совокупности
моделей на основе
искусственных нейронных
сетей, предназначенных
для получения векторных
представлений слов на
естественном языке.
https://projector.tensorflow.org
и весов
Word2vec — общее
название для совокупности
моделей на основе
искусственных нейронных
сетей, предназначенных
для получения векторных
представлений слов на
естественном языке.
https://projector.tensorflow.org
Attention Is All You Need
Google 2017
Модель анализирует одновременно все слова в предложении
для получения контекста и предсказывает недостающие слова
Визуализация работы LLM
Окно контекста - количество токенов памяти, доступное для взаимодействия
(то, сколько модель помнит о чем говорит, пока не начнет галлюцинировать)
Google 2017
Модель анализирует одновременно все слова в предложении
для получения контекста и предсказывает недостающие слова
Визуализация работы LLM
Окно контекста - количество токенов памяти, доступное для взаимодействия
(то, сколько модель помнит о чем говорит, пока не начнет галлюцинировать)
Открытые и закрытые модели
Открытая:
Модель нейросети с открытым программным кодом, который можно
запустить на своем компьютере, а так же дописать.
пример:
https://github.com/fluxcd/flux2
Hugginface: пространство для демо-тестов открытых моделей
FLUX
Закрытая модель:
Модель нейросети с закрытым программным кодом.
Доступ к ней можно получить через сайт-сервис.
Модель нейросети с открытым программным кодом, который можно
запустить на своем компьютере, а так же дописать.
пример:
https://github.com/fluxcd/flux2
Hugginface: пространство для демо-тестов открытых моделей
FLUX
Закрытая модель:
Модель нейросети с закрытым программным кодом.
Доступ к ней можно получить через сайт-сервис.
Как оптимально обрашаться к модели с запросом
Персона+Контекст+
Задача+формат+тон
Задача+формат+тон
Структура:
Ты [эксперт в области], мы пишем [для чего] +[задача] +[рамки и ограничения]+[для какой аудитории].
Ты [эксперт в области], мы пишем [для чего] +[задача] +[рамки и ограничения]+[для какой аудитории].
Пример:
Ты рекламный креативщик, награжденный на каннском кинофестивале, мы вместе делаем короткий рекламный ролик для соц сетей, рекламирующий летающее такси, нужно написать сценарий в 3 кадра до 15 секунд, в начале должен быть хук - первый кадр должен заинтересовать. Аудитория: жители Москвы 30-45
Ты рекламный креативщик, награжденный на каннском кинофестивале, мы вместе делаем короткий рекламный ролик для соц сетей, рекламирующий летающее такси, нужно написать сценарий в 3 кадра до 15 секунд, в начале должен быть хук - первый кадр должен заинтересовать. Аудитория: жители Москвы 30-45
Переходим в Holst.so для сборки проекта
Шаг 2: Генерируем изображения
Как работает нейросеть для создания изображений?
Определение объектов
Сжатие и шум
Разжатие и промпт
Разжатие и промпт
Что такое ПРОМПТ?
Промпт — это сообщение для нейросети.
Чем подробнее и точнее вы напишете сообщение, тем лучше нейросеть поймёт вас и сделает результат
ближе к задуманному.
Большинство нейросетей понимают только английский. Если вы не знаете язык, напишите сообщение на русском и переведите его через
онлайн-переводчик.
Чем подробнее и точнее вы напишете сообщение, тем лучше нейросеть поймёт вас и сделает результат
ближе к задуманному.
Большинство нейросетей понимают только английский. Если вы не знаете язык, напишите сообщение на русском и переведите его через
онлайн-переводчик.
Сравнение моделей
Midjourney
Flux
Ideogram
Recraft
Sora
Reve
Seedream
Просим DeepSeek преобразовать наш сценарий в промпты на английском языке, генерируем
в любой модели картинки, собираем их на холсте
в любой модели картинки, собираем их на холсте
Шаг 3: Генерируем видео
Как работает видео-нейросеть?
https://phyworld.github.io
1. Cоздает ли ии симуляцию мира при создании видео?
2. Ограниченность визуальной насмотренности
3. Цвет - размер - скорость - форма
1. Cоздает ли ии симуляцию мира при создании видео?
2. Ограниченность визуальной насмотренности
3. Цвет - размер - скорость - форма
Оживляем готовые кадры с помощью любой популярной видео-модели, сохраняем на компьютер
Шаг 4: Генерируем музыку
и озвучку
и озвучку
Музыка:
suno.com
suno.com
Шаг 5: Собираем монтаж
Поздравляю, у вас получилось
Сервисы для перевода изображений в 3д:
https://www.3daistudio.com
https://trellis3d.net
https://hyper3d.ai
http://hunyuan.tencent.com/sns/home
https://www.3daistudio.com
https://trellis3d.net
https://hyper3d.ai
http://hunyuan.tencent.com/sns/home
