В рамках IT Forum Ugra 2023 мне посчастливилось провести три мастер-класса для юниоров по созданию короткого комикса с помощью нейросети Midjourney. Я подготовила лекцию и материалы для работы, чтобы ребятам было проще начать взаимодействовать с сетью и собрать классный проект. В этой статье я делюсь с вами наработками, по которым мы генерировали и составляли стрипы.

Видео мастер-класса вы можете посмотреть здесь!

Как работают нейронки?

Наверняка вы уже наслышаны о нейросетях? У меня есть целый блог о них на ютубе. Сегодня я попробую понятно объяснить, как работает эта технология. Алгоритмы на основе машинного обучения сегодня начали называть Diffusion, или диффузией. Здесь нет ничего общего с физикой 7 класса. Ну, почти.

Процесс этой диффузии состоит из трёх фаз:

1. Картинкам для обучения сети присваивается точное текстовое описание;

2. Алгоритм превращает эту картинку в белый шум;
3. Восстанавливает картинку из этого шума.

Изначально, если запрос совпадал с описанием исходного изображения, на котором училась нейронка, она должна была выдать ту самую оригинальную картинку, нарушая права автора. Чтобы избежать этого и добавить разнообразия в получаемые результаты, разработчики подмешивают случайные образы в процессе генерации. Так мы и получаем массу интригующих иллюстраций.

Что такое запрос?

Промтом или запросом называют описание того, что вы хотите видеть на сгенерированной нейросетью картинке. Часто, составляя запрос мы представляем шедевр, но на выходе получаем полную белиберду. Чтобы получить хороший результат, нужно понимать, как работает запрос, какие и в каком порядке слова использовать.
Робот воспринимает информацию последовательно, а не одним махом. Так что решите, что в вашей картинке главное, а что второстепенное — и используйте это для организации порядка слов в запросе. Если на вашей картинке есть герои, опишите их, разделив описание запятыми или нумерацией. Чем детальнее описание, тем лучше будет результат.

Кроме того, подумайте, в каком стиле вы хотите получить картинку. Нейросеть не может читать ваших мыслей, по крайней мере пока, так что сообщите ей, что хотите получить, например, акварельный рисунок. В конце можете приправить Промт указанием цвета и формата вашей картинки.

Если нейросети не указывать на стиль изображения, то она будет клониться к реализму. Для этого мастер-класса я подготовила отточенные стили, чтобы ваш комикс выглядел стилистически единым и гармоничным.

Сценарий комикса

Чтобы попробовать силы с нейронками, предлагаю вам готовый сценарий короткого комикса «Приключения капитана Зе Бирд». Вам нужно будет сгенерировать обложку и две страницы из 8 фреймов.
1: Космический корабль летит сквозь пространство и время.

2: Капитан корабля на мостике: «Мы приближаемся к заданым координатам».
3: Экипаж корабля: «Наконец-то, эта планета станет спасением для человеческой расы!»

4: Главный экран корабля, в космосе видно планету, кто-то: «Посмотрите, это наш новый дом».
5: Панорама инопланетного города.
6: Капитан в шаттле приземляется в футуристическом городе: : «Приземлюсь и разведаю обстановку».

7: Удивлённый и отчасти напуганный капитан высаживается на футуристической улице.
8: Инопланетянин-полицейский протягивает ему штраф: «по понедельникам на этой улице парковка запрещена. Вы можете оплатить штраф в ближайшем отделении».

Гайд по запросам

Чтобы взаимодействовать с интерфейсом Midjourney, вам нужно знать всего пару команд. Одна из них отвечает за настройки генераций, вторая непосредственно просит нейросеть генерировать картинку.

/SETTINGS
Вызывает панель настроек генерации: здесь будет режим, глубина стилизации и другие. На следующих страницах вы увидете, какие настройки нужно выставить.
/IMAGINE PROMPT: ...
После этой команды вам нужно будет вставить описание картинки, которую вы хотите сгенерировать.

Когда вы введёте запрос, Mj начнёт генерацию. Нейросеть выдаст вам 4 варианта финальной картинки. Вы можете выбрать и улучшить одну или повторить генерацию.

Вот такие настройки нужно выставить для соответствующих стилей:

Запрос: классический комикс

Этот стиль предполагает чёрно-белыую графику с цветовым тонированием в стиле классических западных комиксов. Обратите внимание, что на портретах проработка может быть выше, чем на многофигурных композициях или пейзажах. В настройках поставьте стандартный режим генерации (V 5.1).

Обложка: comicbook colour linear illustration of full length courageous blond bearded captain of a spaceship, distorted time and space on background --ar 2:3


1: comicbook colour linear illustration of wide angle futuristic spaceship flies through distorted space and time --ar 9:16
2: comicbook digital linear illustration of blond bearded captain of the spaceship on the bridge turns to the camera, in the background is a large main screen with distorted space and time --ar 9:16

3: comicbook colour linear illustration of the crew of the spacecraft stands in front of a large screen and looks at the distorted galaxies outside the window --ar 9:16

4: comicbook colour linear illustration of distant wide angle surface of a small blue Earthlike planet in the darkness of distant space --ar 3:2

5: comicbook colour linear illustration of top view panorama from sky of an alien futuristic cyberpunk city

6: comicbook colour linear illustration of space shuttle on a roof of a futuristic cyberpunk scientific sky- scraper --ar 2:3

 7: comicbook colour linear illustration of horrified blond bearded captain of the spaceship on the street of a futuristic city --ar 2:3
8: comicbook colour linear illustration of alien insectoid road policeman writes a fine --ar 2:3

Запрос: манга/анимэ

Для этого стиля вам нужно будет переключиться на другой режим Midjourney (niji 5), однако в остальном запросы будут прежними. Манга отличается стилистической особенностью рисования лиц, также нейросеть в этом стиле выдаёт красочные и сочные изображения.

Обложка: comicbook colour linear illustration of full length courageous short-haired blond bearded captain of a spaceship, distorted time and space on background --ar 2:3


1: comicbook colour linear illustration of wide angle futuristic spaceship flies through distorted space and time --ar 9:16
2: comicbook digital linear illustration of blond short-haired bearded captain of the spaceship on the bridge turns to the camera, in the background is a large main screen with distorted space and time --ar 9:16

3: comicbook colour linear illustration of the crew of the spacecraft stands in front of a large screen and looks at the distorted galaxies outside the window --ar 9:16
4: comicbook colour linear illustration of distant wide angle small blue Earthlike planet in the darkness of distant space --ar 16:9

5: comicbook colour linear illustration of top view panorama from sky of an alien futuristic cyberpunk city
6: comicbook colour linear illustration of small futuristic space shuttle landing on a roof of a futuristic cyberpunk scientific skyscraper --ar 2:3

7: comicbook colour linear illustration of horrified blond short-haired bearded captain of the spaceship on the street of a futuristic city --ar 2:3
8: comicbook colour linear illustration of alien insectoid road policeman writes a fine --ar 2:3

Запрос: цифровая живопись

В цифровой живописи вам потребуется стандартный режим Midjourney (V 5.1), однако запросы будут отличаться. Как ссылкой на стилистику, так и некоторыми коррективами описания сюжета.

Обложка: digital painting with structural strokes of full length courageous blond bearded captain of a spaceship, distorted time and space on background --ar 2:3


1: digital painting with structural strokes of wide angle futuristic spaceship flies through distorted space and time --ar 9:16
2: digital painting with structural strokes of blond bearded captain of the spaceship on the bridge turns to the camera, in the background is a large main screen with distorted space and time --ar 9:16

3: digital painting with structural strokes of three people of the crew of the spacecraft stands in front of a large screen and looks at the distorted galaxies outside the window --ar 9:16

4: digital painting with structural strokes of distant wide angle surface of a small blue Earthlike planet in the darkness of distant space --ar 3:2

5: digital painting with structural strokes of top view panorama from sky of an alien futuristic cyber- punk city

6: digital painting with structural strokes of small futuristic space shuttle landing on a roof of a futuris- tic cyberpunk scientific skyscraper --ar 2:3

7: digital painting with structural strokes of horrified blond bearded captain of the spaceship on the street of a futuristic city --ar 2:3

8: digital painting with structural strokes of alien insectoid road policeman writes a fine --ar 2:3 --no photorealistic

Собираем комикс

Итак, ваш комикс почти готов! Теперь давайте соберем его в Photoshop. Для этого вам не потребуется особенных навыков, достаточно мышки и компьютера.

Здесь вы можете скачать необходимые файлы в .psd: обложка и страницы.

Запускайте Photoshop и открывайте два файла: обложку (cover.psd) и (comics.psd) вам предстоит вставить ваши 9 картинок.
Чтобы сделать обложку, вам достаточно перетащить нужную картинку в окошко программы и расположить под слоем названия комикса. Также вы можете изменить цвет названия, если белый плохо читается на сгенерированной вами иллюстрации.
Не закрывайте файл обложки.

Теперь вам последовательно нужно вставить ваши картинки в соответствующие фреймы комикса. Для этого я настроила встроенные слои, куда вы будете загружать изображения.
Чтобы не запутаться в порядке фреймов, я пронумеровала их, а также написала текст запроса соотвествующего фрейма на фоне.

Осталось сохранить! Войдите в меню «Файл», выберете «сохранить копию» и появится табличка сохранения. При сохранении выбирайте формат «JPG» и сохраните под нужным именем. Если захотите оставить оригинал, сохраняйте просто «psd».

Это успех! Теперь у вас есть свой нейрокомикс!
Уверена, у вас получились классные комиксы! Не забудьте поделиться результатами ;) И буду рада дружить в соцсетях, я везде Софья Мироедова или Sophia Miroedova, можете отметить меня на результатах ваших титанических трудов!