За последние несколько месяцев произошел настоящий бум инструментов для фотографов на базе искусственного интеллекта. Хотя в Photoshop уже было несколько функций искусственного интеллекта, в самой последней версии появилась генеративная заливка, которая находится на другом уровне. Сегодня я рассмотрю Генеративное заполнение - от его потенциала до ограничений.
Что такое генеративное заполнение?
Generative Fill - типичный пример изображений искусственного интеллекта. Он использует машинное обучение для создания совершенно новых изображений, извлекая из обширного набора данных, основанного на изображениях Adobe Stock и работах по открытой лицензии.
На данный момент в бета-версии Photoshop существует две разные реализации генеративной заливки. Один из них (который, как я ожидаю, будет более полезен фотографам) по сути функционирует как «содержательная заливка на стероидах». Он способен заполнять огромные площади, не попадая в ловушку повторяющихся шаблонов, типичных для других процессов заполнения или заживления. Обратите внимание, как плавно убрали эту машину, несмотря на сложный фон:
Это действительно впечатляющий результат, учитывая сложные узоры, сложное освещение и области без какого-либо исходного материала. По сути, Photoshop придумал, каким будет наиболее вероятный фон, и очень хорошо заполнил недостающую область.
Но генеративная заливка может сделать гораздо больше - и именно здесь она становится менее полезной для чистой фотографии и, возможно, более полезной для коммерческой/рекламной работы. А именно, Generative Fill может добавлять в вашу сцену совершенно новые элементы на основе краткого текстового описания ключевых слов, которые вы пишете. Эта функция, обычно называемая «преобразованием текста в изображение», генерирует совершенно новый контент на основе ваших ключевых слов.
Ниже вы можете видеть, что он может создать белый пикап в той же области изображения, если я напишу «белый грузовик» после выбора. Грузовик, сгенерированный Photoshop, определенно обладает некоторыми странностями, которые вы увидите на фотографиях, созданных искусственным интеллектом, но он достаточно близок к реальному грузовику, поэтому ручные исправления займут всего минуту или две, чтобы он выглядел довольно цельно. Самое безумное то, что Photoshop даже правильно сгенерировал тень грузовика, а также широкоугольную (слегка растянутую) перспективу моего объектива! У грузовика есть некоторые странно выглядящие детали, но он не похож на картонный вырез, приклеенный к изображению. Это похоже на часть сцены.
Как Photoshop это делает? Короче говоря, он использует контекст других областей вашего изображения, чтобы максимально приблизить объект. Сюда входят всевозможные сложные вещи: перспектива, отражения, освещение и появление теней.
Тем не менее, этот инструмент не лишен ограничений. Генеративное заполнение все еще находится в стадии бета-тестирования, и оно по своей сути немного случайно. Одним из ограничений на данный момент является то, что длина сгенерированной области ограничена примерно 1000 пикселями. Если выбранная область больше этого размера, сгенерированный материал подвергается повышающей дискретизации и растягивается, чтобы покрыть пробел, из-за чего он может выглядеть размытым и неуместным. Однако вы можете обойти эту проблему, выделив несколько небольших фрагментов.
Еще одно ограничение Generative Fill - его зависимость от облачной обработки. Поскольку инструмент работает на серверах Adobe, при его использовании вам необходимо иметь активное подключение к Интернету, и скорость обработки может быть замедлена. Он по-прежнему быстр по сравнению с некоторыми генераторами изображений AI и даже каждый раз предоставляет 3 варианта, но это не та почти нулевая обработка, которую пользователи Photoshop могут ожидать от других инструментов.
Хотя функция преобразования текста в изображение в Generative Fill может быть более привлекательным аспектом, позволяющим захватывать заголовки, для многих фотографов заполнение с учетом содержания, вероятно, будет более полезным. Раньше мне много раз приходилось сталкиваться с огромным объемом работы по клонированию и точечному исправлению нежелательных отвлекающих факторов на сложной фотографии. Когда я снова просмотрел эти изображения с помощью этого инструмента, я был поражен тем, как он устраняет отвлекающие факторы одним щелчком мыши и небрежным выделением.
Замена кистей заливки и восстановления с учетом содержимого
В сочетании с новым инструментом «Удалить», который также добавлен в Photoshop (который эффективно покрывает меньшие области), «Генераторная заливка» теперь занимает первое место в моем списке инструментов Photoshop, когда мне нужно удалить большие или сложные отвлекающие факторы.
Честно говоря, это настолько эффективно, что я думаю, фотографам придется учитывать свою личную этику и художественную ответственность, когда дело доходит до создания изображений для конкурсов, работы с клиентами и даже просто личных фотографий. Легкость и степень изменения сцены действительно впечатляют и немного пугают.
Этические аспекты сами по себе станут хорошей статьей. Но чтобы представить ситуацию в контексте, давайте посмотрим еще на несколько примеров того, как кардинально этот инструмент может изменить фотографию. Вот что меня поразило:
Что бы вы сделали, если бы захотели удалить все машины с этой фотографии? Используя предыдущие инструменты Photoshop, это была бы очень трудоемкая задача. Просто посмотрите на большое разнообразие текстур вокруг машин - вам придется перестраивать растения, деревья, дорогу, стены и так далее. Хотя это вполне осуществимо, усилия потребуются довольно масштабные. Тем не менее, при использовании генеративной заливки потребовалось 5 выборов и всего один запуск генеративной заливки для каждой машины, что в общей сложности заняло около 2 минут работы.
Вот результат - просто невероятный в веб-разрешении, и даже при увеличении фотографии в полном разрешении он практически безупречен:
Многим фотографам приходится снимать телефонные столбы или уличные фонари на сложном фоне, поэтому я хотел попробовать сделать это дальше. Вот пример фотографии, которую пришлось бы долго редактировать вручную, чтобы убрать фонарный столб, учитывая мелкие узоры на стекле:
Опять же, это можно было сделать с помощью предыдущих инструментов Photoshop, но это заняло бы некоторое время. Генеративное заполнение сразу же приблизило его к «оптимальному», даже несмотря на то, что я сделал свободный выбор:
Расширения холста
Еще одна вещь, которая работает на удивление хорошо, - это способность генеративной заливки расширяться за пределы кадра. Возможно, вы уже видели, как люди экспериментировали с этой функцией, расширяя классические картины или даже обложки альбомов, чтобы придать оригинальным произведениям юмористический «контекст». Для фотографов более полезной ситуацией было бы заполнить дополнительный холст с любой стороны фотографии.
И снова возникают этические вопросы, из-за которых многие фотографы категорически отказываются использовать этот инструмент. Но если вы когда-нибудь имели дело с придирчивым клиентом, который внезапно передумал о чем-то, слишком поздно, чтобы это исправить, это может оказаться спасением. Что делать, если вы сделали горизонтальное фото, а они вдруг перешли на запрос вертикального фото? Генеративное заполнение может вас поддержать:
Это приложение генеративной заливки лучше всего работает, по крайней мере на данный момент, для изображений веб-разрешения. При сильном увеличении обычно можно увидеть несколько областей, которые выглядят не совсем правильно. Это также зависит от изображения - иногда расширения холста выглядят великолепно. В других случаях Photoshop будет галлюцинировать некоторые нежелательные новые объекты в сгенерированных областях. И это подводит меня к следующему моменту, который я хочу отметить: этот тип технологии не всегда идеален
Сложные ситуации для генеративного заполнения
Если вы поиграетесь с бета-версией Photoshop для генеративной заливки, вы скоро поймете, что есть некоторые вещи, которые она просто не делает правильно. Большинство из этих ограничений связаны с созданием нового контента с нуля, но некоторые из них также применимы к приложениям типа точечного восстановления. Самая большая область, где он борется? Текст.
Генерация текста - главное ограничение изображений ИИ в целом. Программное обеспечение умеет создавать текстовую тарабарщину, а иногда оно генерирует настоящие буквы алфавита в непонятном порядке - но если вы хотите, чтобы контент ИИ действительно что-то говорил, вам почти не повезло.
Связанная с этим область, где генеративное заполнение вызывает затруднения, - это необходимость создать логотип или что-то в этом роде. Я полагаю, что это сложная проблема как с точки зрения авторских прав, так и с точки зрения обучающих данных. Чем более неясным вы будете, тем хуже вам придется. Например, вы можете использовать Generative Fill, чтобы сделать разумную копию американского флага на флагштоке, но флаги других стран могут варьироваться от приличных копий до полных промахов.
Помните грузовик, который он создал в моем предыдущем примере? Это еще одно ограничение генеративной заливки - это определенно был «объект в форме грузовика», и краем глаза он выглядел прекрасно. Но при внимательном осмотре обнаруживается множество проблем, таких как шины разного размера, странное расположение дверных ручек и отсутствие номерного знака.
Так часто бывает при создании объектов с нуля в Photoshop. Более сложные предметы, как правило, вызывают больше проблем, но даже что-то простое, например скамейка, при внимательном рассмотрении выглядит не совсем правильно:
В программном обеспечении также возникают проблемы с объединением нескольких концепций одновременно. Например, если я попрошу Generative Fill создать «собаку, сидящую на скамейке в парке», я получу следующую иллюстрацию:
Ужасно!
Конечно, вы можете улучшить ситуацию, разделив эту подсказку на две концепции: сначала создать скамейку, а затем собаку на этой скамейке. Это по-прежнему выглядит сомнительно, но, по крайней мере, так лучше:
Однако это показывает, что пройдет некоторое время, прежде чем «генеративная» сторона заработает так же хорошо, как и «заполняющая». Как фотографы, мы, вероятно, в любом случае хотели бы этого, но для коммерческих приложений может потребоваться некоторое время, прежде чем вы сможете получить полностью убедительные результаты для любого разнообразия сложных запросов.
Будущее
Инструменты такого типа еще только зарождаются. Adobe специально ограничила его бета-версией Photoshop и отказалась от его коммерческого использования. Но остается много вопросов о будущем Generative Fill (и других подобных ему инструментов для создания контента).
Один открытый вопрос заключается в том, как обрабатываются авторские права при использовании этого инструмента в изображении. Сможете ли вы защитить авторские права на работу, если 5% будет создано ИИ? А что насчет 80%? В разных регионах также рассматриваются вопросы регулирования и раскрытия информации об ИИ-контенте - это может сильно повлиять на коммерческих фотографов. Я подозреваю, что Adobe сможет решать вопросы, связанные с авторским правом, лучше, чем большинство компаний, занимающихся искусственным интеллектом, благодаря своей большой библиотеке стоковых материалов, но пока трудно понять все последствия.
Что касается художественных целей, неизбежно возникнет огромный раскол в арт-сообществе в целом и в фотографии в частности. Если вы можете создать потрясающий закат по требованию, обесценивает ли это работу фотографа, который много раз возвращается в нужное место, чтобы получить идеальный свет? Что, если фотография в основном реальная, но с помощью такого инструмента, как «Генераторная заливка», холст растянулся с одной стороны на дюйм или два?
Тогда возникает вопрос, какую цену Adobe собирается установить за это. Серверное время не является бесплатным, особенно для мощных вычислений на графическом процессоре, необходимых для запуска этих моделей, и Adobe не уклоняется от перехода к моделям ценообразования, непопулярным среди сообщества. Еще неизвестно, будет ли когда-нибудь этот инструмент спрятан за платным доступом или нет. Технологии еще предстоит пройти путь, прежде чем я заплачу за «кредиты», но, возможно, вскоре она появится.
Я думаю, что ящик Пандоры уже открыт, и подобные инструменты для создания искусственного интеллекта будут становиться только лучше. Мы можем ожидать, что в будущем он будет работать с более высоким разрешением, с лучшей обработкой деталей и более естественным созданием изображений. Однако даже в нынешнем виде это очень мощный инструмент для фотографов, особенно если вы тратите много времени на точечное восстановление для своего типа работы. Он чрезвычайно эффективен для устранения отвлекающих факторов, простое клонирование которых заняло бы слишком много времени.