Содержание[Скрывать][Показывать]
Большие модели преобразования текста в изображение значительно продвинулись в развитии ИИ, производя высококачественный и разнообразный синтез изображений из данной текстовой подсказки.
Эти модели не могут синтезировать уникальные представления субъектов в различных условиях или воспроизводить внешний вид субъектов в заданном эталонном наборе.
Недавно выпущенные технологии, такие как DALL.E2 от OpenAI или StabilityAI Стабильная диффузия и Midjourney уже штурмуют Интернет. Пришло время настроить результаты. Но как?
Google DreamBooth AI прибыл.
DreamBooth может распознавать тему изображения, деконструировать ее из исходного контекста, а затем точно синтезировать в новый желаемый контекст. Кроме того, его можно использовать с современными генераторами изображений AI.
В этой статье мы подробно рассмотрим DreamBooth, его использование, руководство, ограничения и многое другое.
Что такое Dreambooth?
будка мечтыGoogle представила совершенно новую модель преобразования текста в изображение. Письменное приглашение может использоваться искусственным интеллектом Google DreamBooth в качестве руководства для создания широкого спектра фотографий выбранного пользователем объекта в различных настройках.
Исследовательская группа из Бостонского университета и Google разработала DreamBooth, передовую технику для изменения моделей преобразования текста в изображение, которые прошли тщательное предварительное обучение.
Общая концепция довольно проста: они хотят увеличить словарь языкового зрения, чтобы необычные идентификаторы токенов ассоциировались с настраиваемыми темами, которые могли определять пользователи.
Основная цель модели — подключить пользователей к модель диффузии текста в изображение предоставляя им ресурсы, необходимые для создания фотореалистичных представлений экземпляров выбранного ими предмета.
Как следствие, этот метод, по-видимому, хорошо работает для обобщения проблем в различных ситуациях.
Google DreamBooth отличается от предыдущих инструментов преобразования текста в изображение, таких как ДАЛЛ-Э 2, Стабильная диффузияи Середина пути, поскольку он дает пользователям больший контроль над изображением темы, прежде чем позволить им управлять моделью распространения с помощью текстовых входных данных.
Особенности
- DreamBooth AI может улучшить модель преобразования текста в изображение с 3-5 изображениями.
- Оригинальные фотореалистичные фотографии можно создавать с помощью DreamBooth AI.
- Кроме того, ИИ DreamBooth может создавать фотографии с разных ракурсов.
Применение
Художественные представления
Эта задача отличается от передачи стиля, которая сохраняет семантику исходной сцены, но в то же время включает стиль другого изображения в исходную сцену.
Основываясь на творческом подходе, ИИ может выполнять значительные изменения сцены, сохраняя при этом идентификацию и специфику экземпляра темы.
Модификация свойства
Характеристики экземпляра субъекта могут быть изменены ИИ DreamBooth.
Аксессуары
Сильная композиционная модель до генерации — вот что делает способность искусственного интеллекта DreamBooth украшать объекты такими интересными.
Реконтекстуализация
DreamBooth AI может создавать отличительные изображения для определенного экземпляра объекта, давая обученной модели предложение, которое включает уникальный идентификатор и существительное класса.
Он может генерировать объект в уникальных, ранее неслыханных позах, артикуляциях и структуре сцены, а не изменять окружение. Реалистичные отражения и тени, а также взаимодействия между объектом и окружающими предметами.
Учебное пособие по будке мечты
В этом уроке мы будем следовать Блокнот Google Collab, и я проведу вас через него, что заставит вас понять и использовать его самостоятельно.
Настройка GPU и установка библиотек
Выяснение того, какие типы графических процессоров и видеопамяти доступны, — это первый шаг. Также необходимо установить несколько требований и зависимостей. Просто нажмите кнопку воспроизведения и дождитесь окончания.
Создайте учетную запись на Huggingface и сгенерируйте токен
Следующим шагом является регистрация учетной записи Huggingface. Когда вы закончите, нажмите настройки в правом верхнем углу. Вы попадете на следующую страницу.
Создайте токен и имя по запросу отсюда. Токен следует скопировать и вставить в коллаб Google в ячейку ниже.
Установить xformers
На этом этапе вы можете просто нажать кнопку воспроизведения, чтобы установить xformers, нажав на среду выполнения.
Подключиться к Диску
Теперь вам просто нужно запустить эту ячейку, чтобы подключиться к Google Диску.
Введите подсказку
В следующей ячейке вам просто нужно ввести подсказку.
Загрузка картинок
На этом этапе вам просто нужно загрузить фотографии, которые вы хотите тренировать.
Обучить модель ИИ
Это самый важный этап, так как вы будете использовать DreamBooth для обучения новой модели ИИ на основе всех предоставленных вами эталонных фотографий. Вы должны ограничить свое внимание двумя полями ввода. «—instance prompt» — первый параметр. Вы должны указать здесь четкое имя.
Аргумент «список концепций» является вторым важным полем ввода. Его необходимо переименовать, чтобы он соответствовал тому, который используется в разделе «Изменить приглашение».
Создавайте изображения ИИ
На этом этапе будут созданы изображения AI, где вы можете ввести текстовые инструкции.
Ограничения Dreamboot
- Командная строка становится барьером для выполнения итераций в теме с высокой степенью детализации. DreamBooth может изменить контекст объекта, но если модель хочет изменить сам объект, возникают проблемы с рамкой.
- Другая проблема заключается в подгонке выходного изображения к входному. Если предоставлено недостаточно изображений, тема может быть не рассмотрена или может быть смешана с контекстом отправленных изображений. Когда спрашивают контекст для нечетного поколения, происходит то же самое.
Заключение
Для получения выходных данных из одного ввода текста в большинстве моделей преобразования текста в изображение требуются миллионы параметров и библиотек.
DreamBooth упрощает получение и использование контента для потребителей, требуя ввода от трех до пяти тематических фотографий вместе с текстовым фоном.
Оставьте комментарий