Что такое ИИ-инпейнтинг? Как ИИ заполняет недостающие части изображений
Что такое ИИ-инпейнтинг? Понятное объяснение того, как ИИ заполняет замаскированные области изображения, чем он отличается от старых методов, где работает хорошо и каковы его ограничения.
5 мин чтения
ИИ-инпейнтинг - это техника, при которой модель искусственного интеллекта заполняет выделенную, отсутствующую или ненужную область изображения новыми пикселями, совпадающими с окружением. Отвечая на вопрос, что такое ИИ-инпейнтинг, проще всего сказать так: вы отмечаете область, которая называется маской, а модель генерирует содержимое, сливающееся с остальной картинкой. Именно это позволяет стирать с фото объекты, людей или текст.
Термин пришел из реставрации произведений искусства, где реставраторы вручную восполняют поврежденные участки картин. ИИ делает цифровой аналог этого автоматически.
Как работает инпейнтинг, шаг за шагом
Со стороны пользователя инпейнтинг выглядит просто: закрасьте что-то, и оно исчезнет. «Под капотом» процесс выглядит примерно так:
- Входное изображение. Загружается исходное фото.
- Маска. Закрашенная вами область становится маской - картой, отмечающей, какие пиксели нужно заменить. Эти пиксели считаются неизвестными.
- Анализ контекста. Нейросеть изучает остальное изображение: цвета, фактуры, линии, освещение и структуру как рядом с пустой областью, так и вдали от нее.
- Генерация. Модель предсказывает новые значения пикселей для замаскированной области, согласованные с этим контекстом.
- Смешивание. Сгенерированная область объединяется с оригиналом так, чтобы края заплатки не были видны.
Наш инструмент удаления объектов работает именно так: вы рисуете маску кистью, а модель ее заполняет.
Как ИИ учится инпейнтингу
Модели инпейнтинга обучаются на очень больших коллекциях изображений. Во время обучения части каждого изображения скрываются масками случайной формы, и модель должна их восстановить. Ее результат сравнивается с настоящими скрытыми пикселями, и модель корректируется, чтобы в следующий раз угадывать лучше. Миллионы повторений учат модель общим закономерностям: как переходит цвет неба, как повторяется кирпичная кладка, как выглядит трава, как горизонт продолжается за объектом.
Некоторые современные архитектуры созданы так, чтобы смотреть на все изображение сразу, а не только на пиксели рядом с пустой областью. Известный пример - LaMa (Large Mask Inpainting), открытая модель, созданная для работы с большими масками и повторяющимися структурами, такими как заборы, окна и плитка. Именно такой широкий обзор позволяет современным инструментам убедительно продолжать прямые линии и узоры.
Обученная модель не хранит копии обучающих изображений. Она хранит в своих параметрах выученные статистические закономерности и применяет их к вашему фото. Поэтому модель и обобщает на фото, которых никогда не видела: она распознает, что область вокруг маски - это, например, плиточный пол, и продолжает плитку с правильным шагом и перспективой.
Почему маска так важна
Маска говорит модели, какие пиксели можно менять, а какие нужно сохранить. Все за пределами маски считается надежным контекстом. Если маска не захватила часть объекта, например край или тень, модель воспринимает этот остаток как законное содержимое и может продолжить его в заполненную область. Поэтому небольшой запас вокруг объекта и захват его тени дают более чистый результат.
Инпейнтинг и традиционные методы
До появления ИИ ретушеры удаляли объекты ручными инструментами. Оба подхода по-прежнему полезны.
| Метод | Как работает | Сильные стороны | Слабые стороны |
|---|---|---|---|
| Штамп | Вручную копирует пиксели из одной области в другую | Полный контроль, точная фактура | Медленно; повторяющиеся узоры могут бросаться в глаза |
| Восстанавливающая кисть | Копирует фактуру и смешивает ее с окружающим цветом и светом | Отлично для мелких пятен и дефектов | Плохо справляется с большими областями |
| Заливка на основе фрагментов (классическая content-aware) | Ищет на изображении подходящие фрагменты и вшивает их | Быстро и хорошо на фактурах | Может давать странные повторы и ломать структуру |
| ИИ-инпейнтинг | Нейросеть генерирует новые пиксели на основе выученных закономерностей | Быстро, справляется с большими областями и структурой | Может придумать неверные детали; меньше ручного контроля |
Инпейнтинг и генеративная заливка
Эти термины пересекаются. Классический ИИ-инпейнтинг, как модель в нашем ластике, нацелен на удаление: он заполняет маску правдоподобным фоном и не добавляет новых объектов. Инструменты генеративной заливки, например построенные на моделях «текст в изображение», тоже умеют инпейнтинг, но принимают текстовые запросы и могут добавлять совершенно новое содержимое, например шляпу на человеке или лодку на озере. Для простого удаления отвлекающих деталей модель, ориентированная на удаление, обычно предсказуемее, потому что она обучена продолжать фон, а не придумывать новое.
Для чего используется инпейнтинг
- Удаление объектов, например мусорных баков, кабелей, знаков и беспорядка. Смотрите статью как удалить объект с фото.
- Удаление людей и случайных прохожих с фото из путешествий. Смотрите статью как удалить людей с фото.
- Удаление текста, отметок даты и подписей с изображений, которые вам принадлежат.
- Реставрация фото: заполнение царапин, разрывов и пятен на отсканированных отпечатках. Смотрите статью как восстановить старые фото.
- Ретушь: удаление дефектов кожи, пыли и мелких отвлекающих деталей на фото товаров и портретах.
- Расширение изображений, так называемый аутпейнтинг, когда модель заполняет новые области за пределами исходных границ.
Ограничения, о которых стоит помнить
Инпейнтинг - мощный инструмент, но не волшебство. Знание его ограничений помогает получать лучший результат.
- Он угадывает, а не восстанавливает. Модель не может знать, что на самом деле было за объектом. Она создает правдоподобную заливку, которая может отличаться от реальности.
- Большие маски сложнее. Чем большая часть изображения замаскирована, тем меньше у модели реального контекста и тем больше ей приходится придумывать.
- Уникальные детали сложны. Лица, текст, логотипы и конкретную архитектуру за объектом нельзя точно восстановить.
- Разрешение имеет значение. Заливка может выглядеть чуть мягче окружающего фото, особенно на очень больших изображениях. ИИ-апскейлер поможет сделать итоговый результат резче.
- Края маски. Если часть объекта осталась за пределами маски, модель может использовать ее как контекст и воссоздать «призрак» объекта.
Поскольку инпейнтинг может изменить то, что показывает изображение, его нужно использовать ответственно: не для удаления водяных знаков с чужих работ, изменения документов или создания вводящих в заблуждение изображений.
Попробуйте ИИ-инпейнтинг сами
Проще всего понять инпейнтинг, увидев его в работе. Загрузите фото в наш бесплатный инструмент удаления объектов, закрасьте то, что хотите убрать, и посмотрите, как модель заполнит область подходящим фоном. Сначала попробуйте простой случай, например объект на фоне неба, а затем более сложный, например объект перед стеной с узором, чтобы увидеть, где техника особенно хороша.