Как раскрасить карандашный рисунок

Что дальше

Реализовать другую заранее обученную модель.
Попробовать другой датасет.
Использовать больше картинок, чтобы увеличить точность работы нейросети.
Написать усилитель (amplifier) для цветового пространства RGB. Создайте аналогичную модель для раскрашивающей сети, которая берёт на вход очень насыщенные цветные изображения, а на выходе получаются картинки с корректными цветами.
Реализуйте взвешенную классификацию.
Примените нейросеть к видео

Уделите внимание не точности раскрашивания, а стабильности переходов между отдельными кадрами. Или можете собирать большие изображения из мелких «лоскутков».

Можете раскрасить свои чёрно-белые изображения с помощью всех трёх описанных версий нейросети на FloydHub.

Решение 3. Превратите картинку в раскраску с помощью Photoshop

По сравнению с преобразовать фотографию в рисунок, вам нужно выбрать фотографию с большим контрастом между различными объектами при преобразовании фотографии в раскраску. Фотографии на белом фоне — лучший выбор для первого преобразования. Просто следуйте процедуре, чтобы превратить фотографию в бесцветную страницу, если вы получите желаемое фото.

Шаг 1: Импортировать фотографию в Photoshop. Чтобы получить удовольствие от раскрашивания, вы можете выбрать портрет с яркой тканью, чтобы преобразовать фотографию в раскраску.

Шаг 2: Продублируйте фоновый слой с исходной фотографией. Идти к Слой > НОВИНКИ > Слой через копирование. У вас может быть два слоя фотографии. Убедитесь, что это доминирующий слой, который указан над исходным.

Шаг 3: Превратите фотографию в черно-белое один с функцией обесцвечивания. выберите Фото товара > Регулировка > Обесцветить. Здесь вы можете найти фотографию в оттенках серого, чтобы

Шаг 4: Еще раз вы можете продублировать ненасыщенный слой. Идти к Слой > НОВИНКИ > Слой через копирование. Вот три слоя, включая фон, слой с оттенками серого и новый слой.

Шаг 5: Преобразовать последний обесцвеченный слой в почти белый слой. Идти к Фото товара > Корректировки > Инвертировать. Преобразование фотографии в раскраску — важный шаг.

Шаг 6: Измените режим наложения слоев на Осветление цвета. В Палитра слоев изменить Режим наложения слоев для последнего слоя Осветление цвета.

Шаг 7: Применить Фильтр размытия по Гауссу и настроить Ползунок радиуса чтобы найти лучший результат. Перейти к Фильтр > пятно > Размытие по Гауссу, вы можете применить эффект размытия для удаления шума.

Шаг 8: Вышеупомянутый процесс преобразования фотографии в раскраску такой же, как и преобразование фотографии в эскиз. Когда вы применяете слой Flatten, он может все изменить. Перейти к Слой > Свести слой опцию.

Шаг 9: Если линии между разными объектами недостаточно темные, вы можете настроить лучшую раскраску, отрегулировав контраст, Идти к Фото товара > Корректировки > Контраст яркости опцию.

Шаг 10: А теперь вы сделали фото в раскраске, можете распечатать его своему ребенку. Раскраска должна быть намного интереснее, чем купленная вами книжка-раскраска.

Сканирование старых фотографий

Если у вас уже есть цифровые версии чёрно-белых фотографий, можно пропустить этот шаг. Если нет, фотографии сначала нужно отсканировать.

Если у вас много фотографий, лучше будет пользоваться отдельным сканером. В таком случае вы получите фотографии более высокого качества, нежели при использовании других методов. Сканер Epson FastFoto FF-680W создан специально для быстрого сканирования фотографий.

Epson FastFoto FF-680W

Если фотографий у вас немного или желания покупать сканер нет, можно обойтись смартфоном. На Android и iOS можно воспользоваться приложением PhotoScan.

PhotoScan устраняет мерцание от глянцевых фотографий и использует автоматическое обрезание с распознаванием краёв. В результате получается идеальное изображение, хотя можно внести изменения и вручную.

Сайты для конвертации цветных и черно-белых фотографий

Если мы не хотим устанавливать программы на наш компьютер, мы также сможем найти различные веб-сайты, которые позволят нам сделать это. Однако мы должны быть осторожны с фотографиями, которые мы отправляем на эти платформы, поскольку мы буквально отправляем и сохраняем их на сервере, контролируемом частной компанией, и мы на самом деле не знаем, как они будут их использовать. Если они являются конфиденциальными или частными фотографиями, лучше выбрать одну из вышеперечисленных программ.

Algorithmia

Это одна из самых простых страниц, которую мы можем найти, чтобы превратить любую нашу фотографию в цветную. Этот сайт имеет довольно мощный ИИ, в дополнение к ряду различных алгоритмов, благодаря которым мы сможем получить исключительные результаты. Помимо возможности конвертировать наши собственные фотографии, мы также сможем использовать некоторые изображения, которые взяты из примера, чтобы получить представление о результате.

Мы можем получить доступ Алогирмия от здесь .

Colorizer

Этот сайт, если возможно, даже проще, чем предыдущий. Он имеет очень полный бэкэнд, способный распознавать изображение, анализировать его стиль и качество и окрашивать его с помощью продвинутого ИИ всего за несколько секунд. Нам не нужно ничего делать, чтобы загрузить преобразованное изображение. Кроме того, он имеет политику конфиденциальности, которая гарантирует, что каждые 24 часа все загруженные фотографии будут удаляться.

Мы можем начать конвертировать наши фотографии в цвет с Colorizer от эту ссылку .

Раскрасить фото

Хотя предыдущие альтернативы являются автоматическими, веб предназначен для пользователей, которые хотят лучше контролировать процесс окраски. С этого веб-сайта мы сможем контролировать ряд параметров для окрашивания наших фотографий, а также возможность окрашивать их вручную. Таким образом, самые требовательные пользователи могут достичь более профессиональных результатов.

Мы можем получить доступ к Раскрасить фото сайт из Следующая ссылка .

Раскрасить

Этот сайт был создан специально для того, чтобы раскрасить все виды старых фотографий, сделанных в Сингапуре. Тем не менее, он имеет один из самых продвинутых механизмов глубокого обучения, благодаря которому мы сможем раскрасить любую фотографию с самым высоким качеством и загрузить ее с максимальным разрешением.

Мы можем получить доступ Раскрасить от эту ссылку .

MyHeritage в цвете

Еще одна альтернатива, которая позволит нам легко раскрасить наши фотографии в черно-белые. Этот веб-сайт использует один из лучших алгоритмов глубокого обучения для раскрашивания фотографий и, кроме того, он имеет большое количество функций, которые позволяют нам очень легко обмениваться фотографиями с семьей и друзьями.

Мы можем получить доступ к Сайт MyHeritage In Color от следующая ссылка .

PhotoGlory

PhotoGlory это программа для восстановления старых фотографий. Помимо удаления царапин и рваных краев, он также позволяет раскрашивать черно-белые изображения. Есть два способа: автоматический и ручной с помощью кисти. 

Если у вас нет времени, программа может раскрасить фотографию за вас. Он обнаружит содержимое изображения: людей, небо, здания, деревья — и автоматически добавит к ним цвета. Как вариант, вы можете раскрасить изображение самостоятельно, используя специальную кисть и удобные палитры. Просто выберите цвет из палитры или изображения и закрасьте области в градациях серого.

PhotoGlory предлагает более 100 эффектов одним щелчком мыши и предустановки 3D LUT, которые вы также можете использовать для настройки цветов. Если вы хотите опробовать программу, вы можете скачать PhotoGlory отсюда (здесь).

Красим белый цвет

С белым цветом ситуация обстоит немного сложнее, чем с черным, сложнее в том плане, что для раскрашивания не достаточно просто галочку поставить, а требуется произвести ряд манипуляций.

Для начала, как и в случае с автомобилем, нам необходимы выделить ту часть объекта, которую мы будем перекрашивать, а именно пальто девушки. Для выделения лучше использовать инструмент «Перо», как и в первом случае. Я для примера и наглядности выделил не все пальто, а только половину. После этого нужно выделенную область скопировать на новый слой, для этого выбираем в левом меню инструмент «Выделение» и кликаем правой кнопкой мыши по выделенному объекту. Далее в открывшейся вкладке выбираем пункт «Скопировать на новый слой» и у нас появится в панели слоев новый слой с вырезанным фрагментом пальто.

После этого нам необходимо создать еще одну копию слоя с вырезанным фрагментом, для этого кликаем в меню слоев по слою с фрагментом правой кнопкой мыши и выбираем «Создать дубликат слоя», после данного действия в панели слоев появится копия слоя с фрагментом пальто.

Теперь выделяем сам фрагмент пальто в верхнем слое, для этого удерживая Ctrl кликаем левой кнопкой мыши по верхнему слою и сразу будет видно, что в рабочей области фрагмент стал выделен. Следующим шагом нужно закрасить данное выделение необходимым цветом, можно это сделать просто кистью, можно инструментом «Заливка», без разницы. я покрасил инструментом «Заливка» в оранжевый цвет.

Окрашивать нужно только необходимый объект, пуговицы и руку не нужно окрашивать. После этого в правом меню слоев нашему слою с окрашенным фрагментом пальто нужно выбрать наложение «Цветность».

Теперь верхний слой с окрашенным фрагментом мы делаем наложением нижнего слоя, для этого удерживая клавишу Alt подводим курсор между данными слоями до появления значка (стрелочки вниз) и кликаем левой кнопкой мыши и верхний слой становится наложением нижнего.

Затем выделяем нижний слой с неокрашенным фрагментом, кликнув по нему в панели слоев левой кнопкой мыши, и в низу выбираем значек, для создания слоя-корректировки и выбираем в появившемся меню «Кривые».

Далее в появившемся меню кривых настраиваем на свой взгляд кривую, на которой можно поставить несколько точек, кликнув мышью.

4 способа превратить цветное фото в черно-белое

Откройте свою фотографию в Фотошопе.

• Начнем с того, что познакомим вас с 2-мя самыми простыми способами превращения в черно-белое изображение.
• 1. – функция «Grayscale» (Градации серого);
• 2. – функция «Desaturation» (Обесцветить);
• Не спорим, это самые простые способы, но качество при этом получается не лучшим.
• Здесь контрастность очень низкая, изображение получается слегка мутным.
• Покажем на примере:
• Image – Mode – Grayscale (Изображение – Режим – Градации серого).
• Очень просто, правда?

2. «Desaturation» (Обесцветить)

Image – Adjustments – Desaturate (Изображение – Коррекция – Обесцветить / Сочетание клавиш «Shift+Ctrl+U»).

Быстро и легко – но контрастность изображения очень низкая, изображение выглядит тусклым и плоским. Совсем не то, к чему мы стремимся.

1. Что нам особо нравится в качественной ч-б фотографии – так это глубина и высокая контрастность.
2. Ok – пришло время познакомить вас с более серьезными методами!
3. (Корректирующий слой Цветовой тон/Насыщенность)
4. Метод, о котором собираемся вам поведать, заключается в использовании нескольких корректирующих слоев «Hue/Saturation» (Цветовой тон/Насыщенность).

Это означает, что вы можете в любой момент вернуть первоначальный вид. Плюс ко всему вы НЕ изменяете оригинальное изображение.

• Теперь перейдите в меню Layer – New Adjustment Layer – Hue/Saturation (Слои- Новый корректирующий слой – Цветовой тон/Насыщенность).
• Затем нажмите OK без изменения каких либо параметров – и затем поменяйте режим наложения слоев с Normal (Нормальный) на Color (Цветность).
• Затем добавьте еще один корректирующий слой (Hue/Saturation) – но на этот раз передвиньте ползунок «Saturation» (Насыщенность) до значения -100, затем OK.

Итак, приготовьтесь… Так изображение выглядело до этого:

Теперь начинается самое интересное!

Дважды щелкните по первому корректирующему слою, который вы делали. А теперь ползунок «Hue» (Цветовой тон) переместите в такое положение, пока вас не устроит полученный эффект. Вы также можете еще поработать с насыщенностью.

Эти настройки мы использовали, чтобы получить изображение, которое вы видите ниже.

Теперь он смотрится намного лучше, хотя все равно кажется, что чего-то не хватает…

1. Вот что мы будем делать дальше:
2. Дублируйте тот же первый корректирующий слой (Hue/Saturation) и перетащите его на этот значок внизу палитры слоев.
3. Теперь этому ново-созданному слою измените режим наложения на с Color (Цветность) на Overlay (Перекрытие), и немного уменьшите «Opacity» (Непрозрачность), например до 64%.

Вот что получилось теперь. Контрастность заметно увеличилась. Ни одна деталь не потеряна, что придает глубину изображению.

Заметим, что каждое изображение требует индивидуального подхода. Что подошло этому изображению может не понравится вашему.

Так что не бойтесь экспериментировать с настройками, слоями и режимами самостоятельно.

4. Channel Mixer (Микширование каналов)

• Последний способ, о котором вы узнаете из этого фотошоп урока – это использование корректирующего слоя «Channel Mixer» (Микширование каналов).
• При активном оригинальном изображении перейдите в меню Layer – New Adjustment Layer – Channel Mixer (Слои – Новый корректирующий слой – Микширование каналов).
• Когда появится такое окошко, поставьте галочку около функции «Monochrome» (Монохромный).

А теперь подберите оттенки черно-белого просто передвигая ползунки, которые соответствуют red – красному, green – зеленому, и blue – синему цветам изображения.

Важно: Постарайтесь, чтобы суммарное количество значений было около 100 чтобы избежать размытых участков на вашем изображении. Мы установили красный и зеленый каналы на , а синий на 100

Это придает коже интенсивные черно-белые оттенки

Мы установили красный и зеленый каналы на , а синий на 100. Это придает коже интенсивные черно-белые оттенки.

Заключительный этап

1. Дублируйте корректирующий слой.
2. Затем измените режим смешивания с Normal (Нормальный) на Overlay (Перекрытие) и чуть-чуть уменьшите прозрачность, например для этого изображения получилось 49% – но часто бывает нужно опускать до 20-30.
3. Вот посмотрите – внизу находится результат наших трудов.
4. Оно немного темное и угрюмое, но этот эффект отлично подходит этому изображению.

• Зинаида Лукьянова;
• Источник;
• ⇐ • Открытие нескольких экземпляров (окон) одного изображения (предыдущая страница учебника)
• • Горячие клавиши (следующая страница учебника) ⇒

Мандала для материального благополучия

Отдельно стоит сказать о мандале, которая привлечет в жизнь деньги. Лучше всего рисовать ее самостоятельно. Рисунок должен напоминать штурвал корабля: это будет символизировать то, что человек самостоятельно может удержать этот руль в руках, управлять своей жизнью, адекватно реагировать на все, что в ней происходит. Работая с такой мандалой, необходимо представлять, что человек находится в центре, а со всех сторон к нему направляются денежные потоки. Усилят рисунок такие фигуры, как квадраты, треугольники с основанием, направленным вниз, спирали и разнообразные звезды. Как раскрасить мандалу денег? Лучше всего использовать такие цвета как зеленый, красный, золотой и оранжевый. Хранить мандалу рекомендуется два месяца, после этого нужно ее сжечь – и нарисовать новую.

Раскрашиваем фото

Итак, чтобы выполнить поставленную задачу, придерживаемся следующего алгоритма действий:

1. Открываем исходную фотографию в Фотошопе.
2. Создаем новый слой, нажав соответствующую кнопку в Палитре.
3. Чтобы раскрасить снимок, мы будем использовать режим наложения для слоев – “Цветность”. Выбрать его можно, щелкнув по текущему варианту.

   В открывшемся списке находим нужный пункт и кликаем по нему.

   С помощью данного режима мы можем раскрашивать объекты, не боясь за сохранность теней и других составляющих исходной фотографии.

4. Далее нужно выбрать объект (в нашем случае – это кружка) и цвет, который мы будем использовать для его раскраски. Задать цвет можно, либо на свое усмотрение, либо, взять пробу с помощью инструмента “Пипетка” с похожих снимков. Мы выбираем первый вариант.
5. Щелкаем по основному цвету на панели инструментов.
6. Выбираем нужный вариант и подтверждаем нажатием кнопки OK.
7. Выбираем инструмент “Кисть”.
8. В параметрах кисти выставляем: форма – жесткая круглая, непрозрачность – 100%, нажим – 100%, жесткость – 100%.
9. Выбрав оптимальный размер кисти (и периодически меняя его) приступаем к раскрашиванию кружки. Чтобы было удобнее, можно увеличить масштаб изображения до комфортных размеров.
10. Получаем следующий результат.

    Примечание: Для каждого цвета нужно создавать отдельный слой и выбирать для него соответствующий режим наложения. Мы в рамках статьи ограничимся одним.

11. Нажимаем на кнопку добавления нового корректирующего слоя в Палитре (при этом должен быть выбран слой, для которого мы хотим выполнить данное действие). В раскрывшемся списке выбираем пункт “Цветовой тон/насыщенность”.
12. В появившихся настройках жмем кнопку, которая выделена на рисунке ниже.

    Это позволит привязать корректирующий слой только к слою, находящемуся сразу под ним. Остальные слои в палитре данная настройка затрагивать не будет. Как раз по этой причине, если требуется использовать несколько цветов для раскраски, для каждого из них нужно создавать новый слой, о чем мы упомянули чуть выше.

13. Перейдем к настройке цвета и оттенка. Напротив опции “Тонирование” ставим галочку. Затем, двигая ползунки “Цветовой тон” и “Насыщенность”, можем получить результат, который нас устроит больше всего.
14. Все готово. Мы раскрасили кружку с учетом цвета нашего логотипа.

    Можно и дальше продолжить работу над фотографией. Мы же на это остановимся, так как хотели лишь продемонстрировать принцип работы в данном направлении.

Как из черно-белой фотографии сделать цветную на ColouriseSG

Онлайн сервис Colourise создан в компании GovTech программистами из Сингапура. Целью проекта является раскраска классических черно-белых фотографий с помощью алгоритмов, работающих на основе искусственного интеллекта, правдоподобными цветами. Используется нейронная сеть, имеющая множество параметров, с методикой глубокого обучения Generative Adversarial Networks (GAN).

Загруженные изображения не хранятся на серверах сервиса Colourise.sg.

Пройдите следующие шаги:

1. Откройте главную страницу сайта Colourise.sg.
2. Прокрутите колесико прокрутки вниз, кликните курсором мыши в капче, напротив пункта «Я не робот». Этим способом сервис защищается от автоматических действий роботов.
3. Перетащите фотографию с ПК в специальную область с помощью мыши, или нажмите на кнопку «Select photo» для добавления изображения с компьютера при помощи Проводника Windows.

1. В специальной форме откроются два вида изображения для сравнения: до раскрашивания и после обработки.

1. Нажмите на одну из кнопок:

• Download result — скачать результат.
• Download comparison — скачать сравнение изображений.
• Color new photo — раскрасить новое фото.

Посмотрите на итоговую фотографию. Фото сделано в 70-х годах XX века.

Нюансы монохромной съемки

Кроме правильной композиции в черно-белых фотографиях очень важны еще несколько параметров. Учтя это, удастся сделать правильные и интересные кадры.

Контраст

На фото должен быть сильный контраст и большой диапазон тонов. Так удастся заинтересовать и увлечь зрителя. На черно-белых фотографиях не должно быть слишком много серого. Свет поможет создать яркие детали, которые укажут в каком направлении главный объект. А темные объекты, имеющие глубокие тени, обеспечат контрастность изображения.

Яркий контраст просто получить в солнечную погоду

Однако важно не пересветить фотографию. В ряде ситуаций лучше снижать экспозицию на 1-2 ступени, чтобы на матрицу фотокамеры попадало меньше света

Светочувствительность (ISO)

Для черно-белых фото лучше выставлять минимальное ISO. Так удастся избежать шума, который на черно-белых фотографиях заметнее, чем на цветных. Исключение, если по задумке фотографа фото должно выглядеть зернистым, имитируя пленочный снимок. Хотя, такой эффект можно придать и в постобработке. А избавиться от шума без потери качества в фоторедакторе гораздо сложнее.

Форма и текстура

Важно уделить достаточное внимание форме и текстуре на черно-белых снимках. На цветном фото от этих показателей зрителя могут отвлечь тональные переходы и цвет. В монохромной фотографии – это один из важнейших показателей

В монохромной фотографии – это один из важнейших показателей.

Например, при съемке пейзажей нужно уделять особое внимание небу. От его фактурности (обилия и красоты облаков) зависит привлекательность и настроение кадра

Если в монохромной пейзажной фотографии нет сильного акцента на каком-то предмете, невыразительное небо сделает его блеклым и неинтересным.

Перед тем, как сделать кадр, важно оценить текстуру и представить, как она будет выглядеть при отсутствии ярких красок. Фотографируя цветы, следует оценивать не их цвет, а форму и текстуру

Создавая портрет, учитывать не цвет глаз и волос, а форму лица и глаз.

Не имея широкой цветовой гаммы, важно заранее решить, как объект предстанет в черно-белом свете, как изобразить его светлыми и темными тонами

Свет

Света должно быть достаточно, чтобы показать все нужные детали. В монохромной фотографии он заменяет цвета и оттенки.

Важно правильно оценить, с каким источником света придется работать, откуда он падает, есть ли дополнительное отражение от какой-то поверхности. Решив, какие контрасты и тени нужны для кадра, нужно выбрать источник света или точку съемки

Например, прямой свет дает резкие глубокие тени. Особенно при создании черно-белых фотографий в полдень в яркий солнечный день. Если на улице облачно или съемка ведется с использованием непрямого света, он будет более мягким, рассеянным. Если по задумке нужны как раз резкие контрастные тени подойдет прямой свет. Для создания разных оттенков серого и смягчения теней лучше использовать рассеянный свет

Решив, какие контрасты и тени нужны для кадра, нужно выбрать источник света или точку съемки. Например, прямой свет дает резкие глубокие тени. Особенно при создании черно-белых фотографий в полдень в яркий солнечный день. Если на улице облачно или съемка ведется с использованием непрямого света, он будет более мягким, рассеянным. Если по задумке нужны как раз резкие контрастные тени подойдет прямой свет. Для создания разных оттенков серого и смягчения теней лучше использовать рассеянный свет.

Также нужно учитывать, что свет, идущий сбоку, увеличивает размер предметов. Прямой свет дает больше глубины и подчеркивает структуру. Свет, падающий на объект сзади, меньше подчеркивает детали

Важно все это оценить и продумать и использовать свет исходя из своих задач

Как покрасить желуди: советы по технике

Чтобы слой краски ложился ровно и гладко, целесообразно покрыть плоды грунтовым слоем. В качестве первого покрова можно использовать белую краску.

Существуют разные техники покраски желудей. Интересным является метод мраморных разводов. Для этого на поверхность воды капают лаком для ногтей, который растекается и образует красивые цветные круги. Для лучшего эффекта рекомендуется использовать несколько оттенков вещества

В окрашенную воду нужно осторожно опустить плоды и постараться окрасить их со всех сторон. В итоге получаются оригинальные и замысловатые разводы

Волны и круги можно аккуратно подправить зубочисткой либо в воде, либо на самом желуде.

На раскрашенных желудях можно нарисовать всяческие узоры и вензеля. Рисунки могут быть и в виде мордочек сказочных героев – зверюшек, гномиков, эльфов и т.д.

Сканирование старых фотографий

Если у вас уже есть цифровые версии чёрно-белых фотографий, можно пропустить этот шаг. Если нет, фотографии сначала нужно отсканировать.

Если у вас много фотографий, лучше будет пользоваться отдельным сканером. В таком случае вы получите фотографии более высокого качества, нежели при использовании других методов. Сканер Epson FastFoto FF-680W создан специально для быстрого сканирования фотографий.

Epson FastFoto FF-680W

Если фотографий у вас немного или желания покупать сканер нет, можно обойтись смартфоном. На Android и iOS можно воспользоваться приложением PhotoScan.

PhotoScan устраняет мерцание от глянцевых фотографий и использует автоматическое обрезание с распознаванием краёв. В результате получается идеальное изображение, хотя можно внести изменения и вручную.

Algorithmia

Разработчики из Algorithmia.com вовремя поймали волну «раскрасочного» тренда. Результаты работы калоризатора оказались настолько реалистичными, что при устроенном компанией опросе 20% раскрашенных нейросетью снимков были приняты тестировщиками за изначально цветные. Не верится? Проверьте сами!

Троица калифорнийских IT-изобретателей, среди которых есть и наш соотечественник Алексей А. Эфрос, придумала не только калоризатор, но и особый метод обучения этой нейросети.

Учится она не только с помощью готового банка изображений, но еще и на снимках, которые загружают пользователи. Словом, этот сервис — как хорошее вино: со временем становится только лучше! Вот что получилось с фото:

Перейти на сайт

Как сделать черно-белое фото цветным на онлайн-сервисе Сolourise

Программисты и аналитики сингапурской компании GovTech запустили проект Сolourise на основе искусственного интеллекта для колоризации классических старых фотографий. Команда поставила себе цель – создать изображения с правдоподобными цветами. Но никто не сможет дать гарантии, что новая фотография в точности отображает фактическое положение дел на снимке. Надо сказать, что колоризация является активно изучаемой областью. Можно вспомнить хотя бы раскрашенные в России классические черно-белые фильмы, получившие вторую жизнь. Идеальным результат быть не может – одни фотографии лучше поддаются обработке, а другие – хуже. Нравится новое фото тоже не всем.

Создатели сервиса гарантируют, что загруженные пользователями фотографии не будут предоставляться третьей стороне. Немного расскажем о том, как появился на свет этот интересный сайт.

Ручная колоризация фотографии является очень трудоемким процессом. Специалисту необходимо сперва детально изучить исторический, культурный и географический контекст работы и подобрать соответствующие требуемые цвета. Затем черно-белое фото раскрашивают с помощью программ. Чаще всего это обычный Photoshop. Такова очень упрощенная схема. Аналогично свои задачи решает и компьютерная программа. Она должна идентифицировать объекты на черно-белом фоне и определить для них приемлемый цвет с учетом прошлого опыта. Затем происходит раскраска.

Команда из Сингапура использовала методику глубокого обучения Generative Adversarial Networks (GAN). В нее входит одна нейронная сеть с миллионами параметров, пытающаяся предсказать значения цвета для разных черно-белых пикселей на основе особенностей изображения и другая, пытающая определить фотореалистичность сгенерированных цветов по сравнению с аналогичными фотографиями. Модель продолжает самообучение до тех пор, пока генератор создает «поддельные» цвета.

Для обучения модели был использован набор из 500 тысяч старых доступных фотографий и множество графических процессоров NVIDIA V100. Для улучшения результатов была задействована открытая библиотека изображений от Google. Это помогло обработать части тела, с которыми оригинальная модель плохо работала: руки, ноги, трудно идентифицируемые конечности. Помощь Google увеличила и скорость обучения.

Первоначально модель работала на локальном кластере внутри офиса – доступ к ней имела лишь команда разработчиков. Чтобы результат был виден всем, потребовалось веб-приложение, через которое сервис мог бы получать запросы снаружи. В качестве облачного провайдера была выбрана платформа Google. Она позволяет защититься от атак, хранить и кэшировать статический контент, балансировать и распределять нагрузку.

Этап окрашивания требует значительных вычислительных мощностей и занимает около 3 секунд. Задачей постановки запросов в бэкенд занимается NGINX-сервер. Он может попросить пользователя повторить попытку позже, если частота входящих запросов превышает скорость работы внутренних служб. Ключевым моментом архитектуры является автоматическое масштабирование виртуальных машин в зависимости от объема трафика. Это позволяет экономить средства, так как дополнительные мощности активируются только в случае запроса на них.

Сервис Colourise хорошо себя показал на изображениях с высоким разрешением, на которых значительную часть фотографии занимают люди. Хорошо справляется и с пейзажами. Итоговые изображения выглядят правдоподобно, если на них есть объекты, присутствующие в обучающем наборе. Модель правильно определяет их и раскрашивает нужным образом.

А вот если на фотографии оказывается нечто нераспознанное, может получиться забавный эффект окклюзии. В компьютерном зрении это важная проблема, связанная с трудностями идентификации частично показанных объектов.