Джерело: Sina Technology Synthesis
Використання однієї камери для отримання розмитої фотографії не є чимось новим, попереднімiPhone XRі ранішеGoogle Pixel 2були подібні спроби.
Новий iPhone SE від Apple теж такий самий, але такийкамераелемент занадто старий, основна заслуга все ще в алгоритмі.
Зі звіту про розбирання iFixit ми бачимо, що деякі частини нового iPhone SE повністю відповідаютьiPhone 8, навіть у тій мірі, що їх можна використовувати як взаємозамінні, включаючи 12-мегапіксельний ширококутнийкамера .
Практика «нового вина в старих пляшках» не є незвичайною для iPhone SE.Повернувшись до чотирьох років тому, iPhone SE першого покоління також застосував зовнішній вигляд 5s і більшу частину апаратного забезпечення, тому Apple може дати нижчу ціну.
Теоретично, при копіюванні того ж апаратного забезпечення камери,камерахарактеристики цих двох не повинні сильно відрізнятися.Наприклад,iPhone 8не підтримує фотографування з малою глибиною різкості з чітким об’єктом і розмитим фоном, що ми часто називаємо «портретним режимом».
Але коли ви подивитеся на сторінку підтримки Apple, ви побачите, що портретний режим, який не підтримуєтьсяiPhone 8підтримується новим iPhone SE, навіть якщо технічні характеристики задніх об’єктивів обох абсолютно однакові.
За звичайних обставин для зйомки розмитих фотографій на мобільний телефон часто потрібно використовувати подвійні камери – так само, як і людські очі, мобільний телефон також повинен отримати два зображення під різними кутами через дві лінзи в різних положеннях, а потім об’єднати кути перегляд Різниця оцінює глибину різкості для досягнення розмиття фону та забезпечення чіткості об’єкта.
Серія Plus у списку або X, XS та 11 останніми роками в основному покладаються на багатокамерні системи для завершення зйомки з розмиттям портрета.
Отже, як вирішує проблему фронтальна єдина камера iPhone?Основним є інфрачервоний матричний проектор у системі Face ID, який також може отримати достатньо точні дані про глибину, що еквівалентно «допоміжному об’єктиву».
З цієї точки зору iPhone SE може робити портретні фотографії дуже особливими: по-перше, він не робить кілька знімків, по-друге, у нього немає Face ID, в принципі немає можливості апаратної підтримки.
Очевидно, Apple внесла деякі зміни, які ми не можемо побачити на програмному рівні.
Нещодавно Бен Сандофскі, розробник стороннього додатка для камер Halide, розкрив технічні принципи, пояснивши, чому новий iPhone SE використовує ті ж характеристики одного об’єктива, що йiPhone 8, але він може досягти режиму портретної фотозйомки, якого не може отримати останній.
Вони сказали, що новий iPhone SE, ймовірно, стане «першим iPhone, який може створювати ефект розмиття портрета, використовуючи лише одне 2D зображення».
Можна сказати, щоiPhone XRтакож не є розмиттям однієї камери.Чи не SE просто копіює це?
Однак ситуація демонтажу довела, щокамериiPhone SE іiPhone XRне є послідовними, що також призводить до відмінностей у технічному виконанні обох.
▲Samsung Galaxy S7серія є першим пристроєм, який використовує технологію DPAF на смартфонікамера
Найважливішим моментом є те, щокамеразiPhone XRможе використовувати технологію двопіксельного автофокусування (DPAF), що дозволяє отримувати певні дані глибини на основі апаратного забезпечення.
Простіше кажучи, технологія DPAF еквівалентна поділу пікселя накамерадатчик на два менші пікселі, розташовані поруч, щоб зробити дві фотографії з різними кутами, як наші ліве і праве око.
Хоча різниця кутів, створювана цим, не така очевидна, як у подвійногокамера, це все ще сприяє алгоритму генерування даних про глибину.
▲Google Pixel 2, 3Дві карти невідповідності, отримані за допомогою технології DPAF, важко побачити неозброєним оком
сприймати, але все ще може допомогти алгоритму сегментації зображення приймати рішення
ранішеGoogleтакож використовував цю технологію наPixel 2, 3для досягнення одноразового розмиття.Напіксель4, оскільки камера замінена специфікацією з кількома камерами, виявлення паралакса значно точніше, ніж для однієї камери.
▲ Давайте подивимося на дані, отримані Pixel 4 за допомогою двох камер.
Що стосується нового iPhone SE, оскільки його датчики занадто старі, Halide стверджує, що він не може покладатися на датчики для отримання карт невідповідності, а в основному може покладатися лише на алгоритм машинного навчання, наданий чіпом A13 Bionic для моделювання та генерування даних про глибину. карти.
Одне з пояснень полягає в тому, що зйомка портрета iPhone SE повністю досягається за допомогою програмного забезпечення та алгоритмів.
▲ Зробіть цю фотографію безпосередньо за допомогоюiPhone XRі новий iPhone SE
Галогенід використовувавiPhone XRі новий iPhone SE, щоб сфотографувати цуценя (не справжній знімок, просто сфотографувати «одну фотографію»), а потім порівняти дані про глибину двох знімків.
Вони виявили, щоiPhone XRпросто зробив просту сегментацію зображення, щоб витягнути основну частину, але не правильно розпізнала вухо цуценя.
▲ Графік даних глибини,iPhone XRліворуч, новий iPhone SE праворуч
Але на новому iPhone SE з новим алгоритмом, наданим чіпом A13, ми отримали карту глибини, яка повністю відрізняється відXR.Він не тільки правильно розпізнає вуха та загальний контур цуценя, але й виконує багатошарову обробку для різних фонів.
Така карта глибини не є на 100% точною.Халід сказав, що точність вирізу та розмиття нового iPhone SE під час зйомки розмитих фотографій без обличчя не така точна, як при зйомці портретів.
Особливо у випадку, коли деякі об’єкти та фонові зображення дуже розмиті, перевага кількох камер у цей час буде більш очевидною.
▲ У цьому типі теми без обличчя, а предмет і фон не розділені чітко, розмиття нового iPhone SE
легко зробити помилки
Як ви можете бачити на цьому малюнку,iPhone 11 Proоснащений багатокамерною системою, здатний не тільки повністю окреслити невеликі рослини на колоді, а й розпізнати відстань фону та зробити пошарову обробку.
▲ Графік даних глибини,iPhone 11 Proліворуч, новий iPhone SE праворуч
На новому iPhone SE, незважаючи на ті самі результати багатошарової обробки, предмет і фон були повністю злиті разом.Природно, що процес після розмиття, природно, буде набагато гіршим, ніж процесiPhone 11 Pro.
▲ Фактичні розмиті докази,iPhone 11 Proліворуч і новий iPhone SE праворуч
Ось чому, коли новий iPhone SE використовує власну iOSкамерадодаток, лише коли виявляється людське обличчя, можна ввімкнути «Портретний режим» для зйомки розмитих фотографій.В інших випадках з'явиться помилка.
Причина все ще пов’язана з алгоритмом Apple.Халід згадав техніку під назвою «Ефекти портрета матові» (Portrait Effects Matte), яка в основному використовується для визначення точних контурів людей на фотографіях у портретному режимі, включаючи такі деталі, як лінія волосся на краю, оправа окулярів тощо. Об’єкт і фон сегментовані.
Але в даний час цей набір технологій сегментації, заснований на машинному навчанні, більш підготовлений до «відстрілу людей», він дійсно може компенсувати відсутність паралаксних даних на окремихкамерателефони, такі якiPhone XRта iPhone SE, але якщо суб’єкт Алгоритм також буде робити помилку при зміні символів з інших об’єктів.
Що стосується багатокамерних телефонів, якiPhone 11 Pro, ви можете отримати дані паралакса безпосередньо черезкамераапаратне забезпечення, тому вони також можуть використовувати портретний режим у сценах без обличчя, коли користуються власнимкамера.
▲ Передня лінза нового iPhone SE також підтримує портретний режим, а точність обличчя дуже висока,
і відмінність зображення полягає лише в ефекті боке
Звичайно, сторонні розробники все ще можуть використовувати речі, які офіційно не підтримуються.Тепер додаток Halide може підтримуватиiPhone XR, SE, щоб робити розмиті знімки дрібних тварин або інших об’єктів.Фактично, він також використовує технологію портретної маски Apple для отримання карт глибини, а потім додає власну внутрішню оптимізацію для досягнення.
▲ Використовуючи програми сторонніх розробників, як-от Halide, ви можете використовувати новий iPhone SE, щоб робити розмиті фотографії об’єктів без обличчя
Загалом, розмиття портрета, досягнутого цим новим iPhone SE, є межею, якої можна досягти за допомогою оптимізації програмного забезпечення для телефонів з однією камерою.Власне кажучи, це насправді завдяки чіпу A13.Якщо він не приніс останній алгоритм машинного навчання, токамералише досвід, досвід стрільби SE, очевидно, має бути наполовину.
Тому для смартфонів все ще важливо розвивати багатокамерні системи.Ми можемо використовувати надширокий кут, щоб розширити поле зору, і ми можемо покладатися на телеоб’єктив, щоб отримати фотографії з неруйнівним збільшенням.Допомагає виявлення доповненої реальності, це досягається не тільки за допомогою оновлення OTA або шліфування алгоритмів.
Звичайно, сліпо вихвалятися і змагатися за кількість камер теж дратує.Якщо апаратне забезпечення визначає лише нижню межу зображення, то набір чудових алгоритмів може значно підвищити верхню межу зображення і навіть повторно висловити цінність і цінність старого обладнання.потенціал.
Я не знаю, чи зможемо ми почекати ще чотири роки.Коли вийде наступне покоління iPhone SE, буде синглкамерачи все ще має місце в індустрії мобільних телефонів?
Час розміщення: 06.06.2020