Источник: Sina Technology Synthesis
В использовании одной камеры для получения размытой фотографии нет ничего нового, предыдущаяайфон хри раньшеГугл пиксель 2были подобные попытки.
Новый iPhone SE от Apple тоже такой же, но егокамераэлемент слишком старый, главная заслуга все еще в алгоритме.
Из отчета iFixit о разборке видно, что некоторые детали нового iPhone SE полностью соответствуютайфон 8, вплоть до того, что их можно использовать взаимозаменяемо, включая 12-мегапиксельную широкоугольнуюкамера .
Практика «молодого вина в старых бутылках» не является чем-то необычным для iPhone SE.Еще четыре года назад в iPhone SE первого поколения также использовался внешний вид 5s и большая часть аппаратного обеспечения, поэтому Apple может дать более низкую цену.
Теоретически при копировании одного и того же оборудования камерыкамерахарактеристики двух не должны сильно отличаться.Например,айфон 8не поддерживает съемку фотографий с малой глубиной резкости с четким объектом и размытым фоном, что мы часто называем «портретным режимом».
Но когда вы посмотрите на страницу поддержки Apple, вы обнаружите, что портретный режим, который не поддерживаетсяайфон 8поддерживается новым iPhone SE, даже если характеристики задней линзы у них одинаковые.
В нормальных условиях съемка размытых фотографий на мобильный телефон часто должна выполняться с помощью двух камер — точно так же, как человеческие глаза, мобильный телефон также должен получать два изображения под разными углами через две линзы в разных положениях, а затем объединять углы вид Разница оценивает глубину резкости для достижения размытия фона и сохранения четкости объекта.
Серия Plus в списке или X, XS и 11 в последние годы в основном полагаются на многокамерные системы для выполнения портретной размытой съемки.
Так как же решает одинарная фронтальная камера iPhone?Ядро заключается в инфракрасном матричном проекторе в системе Face ID, который также может получать достаточно точные данные о глубине, что эквивалентно «вспомогательному объективу».
С этой точки зрения iPhone SE может делать фотографии в портретном режиме совершенно по-особенному: во-первых, он не делает несколько снимков, во-вторых, у него нет Face ID, практически отсутствует возможность аппаратной поддержки.
Судя по всему, Apple внесла некоторые изменения, которые мы не можем увидеть на программном уровне.
Недавно Бен Сандофски, разработчик стороннего приложения для камеры Halide, раскрыл технические принципы, объясняя, почему в новом iPhone SE используются те же характеристики одного объектива, что и в iPhone SE.айфон 8, но он может достичь режима портретной фотосъемки, чего не может последний.
Они сказали, что новый iPhone SE, вероятно, станет «первым iPhone, который может генерировать эффект портретного размытия, используя только одно 2D-изображение».
Вы могли бы сказать, чтоайфон хртакже не размытие одной камеры.Разве SE не просто копирует это?
Однако ситуация с демонтажем показала, чтокамерыiPhone SE иайфон хрнесовместимы, что также приводит к различиям в их технической реализации.
▲Самсунг Галакси С7серия — первое устройство, использующее технологию DPAF на смартфоне.камера
Наиболее важным моментом является то, чтокамерапринадлежащийайфон хрможет использовать технологию двухпиксельной автофокусировки (DPAF), которая позволяет получать определенные данные о глубине на основе аппаратного обеспечения.
Проще говоря, технология DPAF эквивалентна делению пикселя накамерасенсор на два меньших пикселя, расположенных рядом друг с другом, чтобы сделать два снимка под разными углами, как наши левый и правый глаза.
Хотя разница углов, создаваемая этим, не так очевидна, как у двойногокамера, он по-прежнему способствует алгоритму генерации данных о глубине.
▲Гугл пиксель 2, 3Две карты диспаратности, полученные с помощью технологии DPAF, трудно различить невооруженным глазом.
воспринимать, но все же может помочь алгоритму сегментации изображения выносить суждения
Ранее,Googleтакже использовал эту технологию наПиксель 2, 3для достижения однокадрового размытия.НаПиксель4, поскольку камера заменена спецификацией с несколькими камерами, обнаружение параллакса значительно точнее, чем с одной камерой.
▲ Давайте посмотрим на данные, полученные Pixel 4 с помощью двух камер.
Что касается нового iPhone SE, то, поскольку его датчики слишком устарели, Halide утверждает, что не может полагаться на датчики для получения карт несоответствия и в основном может полагаться только на алгоритм машинного обучения, предоставляемый чипом A13 Bionic, для моделирования и генерации данных о глубине. карты.
Объяснение одним предложением заключается в том, что портретная съемка iPhone SE с размытием изображения полностью достигается программным обеспечением и алгоритмами.
▲ Сделайте это фото прямо с помощьюайфон хри новый айфон SE
Галид использовалайфон хри новый iPhone SE, чтобы сфотографировать щенка (не настоящий снимок, просто сделать снимок «одной фотографии»), а затем сравнить данные о глубине двух изображений.
Они обнаружили, чтоайфон хртолько что сделал простую сегментацию изображения, чтобы вытащить основное тело, но не правильно распознал ухо щенка.
▲ График данных глубины,айфон хрслева новый iPhone SE справа
Но на новом iPhone SE с новым алгоритмом, обеспечиваемым чипом A13, мы получили карту глубины, совершенно отличную отXR.Он не только правильно распознает уши щенка и общий контур, но и выполняет послойную обработку для разных фонов.
Этот тип карты глубины не является точным на 100%.Халид сказал, что точность выреза и размытия нового iPhone SE при съемке размытых фотографий без лица не такая точная, как при съемке портретов.
Особенно в случае, когда некоторые объекты и фоновые изображения очень размыты, преимущество нескольких камер в это время будет более очевидным.
▲ В такой теме без лица, когда объект и фон четко не разделены, размытие нового iPhone SE
легко ошибиться
Как видно из этой картинки,Айфон 11 Прооснащенный многокамерной системой, может не только полностью обрисовывать мелкие растения на бревне, но и распознавать расстояние до фона и производить послойную обработку.
▲ График данных глубины,Айфон 11 Прослева новый iPhone SE справа
На новом iPhone SE, несмотря на те же результаты послойной обработки, объект и фон были полностью слиты воедино.Естественно, процесс пост-размывания, естественно, будет намного хуже, чемАйфон 11 Про.
▲ Настоящие размытые пруфы,Айфон 11 Прослева и новый iPhone SE справа
Вот почему, когда новый iPhone SE использует собственный iOSкамераприложение, только когда распознано человеческое лицо, можно включить «Портретный режим» для получения размытых фотографий.В остальных случаях появится ошибка.
Причина по-прежнему связана с алгоритмом Apple.Халид упомянул технику под названием «Портретные эффекты подложки» (Portrait Effects Matte), которая в основном используется для нахождения точных контуров людей на фотографиях в портретном режиме, включая такие детали, как линия роста волос по краю, оправа очков и т. д. Объект и фон сегментированы.
Но в настоящее время этот набор технологий сегментации, основанный на машинном обучении, более подготовлен для «съемки людей», он действительно может восполнить недостаток данных параллакса на одиночныхкамерателефоны, такие какайфон хри iPhone SE, но если предмет Алгоритм также сделает ошибку суждения при изменении символов из других объектов.
Что касается многокамерных телефонов, таких какАйфон 11 Про, вы можете получить данные параллакса напрямую черезкамерааппаратное обеспечение, поэтому они также могут использовать портретный режим в сценах без лица при использовании собственногокамера.
▲ Передняя линза нового iPhone SE также поддерживает портретный режим, а точность лица очень высокая,
а разница в изображении только в эффекте боке
Конечно, сторонние разработчики по-прежнему могут использовать то, что официально не поддерживается.Теперь приложение Halide может поддерживатьайфон хр, SE для получения размытых снимков мелких животных или других объектов.На самом деле, он также использует технологию портретной маски Apple для получения карт глубины, а затем добавляет собственную внутреннюю оптимизацию для достижения этой цели.
▲ Используя сторонние приложения, такие как Halide, вы можете использовать новый iPhone SE, чтобы делать размытые фотографии объектов, не являющихся лицами.
В целом портретное размытие, достигнутое этим новым iPhone SE, является пределом, которого можно достичь за счет оптимизации программного обеспечения для телефонов с одной камерой.Строго говоря, это на самом деле из-за чипа A13.Если бы не новейший алгоритм машинного обучения,камераодин опыт, опыт стрельбы SE явно должен быть половиной.
Поэтому для смартфонов по-прежнему имеет смысл разрабатывать многокамерные системы.Мы можем использовать сверхширокий угол, чтобы расширить поле зрения, и мы можем положиться на телеобъектив, чтобы получить фотографии с неразрушающим увеличением.Помощь в обнаружении дополненной реальности достигается не только обновлением OTA или усовершенствованием алгоритмов.
Конечно, слепое хвастовство и соревнование за количество камер тоже раздражает.Если аппаратное обеспечение определяет только нижний предел визуализации, то набор отличных алгоритмов может значительно поднять верхний предел визуализации и даже повторно выразить ценность и ценность старого оборудования.потенциал.
Я не знаю, сможем ли мы подождать еще четыре года.Когда выйдет следующее поколение iPhone SE, будет синглкамеравсе еще есть место в индустрии мобильных телефонов?
Время публикации: 06 мая 2020 г.