Източник: Sina Technology Synthesis
Използването на една камера за постигане на замъглена фотография не е нищо ново, предишнотоiPhone XRи по-раноGoogle Pixel 2са имали подобни опити.
Новият iPhone SE на Apple също е същият, но такъвкамераелементът е твърде стар, основната заслуга все още е в алгоритъма.
От доклада за разглобяването на iFixit можем да видим, че някои части в новия iPhone SE са напълно съвместими сiPhone 8, дори до степента, че могат да се използват взаимозаменяемо - включително 12-мегапикселовия широкоъгъленкамера .
Практиката на „ново вино в стари бутилки“ не е необичайна за iPhone SE.Обратно към преди четири години, първото поколение iPhone SE също приложи външния вид на 5s и по-голямата част от хардуера, така че Apple може да даде по-ниска цена.
Теоретично, когато копирате същия хардуер на камерата,камерахарактеристиките на двете не трябва да се различават много.Например,iPhone 8не поддържа заснемане на снимки с малка дълбочина на полето с ясен обект и замъглен фон, което често наричаме "режим на портрет".
Но когато погледнете страницата за поддръжка на Apple, ще откриете, че портретният режим, който не се поддържа отiPhone 8се поддържа от новия iPhone SE-дори ако спецификациите на задните лещи на двата са абсолютно еднакви.
При нормални обстоятелства правенето на замъглени снимки на мобилен телефон често трябва да се прави от двойни камери – точно като човешките очи, мобилният телефон също трябва да получи две изображения под различни ъгли чрез два обектива в различни позиции и след това да комбинира ъглите на изглед Разликата оценява дълбочината на полето, за да постигне размазване на фона и да запази обекта ясен.
Серията Plus в списъка или X, XS и 11 през последните години основно разчитат на системи с няколко камери за завършване на портретно замъгляване.
И така, как решава предната единична камера на iPhone?Ядрото е в инфрачервения матричен проектор в системата Face ID, който също може да получи достатъчно точни данни за дълбочината, което е еквивалентно на „допълнителен обектив“.
От тази гледна точка iPhone SE може да прави снимки в портретен режим е много специален: първо, не прави множество снимки, второ, няма Face ID, по принцип няма възможност за хардуерна поддръжка.
Очевидно Apple направи някои промени, които не можем да видим на ниво софтуер.
Наскоро Бен Сандофски, разработчикът на приложението за камера на трета страна Halide, разкри техническите принципи, обяснявайки защо новият iPhone SE използва същите спецификации с един обектив катоiPhone 8, но може да постигне режима на портретна снимка, който последният не може.
Те казаха, че новият iPhone SE вероятно ще бъде „първият iPhone, който може да генерира ефект на размазване на портрет, използвайки само едно 2D изображение“.
Може да се каже, чеiPhone XRсъщо не е замъгляване на една камера.SE не го ли копира само?
Ситуацията с демонтажа обаче доказа, чекамерина iPhone SE иiPhone XRне са последователни, което води и до различия в техническото изпълнение на двете.
▲Samsung Galaxy S7серия е първото устройство, което използва DPAF технология на смартфонкамера
Най-важният момент е, чекамераотiPhone XRможе да използва технология за автофокус с двоен пиксел (DPAF), която му позволява да получава определени данни за дълбочината въз основа на хардуера.
С прости думи, DPAF технологията е еквивалентна на разделяне на пиксела върхукамерасензор в два по-малки един до друг пиксела, за да заснемете две снимки с различни ъгли, точно като нашето ляво и дясно око.
Въпреки че разликата в ъглите, произведена от това, не е толкова очевидна, колкото тази на двойниякамера, все още е благоприятно за алгоритъма за генериране на данни за дълбочината.
▲Google Pixel 2, 3Две карти на несъответствие, получени с помощта на DPAF технологията, са трудни за невъоръжено око
възприемат, но все пак могат да помогнат на алгоритъма за сегментиране на изображението да прави преценки
Преди това,Googleсъщо използва тази технология наPixel 2, 3за постигане на еднократно размазване.Напиксел4, тъй като камерата е заменена със спецификация за няколко камери, откриването на паралакс е значително по-точно от една камера.
▲ Нека да разгледаме данните, получени от Pixel 4 с помощта на две камери.
Що се отнася до новия iPhone SE, тъй като сензорите му са твърде стари, Halide твърди, че не може да разчита на сензорите за получаване на карти на несъответствието и по същество може да разчита само на алгоритъма за машинно обучение, предоставен от чипа A13 Bionic, за да симулира и генерира данни за дълбочината карти.
Обяснението на едно изречение е, че портретното замъгляване на iPhone SE се постига изцяло чрез софтуер и алгоритми.
▲ Направете тази снимка директно сiPhone XRи нов iPhone SE
Халид използваiPhone XRи новият iPhone SE, за да направите снимка на кученцето (не реална снимка, просто за да направите снимка на „една снимка“), и след това да сравните данните за дълбочината на двете снимки.
Те установиха, чеiPhone XRпросто направи проста сегментация на изображението, за да издърпа основното тяло, но не разпозна правилно ухото на кученцето.
▲ Графика на данните за дълбочината,iPhone XRотляво, нов iPhone SE отдясно
Но на новия iPhone SE, с новия алгоритъм, предоставен от чипа A13, получихме карта на дълбочината, която е напълно различна отXR.Той не само правилно разпознава ушите и цялостното очертание на кученцето, но също така извършва многослойна обработка за различни фонове.
Този вид карта на дълбочината не е 100% точна.Халиде каза, че точността на изрязването и замъгляването на новия iPhone SE при заснемане на замъглени снимки без лице не е толкова точна, колкото при правене на портрети.
Особено в случай, че някои обекти и фонови изображения са много замъглени, предимството на множеството камери ще бъде по-очевидно в този момент.
▲ При този вид тема без лице и обектът и фонът не са ясно разделени, размазването на новия iPhone SE
лесно се правят грешки
Както можете да видите от тази снимка,iPhone 11 Proоборудван със система от няколко камери, може не само да очертае напълно малките растения върху дънера, но също така може да разпознае разстоянието на фона и да извършва многослойна обработка.
▲ Графика на данните за дълбочината,iPhone 11 Proотляво, нов iPhone SE отдясно
В новия iPhone SE, въпреки същите резултати от многослойна обработка, обектът и фонът са напълно слети заедно.Естествено, процесът след замъгляване естествено ще бъде много по-лош от тозиiPhone 11 Pro.
▲ Действителните замъглени доказателства,iPhone 11 Proотляво и новия iPhone SE отдясно
Ето защо, когато новият iPhone SE използва собствения на iOSкамераприложение, само когато се разпознае човешко лице, „Портретният режим“ може да бъде активиран за правене на замъглени снимки.В други случаи ще се появи грешка.
Причината все още е свързана с алгоритъма на Apple.Халиде спомена техника, наречена „Портретни ефекти мат“ (Portrait Effects Matte), която се използва главно за намиране на точните очертания на хора в снимки в портретен режим, включително детайли като линия на косата по ръба, рамка на очилата и т.н. Обектът и фонът са сегментирани.
Но в момента този набор от технологии за сегментиране, базирани на машинно обучение, е по-подготвен за „застрелване на хора“, той наистина може да компенсира липсата на паралаксни данни на единичникамерателефони катоiPhone XRи iPhone SE, но ако обектът Алгоритъмът също ще направи грешка в преценката при смяна на знаци от други обекти.
Що се отнася до многокамерни телефони катоiPhone 11 Pro, можете да получите паралакс данни директно чрезкамерахардуер, така че те също могат да използват портретния режим в сцени без лице, когато използват своя собственкамера.
▲ Предният обектив на новия iPhone SE също поддържа портретен режим, а прецизността на лицето е много висока,
а разликата в образа е само в ефекта боке
Разбира се, разработчиците на трети страни все още могат да използват неща, които не се поддържат официално.Сега приложението Halide може да поддържаiPhone XR, SE, за да правите замъглени снимки на малки животни или други обекти.Всъщност той също използва технологията за портретна маска на Apple, за да получи карти на дълбочината и след това да добави своя собствена оптимизация на задния край за постигане.
▲ Използвайки приложения на трети страни като Halide, можете да използвате новия iPhone SE, за да правите замъглени снимки на обекти без лице
Като цяло, портретното размазване, постигнато от този нов iPhone SE, е границата, която може да бъде постигната чрез софтуерна оптимизация за телефони с една камера.Строго погледнато, това всъщност се дължи на чипа A13.Ако не донесе най-новия алгоритъм за машинно обучение,камераопит само, опитът от стрелба SE очевидно трябва да бъде наполовина.
Следователно все още е важно смартфоните да разработват системи с няколко камери.Можем да използваме свръхширок ъгъл, за да разширим зрителното поле, и можем да разчитаме на телеобектива, за да получим снимки с неразрушително увеличение.Помощ за откриване на разширена реалност, това не се постига само чрез надграждане на OTA или смилане на алгоритми.
Разбира се, сляпото самохвалство и съревнованието за броя на камерите също е досадно.Ако хардуерът определя само долната граница на изображението, тогава набор от отлични алгоритми може значително да повиши горната граница на изображението и дори да изрази повторно стойността и стойността на стария хардуер.потенциал.
Не знам дали можем да изчакаме още четири години.Когато излезе следващото поколение iPhone SE, ще бъде сингълкамеравсе още има ли място в индустрията на мобилните телефони?
Време за публикуване: май-06-2020