Извор: Синтеза на технологија на Сина
Употребата на една камера за постигнување заматена фотографија не е ништо ново, претходнотоiPhone XRи пораноGoogle Pixel 2имале слични обиди.
Новиот iPhone SE на Apple е исто така ист, но екамераелементот е премногу стар, главниот кредит е сè уште во алгоритмот.
Од извештајот за расклопување на iFixit, можеме да видиме дека некои делови во новиот iPhone SE се целосно конзистентни соiPhone 8, дури и до степен до кој тие можат да се користат наизменично - вклучувајќи го и широкиот агол од 12 мегапикселикамера .
Практиката на „ново вино во стари шишиња“ не е невообичаена за iPhone SE.Назад пред четири години, првата генерација на iPhone SE исто така го примени изгледот на 5s и најголемиот дел од хардверот, па Apple може да даде пониска цена.
Теоретски, при копирање на истиот хардвер на камерата, накамеракарактеристиките на двете не треба да бидат многу различни.На пример,iPhone 8не поддржува фотографирање со мала длабочина на поле со јасен предмет и заматена позадина, што често го нарекуваме „режим на портрет“.
Но, кога ќе ја погледнете страницата за поддршка на Apple, ќе откриете дека режимот на портрет што не е поддржан одiPhone 8е поддржан од новиот iPhone SE-дури и ако спецификациите на задните леќи на двата се сосема исти.
Во нормални околности, фотографирањето заматени фотографии на мобилен телефон често треба да се прави со двојни камери - исто како човечки очи, мобилниот телефон исто така треба да добие две слики под различни агли преку две леќи на различни позиции, а потоа да ги комбинира аглите на приказ Разликата ја проценува длабочината на полето за да се постигне заматување на заднината и да се одржи предметот чист.
Серијата Plus на списокот, или X, XS и 11 во последниве години, во основа се потпираат на системи со повеќе камери за да го комплетираат снимањето на заматување на портретите.
Па, како се решава предната единечна камера на iPhone?Јадрото лежи во проекторот со инфрацрвена матрица во системот Face ID, кој исто така може да добие доволно точни податоци за длабочина, што е еквивалентно на „помошна леќа“.
Од оваа гледна точка, iPhone SE може да прави фотографии во режим на портрет е многу посебен: прво, не прави повеќе снимки, второ, нема Face ID, во основа нема можност за хардверска поддршка.
Очигледно, Apple направи некои промени кои не можеме да ги видиме на софтверско ниво.
Неодамна, Бен Сандофски, развивачот на апликацијата за камера од трета страна Halide, ги откри техничките принципи, објаснувајќи зошто новиот iPhone SE ги користи истите спецификации за еден објектив како иiPhone 8, но може да го постигне режимот на фотографирање портрет што вториот не може.
Тие рекоа дека новиот iPhone SE најверојатно ќе биде „првиот iPhone што може да генерира ефект на замаглување на портрет користејќи само една 2D слика“.
Може да кажете дека наiPhone XRисто така не е заматување со една камера.Нели SE само го копира?
Сепак, ситуацијата со демонтирање докажа дека накамерина iPhone SE иiPhone XRне се конзистентни, што исто така доведува до разлики во техничката имплементација на двете.
▲Samsung Galaxy S7серијата е првиот уред кој користи DPAF технологија на паметни телефоникамера
Најважната точка е дека накамераодiPhone XRможе да користи технологија за автоматско фокусирање со двојни пиксели (DPAF), што му овозможува да добие одредени податоци за длабочина врз основа на хардвер.
Во едноставни термини, DPAF технологијата е еквивалентна на делење на пикселот накамерасензор во два помали пиксели еден до друг за да снимите две фотографии со различни агли, исто како и нашите леви и десни очи.
Иако разликата во аголот произведена од ова не е толку очигледна како онаа на двојнатакамера, сè уште е погодно за алгоритмот да генерира податоци за длабочина.
▲Google Pixel 2, 3Две карти на диспаритет добиени со DPAF технологија се тешки за голо око
согледува, но сепак може да му помогне на алгоритмот за сегментација на сликата да пресудува
Претходно,Googleисто така ја користеше оваа технологија наПиксели 2, 3за да се постигне замаглување со една снимка.НаПиксел4, бидејќи камерата е заменета со спецификација со повеќе камери, откривањето на паралакса е значително попрецизно од една камера.
▲ Ајде да ги погледнеме податоците добиени од Pixel 4 со помош на две камери.
Што се однесува до новиот iPhone SE, бидејќи неговите сензори се премногу стари, Халиде тврди дека не може да се потпре на сензорите за да добие мапи за разлики и во основа може да се потпре само на алгоритамот за машинско учење обезбеден од чипот A13 Bionic за да симулира и генерира податоци за длабочина. карти.
Објаснувањето на една реченица е дека снимањето на замаглување на портрет на iPhone SE е целосно постигнато со софтвер и алгоритми.
▲ Направете ја оваа фотографија директно соiPhone XRи нов iPhone SE
Халиде го користешеiPhone XRи новиот iPhone SE да го фотографира кученцето (не е вистинска снимка, само да фотографира „една фотографија“), а потоа да ги спореди податоците за длабочината на двете слики.
Откриле дека наiPhone XRсамо направи едноставна сегментација на сликата за да го извади главното тело, но не го препозна правилно увото на кученцето.
▲ График на податоци за длабочина,iPhone XRлево, нов iPhone SE од десната страна
Но, на новиот iPhone SE, со новиот алгоритам обезбеден од чипот A13, добивме мапа на длабочина која е сосема поинаква одXR.Не само што правилно ги препознава ушите и целокупниот преглед на кученцето, туку врши и слоевито обработување за различни позадини.
Овој вид мапа на длабочина не е 100% точен.Халиде рече дека точноста на исечокот и замаглувањето на новиот iPhone SE при фотографирање заматени фотографии без лице не е толку точна како при фотографирање портрети.
Особено во случај кога некои предмети и слики во позадина се многу заматени, предноста на повеќе камери ќе биде поочигледна во овој момент.
▲ Во овој вид тема без лице, а темата и позадината не се јасно одвоени, заматувањето на новиот iPhone SE
лесно е да се прават грешки
Како што можете да видите од оваа слика, наiPhone 11 Proопремен со систем со повеќе камери не само што може целосно да ги опише малите растенија на дневникот, туку може да го препознае и растојанието на позадината и да направи слоевита обработка.
▲ График на податоци за длабочина,iPhone 11 Proлево, нов iPhone SE од десната страна
На новиот iPhone SE, и покрај истите резултати од слоевитото процесирање, предметот и позадината се целосно споени заедно.Секако, процесот по замаглување природно ќе биде многу полош одiPhone 11 Pro.
▲ Вистинските заматени докази,iPhone 11 Proлево и новиот iPhone SE од десната страна
Затоа, кога новиот iPhone SE го користи сопствениот iOSкамераапликацијата, само кога ќе се открие човечко лице, „Режимот за портрет“ може да се овозможи за правење заматени фотографии.Во други случаи, ќе се појави грешка.
Причината сепак е поврзана со алгоритмот на Apple.Халиде ја спомна техниката наречена „Портрет ефекти мат“ (Portrait Effects Matte), која главно се користи за пронаоѓање на прецизен преглед на луѓе на фотографиите во режим на портрет, вклучувајќи детали како линијата на косата на работ, рамката на очилата итн. Предметот и позадината се сегментирани.
Но, во моментов, овој сет на технологија за сегментација заснована на машинско учење е поподготвен за „пукање луѓе“, таа навистина може да го надополни недостатокот на податоци за паралакса на синглкамерателефони како што сеiPhone XRи iPhone SE, но ако предметот Алгоритмот исто така ќе направи грешка во проценката при промена на знаци од други објекти.
Што се однесува до телефоните со повеќе камери какоiPhone 11 Pro, можете да добиете податоци за паралакса директно прекукамерахардвер, за да можат да го користат и режимот на портрет во сцени без лице кога користат своикамера.
▲ Предниот објектив на новиот iPhone SE го поддржува и режимот на портрет, а прецизноста на лицето е многу висока,
а разликата во сликите е само во ефектот на боке
Се разбира, програмерите од трети страни сè уште можат да користат работи што не се официјално поддржани.Сега апликацијата Halide може да поддржуваiPhone XR, SE за да направите заматени слики од мали животни или други предмети.Всушност, тој исто така ја користи технологијата за маски за портрет на Apple за да добие мапи за длабочина, а потоа да додаде своја сопствена оптимизација за да се постигне.
▲ Користејќи апликации од трети страни како Halide, можете да го користите новиот iPhone SE за да фотографирате заматени фотографии од предмети без лице
Генерално, заматувањето на портретот постигнато со овој нов iPhone SE е границата што може да се постигне со софтверска оптимизација за телефони со една камера.Строго кажано, ова всушност се должи на чипот А13.Ако не го донесе најновиот алгоритам за машинско учење, накамераискуство сам, искуството со снимање SE очигледно треба да биде половина.
Затоа, сè уште е значајно за паметните телефони да развиваат системи со повеќе камери.Можеме да користиме ултра широк агол за да го прошириме видното поле, а можеме да се потпреме на телефото објективот за да добиеме недеструктивни фотографии со зумирање.Помош за откривање на зголемена реалност, тие не се постигнуваат само со надградба на OTA или со мелење алгоритми.
Секако, досадно е и слепо фалење и натпреварување за бројот на камери.Ако хардверот ја одредува само долната граница на сликање, тогаш збир на одлични алгоритми може значително да ја подигне горната граница на сликање, па дури и повторно да ја изрази вредноста и вредноста на стариот хардвер.потенцијал.
Не знам дали можеме да почекаме уште четири години.Кога ќе излезе следната генерација на iPhone SE, ќе биде синглкамерасè уште имате место во индустријата за мобилни телефони?
Време на објавување: мај-06-2020 година