Zdroj: Sina Technology Synthesis
Použitie jediného fotoaparátu na dosiahnutie rozmazanej fotografie nie je nič nové, predchádzajúceiPhone XRa skôrGoogle Pixel 2mali podobné pokusy.
Nový iPhone SE od Apple je tiež rovnaký, ale jehofotoaparátprvok je príliš starý, hlavný kredit je stále v algoritme.
▲ Zľava dopravafotoaparátsenzory nového iPhonu SE,iPhone 8aiPhone XR
Zo správy o demontáži iFixit vidíme, že niektoré časti v novom iPhone SE sú úplne v súlade siPhone 8, a to aj do takej miery, že sa dajú používať zameniteľne – vrátane 12-megapixelového širokouhlého záberufotoaparát .
Prax „nového vína v starých fľašiach“ nie je pre iPhone SE ničím výnimočným.Späť pred štyrmi rokmi prvá generácia iPhone SE tiež použila vzhľad 5s a väčšinu hardvéru, takže Apple môže dať nižšiu cenu.
Teoreticky, pri kopírovaní rovnakého hardvéru fotoaparátu,fotoaparátvlastnosti týchto dvoch by sa nemali veľmi líšiť.Napríklad,iPhone 8nepodporuje fotografovanie s malou hĺbkou ostrosti s jasným objektom a rozmazaným pozadím, čo často nazývame „režim na výšku“.
Keď sa však pozriete na stránku podpory spoločnosti Apple, zistíte, že režim na výšku, ktorý nepodporujeiPhone 8je podporovaný novým iPhone SE – aj keď špecifikácie zadnej šošovky oboch sú úplne rovnaké.
Za normálnych okolností je často potrebné robiť rozmazané fotografie na mobilnom telefóne pomocou duálnych fotoaparátov – rovnako ako ľudské oči, aj mobilný telefón potrebuje získať dva zábery z rôznych uhlov pomocou dvoch šošoviek v rôznych polohách a potom skombinovať uhly rozdiel odhaduje hĺbku ostrosti, aby sa dosiahlo rozmazanie pozadia a aby objekt zostal čistý.
Séria Plus na zozname alebo X, XS a 11 v posledných rokoch sa v podstate spoliehajú na systémy viacerých kamier na dokončenie snímania rozostrenia portrétov.
Ako teda rieši predný jediný fotoaparát iPhonu?Jadro spočíva v infračervenom bodovom projektore v systéme Face ID, ktorý dokáže získať aj dostatočne presné údaje o hĺbke, čo je ekvivalent „pomocnej šošovky“.
Z tohto pohľadu je iPhone SE schopný fotiť v režime na výšku veľmi špeciálne: po prvé, nerobí viacero záberov, po druhé, nemá Face ID, v podstate neexistuje možnosť hardvérovej podpory.
Apple zrejme urobil nejaké zmeny, ktoré na softvérovej úrovni nevidíme.
Nedávno Ben Sandofsky, vývojár aplikácie pre fotoaparáty tretej strany Halide, odhalil technické princípy a vysvetlil, prečo nový iPhone SE používa rovnaké špecifikácie jedného objektívu akoiPhone 8, ale môže dosiahnuť režim portrétovej fotografie, ktorý druhý nedokáže.
Povedali, že nový iPhone SE bude pravdepodobne „prvý iPhone, ktorý dokáže generovať efekt rozostrenia portrétu pomocou jediného 2D obrazu“.
Dalo by sa povedať, žeiPhone XRtiež nejde o rozmazanie jednej kamery.Nekopíruje to SE len tak?
Situácia pri demontáži však ukázala, žekameryiPhone SE aiPhone XRnie sú konzistentné, čo tiež vedie k rozdielom v technickej implementácii oboch.
▲Samsung Galaxy S7séria je prvé zariadenie, ktoré využíva technológiu DPAF na smartfónefotoaparát
Najdôležitejším bodom je, žefotoaparátziPhone XRmôže využívať technológiu automatického zaostrovania s dvoma pixelmi (DPAF), ktorá mu umožňuje získať údaje o určitej hĺbke na základe hardvéru.
Zjednodušene povedané, technológia DPAF je ekvivalentná rozdeleniu pixelu nafotoaparátsenzor na dva menšie pixely vedľa seba na zachytenie dvoch fotografií s rôznymi uhlami, rovnako ako naše ľavé a pravé oko.
Aj keď rozdiel uhlov, ktorý tým vzniká, nie je taký zrejmý ako pri duálnomfotoaparát, je to stále vhodné pre algoritmus na generovanie údajov o hĺbke.
▲Google Pixel 2, 3Dve mapy disparít získané pomocou technológie DPAF sú voľným okom ťažké
vnímať, ale stále môže pomôcť algoritmu segmentácie obrazu robiť úsudky
predtýmGoogletiež použil túto technológiu naPixel 2, 3na dosiahnutie rozmazania pri jednom zábere.NaPixel4, pretože kamera je nahradená špecifikáciou viacerých kamier, detekcia paralaxy je výrazne presnejšia ako jednokamerová.
▲ Poďme sa pozrieť na dáta, ktoré Pixel 4 získal pomocou dvoch fotoaparátov.
Pokiaľ ide o nový iPhone SE, pretože jeho senzory sú príliš staré, Halide tvrdí, že sa nemôže spoliehať na senzory pri získavaní máp rozdielov a v podstate sa môže spoliehať iba na algoritmus strojového učenia, ktorý poskytuje čip A13 Bionic na simuláciu a generovanie údajov o hĺbke. mapy.
Vysvetlením jednej vety je, že snímanie rozmazania portrétov v iPhone SE je úplne dosiahnuté softvérom a algoritmami.
▲ Nasnímajte túto fotografiu priamo pomocouiPhone XRa nový iPhone SE
▲ Graf hĺbkových údajov,iPhone XRvľavo, vpravo nový iPhone SE
Ale na novom iPhone SE, s novým algoritmom poskytovaným čipom A13, sme získali hĺbkovú mapu, ktorá je úplne odlišná odXR.Nielenže správne rozpozná uši a celkový obrys šteňaťa, ale urobí aj vrstvené spracovanie pre rôzne pozadia.
Tento druh hĺbkovej mapy nie je 100% presný.Halide uviedol, že presnosť výrezu a rozmazania nového iPhonu SE pri fotení neostrých fotografií bez tváre nie je taká presná ako pri fotení portrétov.
Najmä v prípade, že sú niektoré objekty a obrázky na pozadí veľmi rozmazané, bude v tejto chvíli zrejmejšia výhoda viacerých fotoaparátov.
▲ V tomto druhu témy bez tváre a predmet a pozadie nie sú jasne oddelené, rozmazanie nového iPhone SE
je ľahké robiť chyby
Ako môžete vidieť na tomto obrázku,iPhone 11 Provybavený multi-kamerovým systémom dokáže nielen úplne načrtnúť malé rastliny na polene, ale dokáže rozpoznať aj vzdialenosť pozadia a urobiť vrstvené spracovanie.
▲ Graf hĺbkových údajov,iPhone 11 Provľavo, vpravo nový iPhone SE
Na novom iPhone SE sa napriek rovnakým výsledkom vrstveného spracovania objekt a pozadie úplne spojili.Prirodzene, proces post-rozmazania bude prirodzene oveľa horší ako teniPhone 11 Pro.
▲ Skutočné rozmazané dôkazy,iPhone 11 Provľavo a nový iPhone SE vpravo
To je dôvod, prečo, keď nový iPhone SE používa vlastné iOSfotoaparátiba pri detekcii ľudskej tváre je možné povoliť „Režim portrétu“ na snímanie rozmazaných fotografií.V ostatných prípadoch sa zobrazí chyba.
Dôvod stále súvisí s algoritmom Apple.Halide spomenul techniku nazvanú 'Portrait Effects Matte' (Portrait Effects Matte), ktorá sa používa hlavne na nájdenie presného obrysu ľudí na fotografiách v režime na výšku vrátane detailov, ako je línia vlasov na okraji, rám okuliarov atď. Objekt a pozadie sú segmentované.
Ale v súčasnosti je táto sada segmentačných technológií založená na strojovom učení lepšie pripravená na „strieľanie ľudí“, skutočne môže nahradiť nedostatok paralaxových údajov na jednomfotoaparáttelefóny ako napriPhone XRa iPhone SE, ale ak subjekt Algoritmus urobí chybu aj pri zmene znakov z iných objektov.
Čo sa týka telefónov s viacerými fotoaparátmiiPhone 11 Pro, môžete získať údaje o paralaxe priamo cezfotoaparáthardvér, takže pri použití vlastných môžu použiť aj režim na výšku v scénach bez tvárefotoaparát.
▲ Predná šošovka nového iPhonu SE podporuje aj režim na výšku a presnosť tváre je veľmi vysoká,
a rozdiel v zobrazení je len v efekte bokeh
Samozrejme, vývojári tretích strán môžu stále používať veci, ktoré nie sú oficiálne podporované.Aplikácia Halide teraz môže podporovaťiPhone XR, SE na snímanie rozmazaných snímok malých zvierat alebo iných predmetov.V skutočnosti tiež používa technológiu portrétovej masky od spoločnosti Apple na získanie hĺbkových máp a na dosiahnutie potom pridáva vlastnú optimalizáciu back-endu.
▲ Pomocou aplikácií tretích strán, ako je Halide, môžete nový iPhone SE použiť na snímanie rozmazaných fotografií predmetov, ktoré nemajú tvár
Vo všeobecnosti je rozmazanie portrétu dosiahnuté týmto novým iPhone SE limitom, ktorý je možné dosiahnuť softvérovou optimalizáciou pre telefóny s jedným fotoaparátom.Presne povedané, je to v skutočnosti spôsobené čipom A13.Ak by nepriniesol najnovší algoritmus strojového učenia,fotoaparátlen skúsenosť, zážitok zo streľby SE samozrejme musí byť polovičný.
Preto je pre smartfóny stále zmysluplné vyvíjať systémy s viacerými kamerami.Na rozšírenie zorného poľa môžeme použiť ultraširokouhlý uhol a pri získavaní fotografií s nedeštruktívnym priblížením sa môžeme spoľahnúť na teleobjektív.Pomáha detekcia rozšírenej reality, tie sa nedosahujú iba aktualizáciou OTA alebo brúsením algoritmov.
Samozrejme otravné je aj slepé chvastanie sa a súperenie o počet kamier.Ak hardvér určuje iba spodnú hranicu zobrazovania, potom súbor vynikajúcich algoritmov môže výrazne zvýšiť hornú hranicu zobrazovania a dokonca znovu vyjadriť hodnotu a hodnotu starého hardvéru.potenciál.
Neviem, či môžeme čakať ďalšie štyri roky.Keď vyjde ďalšia generácia iPhonu SE, bude jednokameramáte stále miesto v odvetví mobilných telefónov?
Čas odoslania: máj-06-2020