Forrás: Sina Technology Synthesis
Az elmosódott fotózás egyetlen fényképezőgép használata nem újdonság, az előzőiPhone XRés korábbanGoogle Pixel 2voltak hasonló próbálkozásaik.
Az Apple új iPhone SE-je is ugyanaz, de annakkameraelem túl régi, a fő hitel még mindig az algoritmusban van.
Az iFixit szétszerelési jelentéséből láthatjuk, hogy az új iPhone SE egyes részei teljesen összhangban vannak aiPhone 8, még akkor is, ha felcserélhetően használhatók – beleértve a 12 megapixeles széles látószöget iskamera .
Az „új bor régi palackokban” gyakorlata nem szokatlan az iPhone SE esetében.Négy évvel ezelőttig az első generációs iPhone SE is alkalmazta az 5s megjelenését és a hardver nagy részét, így az Apple alacsonyabb árat tud adni.
Elméletileg ugyanazon fényképezőgép hardver másolásakor akameraa kettő jellemzői nem sokban különbözhetnek egymástól.Például,iPhone 8nem támogatja a kis mélységélességű fényképek készítését tiszta témával és elmosódott háttérrel, amit gyakran "portré módnak" hívunk.
De ha megnézi az Apple támogatási oldalát, azt találja, hogy a portré módot nem támogatja aiPhone 8támogatja az új iPhone SE – még akkor is, ha a két hátsó lencse specifikációi teljesen megegyeznek.
Normál körülmények között az elmosódott fényképeket mobiltelefonon gyakran kettős kamerával kell készíteni – akárcsak az emberi szemnek, a mobiltelefonnak is két különböző szögből készült képet kell készítenie két különböző pozícióban lévő objektíven keresztül, majd a szögeket kombinálni. nézet A különbség megbecsüli a mélységélességet a háttér elmosódásának elérése és a téma tisztán tartása érdekében.
A listán szereplő Plus sorozat, vagy az elmúlt években az X, XS és 11, alapvetően többkamerás rendszerekre támaszkodik az elmosódott portréfotózáshoz.
Tehát hogyan oldja meg az iPhone elülső kamerája?A mag a Face ID rendszer infravörös pontmátrix projektorjában rejlik, amely kellően pontos mélységadatokat is tud szerezni, ami egy „segédlencsével” egyenértékű.
Ebből a szempontból az iPhone SE nagyon különleges, hogy portré módban fotózhat: egyrészt nem készít több felvételt, másrészt nincs rajta Face ID, alapvetően nincs hardveres támogatás lehetősége.
Úgy tűnik, az Apple olyan változtatásokat hajtott végre, amelyeket szoftverszinten nem látunk.
Nemrég Ben Sandofsky, a harmadik féltől származó Halide kameraalkalmazás fejlesztője felfedte a technikai alapelveket, és elmagyarázta, hogy az új iPhone SE miért használja ugyanazokat az egylencsés specifikációkat, mint aiPhone 8, de képes elérni azt a portréfotó módot, amit az utóbbi nem.
Azt mondták, hogy az új iPhone SE valószínűleg „az első iPhone, amely egyetlen 2D-s kép használatával képes portré elmosódást generálni”.
Mondhatnánk, hogy aiPhone XRszintén nem egy kamerás elmosódás.Az SE nem csak másolja?
A bontási helyzet azonban bebizonyította, hogy akamerákaz iPhone SE ésiPhone XRnem következetesek, ami a kettő technikai megvalósításában is eltérésekhez vezet.
▲Samsung Galaxy S7sorozat az első olyan eszköz, amely DPAF technológiát használ okostelefononkamera
A legfontosabb pont az, hogy akameraaiPhone XRképes használni a dual pixel autofókusz (DPAF) technológiát, amely lehetővé teszi bizonyos mélységadatok beszerzését hardver alapján.
Egyszerűen fogalmazva, a DPAF technológia egyenértékű a pixel felosztásávalkameraszenzorral két kisebb, egymás melletti pixelbe, hogy két különböző szögű fényképet készítsen, akárcsak a bal és a jobb szemünk.
Bár az ezzel előidézett szögkülönbség nem olyan nyilvánvaló, mint a duálékamera, még mindig alkalmas az algoritmus mélységi adatok generálására.
▲Google Pixel 2, 3A DPAF technológiával előállított két eltérési térkép szabad szemmel nehezen látható
észlelni, de továbbra is segítheti a képszegmentáló algoritmust az ítéletalkotásban
Korábban,Googleis alkalmazta ezt a technológiátPixel 2, 3az egyképes elmosódás eléréséhez.APixel4, mivel a kamerát többkamerás specifikáció váltja fel, a parallaxis érzékelés lényegesen pontosabb, mint az egykamerás.
▲ Vessünk egy pillantást a Pixel 4 által két kamera használatával nyert adatokra.
Ami az új iPhone SE-t illeti, mivel a szenzorai túl régiek, a Halide azt állítja, hogy nem támaszkodhat az érzékelőkre az eltérési térképek elkészítésében, és alapvetően csak az A13 Bionic chip által biztosított gépi tanulási algoritmusra hagyatkozhat a mélységi adatok szimulálására és generálására. térképek.
Egy mondatos magyarázat az, hogy az iPhone SE portré elmosódott fotózását teljes mértékben szoftver és algoritmusok teszik lehetővé.
▲ Készítse el ezt a fényképet közvetlenül a következőveliPhone XRés az új iPhone SE
Halide használta aiPhone XRés az új iPhone SE-vel, hogy lefotózza a kölyköt (nem igazi felvételt, csak hogy "egy fotót" készítsen), majd összehasonlította a két kép mélységi adatait.
Azt találták, hogy aiPhone XRcsak egy egyszerű képszegmentálást végzett a fő test kihúzásához, de nem ismerte fel megfelelően a kölyökkutya fülét.
▲ Mélységi adatok grafikonja,iPhone XRa bal oldalon, az új iPhone SE a jobb oldalon
De az új iPhone SE-n az A13 chip által biztosított új algoritmussal olyan mélységtérképet kaptunk, amely teljesen más, mintXR.Nemcsak helyesen ismeri fel a kölyökkutya füleit és általános körvonalait, hanem rétegesen feldolgozza a különböző háttereket.
Ez a fajta mélységi térkép nem 100%-ban pontos.Halide elmondta, hogy az új iPhone SE kivágásának és elmosódásának pontossága nem arcú elmosódott fotók készítésekor nem olyan pontos, mint portrék készítésénél.
Különösen abban az esetben, ha egyes témák és háttérképek nagyon elmosódottak, a több kamera előnye nyilvánvalóbb ebben az időben.
▲ Az ilyen nem arc témában, valamint a téma és a háttér nem különül el egyértelműen, az új iPhone SE elmosódása
könnyű hibázni
Amint erről a képről is látszik, aiPhone 11 ProA többkamerás rendszerrel felszerelt nem csak a rönkön lévő apró növényeket tudja teljesen körvonalazni, hanem felismeri a háttér távolságát és réteges feldolgozást végez.
▲ Mélységi adatok grafikonja,iPhone 11 Proa bal oldalon, az új iPhone SE a jobb oldalon
Az új iPhone SE-n a réteges feldolgozás azonos eredménye ellenére a téma és a háttér teljesen összeolvadt.Természetesen az elmosódás utáni folyamat természetesen sokkal rosszabb lesz, mint aiPhone 11 Pro.
▲ A tényleges elmosódott bizonyítékok,iPhone 11 Proa bal oldalon, az új iPhone SE pedig a jobb oldalon
Ez az oka annak, hogy amikor az új iPhone SE az iOS sajátját használjakameraalkalmazással, csak emberi arc észlelése esetén engedélyezhető a „Portré mód” elmosódott fényképek készítéséhez.Más esetekben hiba jelenik meg.
Az ok továbbra is az Apple algoritmusához kapcsolódik.Halide megemlítette a „Portrait Effects Matte” (Portrait Effects Matte) nevű technikát, amelyet főként az emberek pontos körvonalainak meghatározására használnak a portré módban készült fényképeken, beleértve az olyan részleteket, mint a hajszálvonal a szélén, a szemüvegkeret stb. A téma és a háttér szegmentálva vannak.
De jelenleg ez a gépi tanuláson alapuló szegmentációs technológia jobban felkészült az "emberek lövöldözésére", valóban pótolni tudja a parallaxis adatok hiányát egyetlen gépen.kameratelefonok, mint pliPhone XRés iPhone SE, de ha az alany Az algoritmus más objektumok karaktereinek megváltoztatásakor is ítéleti hibát követ el.
Ami a többkamerás telefonokat illeti, mint pliPhone 11 Pro, parallaxis adatokat közvetlenül akamerahardver, így a portré módot nem arcjelenetekben is használhatják, amikor saját magukat használjákkamera.
▲ Az új iPhone SE elülső lencséje is támogatja a portré módot, és az arc pontossága nagyon magas,
és a képi különbség csak a bokeh effektusban van
Természetesen a külső fejlesztők továbbra is használhatnak olyan dolgokat, amelyek hivatalosan nem támogatottak.Most a Halide alkalmazás támogatjaiPhone XR, SE, hogy elmosódott képeket készítsen kis állatokról vagy más tárgyakról.Valójában az Apple portrémaszk technológiáját is használja a mélységi térképek beszerzéséhez, majd hozzáadja a saját háttéroptimalizálását.
▲ Harmadik féltől származó alkalmazások (például a Halide) használatával az új iPhone SE segítségével elmosódott fényképeket készíthet nem arcot nem tartalmazó témákról
Általánosságban elmondható, hogy az új iPhone SE által elért portré elmosódás az a határ, amelyet az egykamerás telefonok szoftveres optimalizálásával lehet elérni.Szigorúan véve ez valójában az A13 chipnek köszönhető.Ha nem hozza a legújabb gépi tanulási algoritmust, akameraegyedül a tapasztalat, az SE lövés tapasztalatának nyilván fele kell lennie.
Ezért továbbra is értelmes az okostelefonok számára többkamerás rendszereket fejleszteni.Ultraszéles látószöggel bővíthetjük a látómezőt, a teleobjektívre támaszkodhatunk roncsolásmentes zoomfotók készítésében.Kiterjesztett valóság észlelési segítség, ezeket nem csak egy OTA frissítéssel, vagy az algoritmusok csiszolásával érik el.
Persze a vakon kérkedés és a kamerák számáért versengés is idegesítő.Ha a hardver csak a képalkotás alsó határát határozza meg, akkor egy sor kiváló algoritmus jelentősen megemelheti a képalkotás felső határát, sőt újra kifejezheti a régi hardver értékét és értékét.lehetséges.
Nem tudom, várhatunk-e még négy évet.Amikor az iPhone SE következő generációja megjelenik, egyetlen leszkamerátvan még helye a mobiltelefon-iparban?
Feladás időpontja: 2020. május 06