Font: Sina Technology Synthesis
L'ús d'una única càmera per aconseguir una fotografia borrosa no és cap novetat, l'anterioriPhone XRi abansGoogle Pixel 2han tingut intents semblants.
El nou iPhone SE d'Apple també és el mateix, però sícàmeraL'element és massa antic, el crèdit principal encara es troba a l'algorisme.
A partir de l'informe de desmuntatge d'iFixit, podem veure que algunes peces del nou iPhone SE són completament coherents amb eliPhone 8, fins i tot en la mesura que es poden utilitzar indistintament, inclòs el gran angular de 12 megapíxelscàmera .
La pràctica del "vi nou en ampolles velles" no és inusual per a l'iPhone SE.Fa quatre anys, la primera generació d'iPhone SE també va aplicar l'aspecte dels 5s i la majoria del maquinari, de manera que Apple pot oferir un preu més baix.
Teòricament, en copiar el mateix maquinari de la càmera, elcàmerales característiques dels dos no haurien de ser gaire diferents.Per exemple,iPhone 8no admet fer fotografies de profunditat de camp petita amb un tema clar i un fons borrós, que és el que sovint anomenem "mode retrat".
Però quan mireu la pàgina d'assistència d'Apple, trobareu que el mode retrat que no és compatible amb eliPhone 8és compatible amb el nou iPhone SE, fins i tot si les especificacions de la lent posterior dels dos són exactament les mateixes.
En circumstàncies normals, fer fotos borroses amb un telèfon mòbil sovint s'ha de fer amb càmeres duals; igual que els ulls humans, el telèfon mòbil també ha d'obtenir dues imatges en angles diferents a través de dues lents en posicions diferents i, a continuació, combinar els angles de vista La diferència estima la profunditat de camp per aconseguir el desenfocament del fons i mantenir el tema clar.
La sèrie Plus de la llista, o la X, XS i 11 dels darrers anys, es basen bàsicament en sistemes de càmeres múltiples per completar la fotografia de borrosa de retrats.
Llavors, com soluciona la càmera frontal única de l'iPhone?El nucli es troba en el projector de matriu de punts infrarojos del sistema Face ID, que també pot obtenir dades de profunditat prou precises, que equivalen a una "lent auxiliar".
Des d'aquest punt de vista, l'iPhone SE pot fer fotos en mode retrat és molt especial: en primer lloc, no fa diverses fotos, segon, no té Face ID, bàsicament no hi ha possibilitat de suport de maquinari.
Pel que sembla, Apple ha fet alguns canvis que no podem veure a nivell de programari.
Recentment, Ben Sandofsky, el desenvolupador de l'aplicació de càmeres de tercers Halide, va revelar els principis tècnics, explicant per què el nou iPhone SE utilitza les mateixes especificacions d'una lent que eliPhone 8, però pot aconseguir el mode de fotografia retrat que aquest últim no.
Van dir que és probable que el nou iPhone SE sigui "el primer iPhone que pot generar un efecte de desenfocament de retrat utilitzant només una imatge 2D".
Podríeu dir que eliPhone XRtampoc és un desenfocament d'una sola càmera.No és SE només copiar-lo?
Tanmateix, la situació de desmantellament ha demostrat que elcàmeresde l'iPhone SE iiPhone XRno són coherents, la qual cosa també comporta diferències en la implementació tècnica dels dos.
▲Samsung Galaxy S7La sèrie és el primer dispositiu que utilitza la tecnologia DPAF al telèfon intel·ligentcàmera
El punt més important és que elcàmeradeliPhone XRpot utilitzar la tecnologia d'enfocament automàtic de doble píxels (DPAF), que li permet obtenir certes dades de profunditat basades en el maquinari.
En termes simples, la tecnologia DPAF és equivalent a dividir el píxel alcàmerasensor en dos píxels més petits un al costat de l'altre per capturar dues fotos amb angles diferents, igual que els nostres ulls esquerre i dret.
Tot i que la diferència d'angle produïda per això no és tan òbvia com la del dualcàmera, encara és propici per a l'algorisme per generar dades de profunditat.
▲Google Pixel 2, 3Dos mapes de disparitat obtinguts mitjançant la tecnologia DPAF són difícils de fer a simple vista
percebre, però encara pot ajudar l'algoritme de segmentació d'imatges a fer judicis
Prèviament,Googletambé va utilitzar aquesta tecnologiaPixel 2, 3per aconseguir el desenfocament d'un sol pla.A laPíxel4, com que la càmera es substitueix per una especificació multicàmera, la detecció de paral·laxi és significativament més precisa que la d'una sola càmera.
▲ Fem una ullada a les dades obtingudes pel Pixel 4 amb dues càmeres.
Pel que fa al nou iPhone SE, perquè els seus sensors són massa vells, Halide afirma que no pot confiar en els sensors per obtenir mapes de disparitat i, bàsicament, només pot confiar en l'algoritme d'aprenentatge automàtic proporcionat pel xip A13 Bionic per simular i generar dades de profunditat. mapes.
Una explicació de la frase és que la fotografia de desenfocament del retrat de l'iPhone SE s'aconsegueix completament mitjançant programari i algorismes.
▲ Fes aquesta foto directament ambiPhone XRi nou iPhone SE
Halide va utilitzar eliPhone XRi el nou iPhone SE per fer una foto del cadell (no és una foto real, només per fer una foto d'"una foto"), i després va comparar les dades de profunditat de les dues imatges.
Van trobar que eliPhone XRnomés va fer una simple segmentació de la imatge per treure el cos principal, però no va reconèixer correctament l'orella del cadell.
▲ Gràfic de dades de profunditat,iPhone XRa l'esquerra, nou iPhone SE a la dreta
Però al nou iPhone SE, amb el nou algorisme que proporciona el xip A13, tenim un mapa de profunditat completament diferent delXR.No només reconeix correctament les orelles i el contorn general del cadell, sinó que també fa un processament en capes per a diferents fons.
Aquest tipus de mapa de profunditat no és 100% precís.Halide va dir que la precisió del retall i el desenfocament del nou iPhone SE quan es prenen fotos borroses sense cara no és tan precisa com quan es fan retrats.
Especialment en el cas en què alguns temes i imatges de fons són molt borroses, l'avantatge de múltiples càmeres serà més evident en aquest moment.
▲ En aquest tipus de tema no facial, i el tema i el fons no estan clarament separats, el desenfocament del nou iPhone SE
és fàcil cometre errors
Com podeu veure en aquesta imatge, eliPhone 11 Proequipat amb un sistema de càmeres múltiples, no només pot esbossar completament les plantes petites del tronc, sinó que també pot reconèixer la distància del fons i fer un processament en capes.
▲ Gràfic de dades de profunditat,iPhone 11 Proa l'esquerra, nou iPhone SE a la dreta
Al nou iPhone SE, malgrat els mateixos resultats del processament en capes, el tema i el fons s'han fusionat completament.Naturalment, el procés posterior al desenfocament serà, naturalment, molt pitjor que eliPhone 11 Pro.
▲ Les proves borroses reals,iPhone 11 Proa l'esquerra i el nou iPhone SE a la dreta
Per això, quan el nou iPhone SE utilitza el propi iOScàmeranomés quan es detecta una cara humana, el "Mode Retrat" es pot activar per fer fotos borroses.En altres casos, apareixerà un error.
El motiu encara està relacionat amb l'algoritme d'Apple.Halide va esmentar una tècnica anomenada 'Portrait Effects Matte' (Portrait Effects Matte), que s'utilitza principalment per trobar el contorn precís de les persones a les fotos en mode retrat, inclosos detalls com ara la línia del cabell a la vora, el marc de les ulleres, etc. El subjecte i el fons estan segmentats.
Però actualment, aquest conjunt de tecnologia de segmentació basada en l'aprenentatge automàtic està més preparat per "disparar a la gent", de fet pot compensar la manca de dades de paral·laxi en un solcàmeratelèfons com araiPhone XRi iPhone SE, però si el subjecte L'algoritme també farà un error de judici en canviar els caràcters d'altres objectes.
Pel que fa als telèfons multicàmera comiPhone 11 Pro, podeu obtenir dades de paral·laxi directament a través decàmeramaquinari, de manera que també poden utilitzar el mode retrat en escenes sense rostre quan utilitzen la seva pròpiacàmera.
▲ La lent frontal del nou iPhone SE també admet el mode retrat i la precisió de la cara és molt alta,
i la diferència d'imatge només està en l'efecte bokeh
Per descomptat, els desenvolupadors de tercers encara poden utilitzar coses que no són compatibles oficialment.Ara l'aplicació Halide pot ser compatibleiPhone XR, SE per fer fotos borroses d'animals petits o altres objectes.De fet, també utilitza la tecnologia de màscara de retrat d'Apple per obtenir mapes de profunditat i, a continuació, afegeix la seva pròpia optimització de fons per aconseguir-ho.
▲ Utilitzant aplicacions de tercers com Halide, podeu utilitzar el nou iPhone SE per fer fotos borroses de subjectes sense rostre.
En general, el desenfocament del retrat aconseguit per aquest nou iPhone SE és el límit que es pot aconseguir mitjançant l'optimització de programari per a telèfons amb una sola càmera.En sentit estricte, això es deu realment al xip A13.Si no va portar l'últim algorisme d'aprenentatge automàtic, elcàmeranomés l'experiència, l'experiència de tir SE, òbviament, ha de ser la meitat.
Per tant, encara és significatiu que els telèfons intel·ligents desenvolupin sistemes multicàmera.Podem utilitzar un angle ultra gran per ampliar el camp de visió, i podem confiar en el teleobjectiu per obtenir fotografies amb zoom no destructives.La detecció de realitat augmentada ajuda, això no només s'aconsegueix mitjançant una actualització OTA o la mòlta d'algoritmes.
Per descomptat, presumir a cegues i competir pel nombre de càmeres també és molest.Si el maquinari només determina el límit inferior de la imatge, aleshores un conjunt d'algoritmes excel·lents pot augmentar significativament el límit superior de la imatge i, fins i tot, tornar a expressar el valor i el valor del maquinari antic.potencial.
No sé si podem esperar quatre anys més.Quan surti la propera generació d'iPhone SE, serà soltercàmeraencara tens un lloc a la indústria de la telefonia mòbil?
Hora de publicació: 06-maig-2020