Fonte: Sintesi della tecnologia Sina
L'uso di una singola fotocamera per ottenere la fotografia sfocata non è una novità, il precedenteiPhone XRe primaGoogle Pixel 2hanno avuto tentativi simili.
Anche il nuovo iPhone SE di Apple è lo stesso, ma lo ètelecameral'elemento è troppo vecchio, il merito principale è ancora nell'algoritmo.
▲ Da sinistra a destra, iltelecamerasensori del nuovo iPhone SE,iPhone 8eiPhone XR
Dal rapporto di smontaggio di iFixit, possiamo vedere che alcune parti del nuovo iPhone SE sono completamente coerenti con iliPhone 8, anche nella misura in cui possono essere utilizzati in modo intercambiabile, incluso il grandangolo da 12 megapixeltelecamera .
La pratica del "vino nuovo in vecchie bottiglie" non è insolita per l'iPhone SE.Torna a quattro anni fa, l'iPhone SE di prima generazione applicava anche l'aspetto di 5s e la maggior parte dell'hardware, quindi Apple può dare un prezzo inferiore.
In teoria, quando si copia lo stesso hardware della fotocamera, iltelecamerale caratteristiche dei due non dovrebbero essere molto diverse.Per esempio,iPhone 8non supporta lo scatto di foto con profondità di campo ridotta con un soggetto nitido e uno sfondo sfocato, che è ciò che spesso chiamiamo "modalità ritratto".
Ma quando guardi la pagina di supporto di Apple, scoprirai che la modalità verticale non è supportata daliPhone 8è supportato dal nuovo iPhone SE, anche se le specifiche dell'obiettivo posteriore dei due sono esattamente le stesse.
In circostanze normali, scattare foto sfocate su un telefono cellulare spesso deve essere eseguito da una doppia fotocamera: proprio come gli occhi umani, anche il telefono cellulare deve ottenere due immagini con angolazioni diverse attraverso due obiettivi in posizioni diverse, quindi combinare gli angoli di view La differenza stima la profondità di campo per ottenere la sfocatura dello sfondo e mantenere il soggetto nitido.
La serie Plus nell'elenco, o X, XS e 11 negli ultimi anni, si basano fondamentalmente su sistemi multi-camera per completare lo scatto con sfocatura del ritratto.
Quindi, come risolve la singola fotocamera anteriore dell'iPhone?Il nucleo risiede nel proiettore a matrice di punti a infrarossi nel sistema Face ID, che può anche ottenere dati di profondità sufficientemente accurati, equivalenti a una "lente ausiliaria".
Da questo punto di vista, l'iPhone SE può scattare foto in modalità ritratto è molto particolare: primo, non fa più scatti, secondo, non ha Face ID, praticamente non c'è possibilità di supporto hardware.
A quanto pare, Apple ha apportato alcune modifiche che non possiamo vedere a livello software.
Di recente, Ben Sandofsky, lo sviluppatore dell'applicazione fotocamera di terze parti Halide, ha rivelato i principi tecnici, spiegando perché il nuovo iPhone SE utilizza le stesse specifiche a obiettivo singolo deliPhone 8, ma può ottenere la modalità foto ritratto che quest'ultimo non può .
Hanno affermato che il nuovo iPhone SE sarà probabilmente "il primo iPhone in grado di generare un effetto di sfocatura del ritratto utilizzando solo una singola immagine 2D".
Si potrebbe dire che iliPhone XRinoltre non è una sfocatura di una singola fotocamera.SE non lo sta solo copiando?
Tuttavia, la situazione di smantellamento ha dimostrato che ilmacchine fotografichedi iPhone SE eiPhone XRnon sono coerenti, il che porta anche a differenze nell'implementazione tecnica dei due.
▲Samsung Galaxy S7è il primo dispositivo che utilizza la tecnologia DPAF su smartphonetelecamera
Il punto più importante è che iltelecameradeliPhone XRpuò utilizzare la tecnologia dual pixel autofocus (DPAF), che gli consente di ottenere determinati dati di profondità basati sull'hardware.
In parole povere, la tecnologia DPAF equivale a dividere il pixel sultelecamerasensore in due pixel affiancati più piccoli per catturare due foto con angolazioni diverse, proprio come i nostri occhi sinistro e destro.
Sebbene la differenza angolare prodotta da questo non sia così ovvia come quella del dualetelecamera, è ancora favorevole all'algoritmo per generare dati di profondità.
▲Google Pixel 2, 3Due mappe di disparità ottenute utilizzando la tecnologia DPAF sono difficili da vedere ad occhio nudo
percepire, ma può comunque aiutare l'algoritmo di segmentazione dell'immagine a formulare giudizi
In precedenza,Googleanche usato questa tecnologia suPixel 2, 3per ottenere una sfocatura a scatto singolo.SulPixel4, poiché la telecamera è stata sostituita da una specifica multi-camera, il rilevamento della parallasse è significativamente più accurato rispetto a una telecamera singola.
▲ Diamo un'occhiata ai dati ottenuti dal Pixel 4 utilizzando due fotocamere.
Per quanto riguarda il nuovo iPhone SE, poiché i suoi sensori sono troppo vecchi, Halide afferma di non poter fare affidamento sui sensori per ottenere mappe di disparità, e sostanzialmente può fare affidamento solo sull'algoritmo di apprendimento automatico fornito dal chip A13 Bionic per simulare e generare dati di profondità mappe.
Una spiegazione della frase è che lo scatto di sfocatura del ritratto di iPhone SE è interamente ottenuto da software e algoritmi.
▲ Scatta questa foto direttamente coniPhone XRe il nuovo iPhone SE
Halide ha usato iliPhone XRe il nuovo iPhone SE per scattare una foto del cucciolo (non uno scatto reale, solo per scattare una foto di 'una foto'), e quindi confrontare i dati di profondità delle due immagini.
Hanno scoperto che iliPhone XRha appena eseguito una semplice segmentazione dell'immagine per estrarre il corpo principale, ma non ha riconosciuto correttamente l'orecchio del cucciolo.
▲ Grafico dei dati di profondità,iPhone XRa sinistra, nuovo iPhone SE a destra
Ma sul nuovo iPhone SE, con il nuovo algoritmo fornito dal chip A13, abbiamo ottenuto una mappa di profondità completamente diversa da quellaXR.Non solo riconosce correttamente le orecchie e il contorno generale del cucciolo, ma esegue anche l'elaborazione a strati per diversi sfondi.
Questo tipo di mappa di profondità non è accurata al 100%.Halide ha affermato che la precisione del ritaglio e della sfocatura del nuovo iPhone SE quando si scattano foto sfocate senza volto non è così precisa come quando si scattano ritratti.
Soprattutto nel caso in cui alcuni soggetti e immagini di sfondo siano molto sfocati, il vantaggio di più fotocamere sarà più evidente in questo momento.
▲ In questo tipo di tema non facciale, e il soggetto e lo sfondo non sono chiaramente separati, la sfocatura del nuovo iPhone SE
è facile sbagliare
Come puoi vedere da questa immagine, iliPhone 11 Prodotato di un sistema multi-camera può non solo delineare completamente le piccole piante sul tronco, ma può anche riconoscere la distanza dello sfondo ed effettuare elaborazioni a strati.
▲ Grafico dei dati di profondità,iPhone 11 Proa sinistra, nuovo iPhone SE a destra
Sul nuovo iPhone SE, nonostante gli stessi risultati dell'elaborazione a strati, il soggetto e lo sfondo sono stati completamente fusi insieme.Naturalmente, il processo di post-sfocatura sarà naturalmente molto peggiore di quelloiPhone 11 Pro.
▲ Le effettive prove sfocate,iPhone 11 Proa sinistra e il nuovo iPhone SE a destra
Ecco perché, quando il nuovo iPhone SE utilizza quello di iOStelecameraapp, solo quando viene rilevato un volto umano, è possibile abilitare la "Modalità ritratto" per scattare foto sfocate.Negli altri casi, verrà visualizzato un errore.
Il motivo è ancora legato all'algoritmo di Apple.Halide ha menzionato una tecnica chiamata "Portrait Effects Matte" (Portrait Effects Matte), che viene utilizzata principalmente per trovare il contorno preciso delle persone nelle foto in modalità ritratto, inclusi dettagli come l'attaccatura dei capelli sul bordo, la cornice degli occhiali, ecc. Il soggetto e lo sfondo sono segmentati.
Ma al momento, questo insieme di tecnologia di segmentazione basata sull'apprendimento automatico è più preparato per "sparare alle persone", può effettivamente compensare la mancanza di dati di parallasse su singolitelecameratelefoni comeiPhone XRe iPhone SE, ma se il soggetto L'algoritmo commetterà anche un errore di valutazione quando si cambiano i caratteri da altri oggetti.
Per quanto riguarda i telefoni multi-camera comeiPhone 11 Pro, puoi ottenere i dati di parallasse direttamente tramite iltelecamerahardware, quindi possono anche utilizzare la modalità ritratto in scene senza volti quando usano le proprietelecamera.
▲ L'obiettivo anteriore del nuovo iPhone SE supporta anche la modalità ritratto e la precisione del viso è molto alta,
e la differenza di immagine è solo nell'effetto bokeh
Naturalmente, gli sviluppatori di terze parti possono ancora utilizzare cose che non sono ufficialmente supportate.Ora l'app Halide può supportareiPhone XR, SE per scattare foto sfocate di piccoli animali o altri oggetti.In effetti, utilizza anche la tecnologia della maschera del ritratto di Apple per ottenere mappe di profondità e quindi aggiunge la propria ottimizzazione del back-end per ottenere.
▲ Utilizzando app di terze parti come Halide, puoi utilizzare il nuovo iPhone SE per scattare foto sfocate di soggetti senza volto
In generale, la sfocatura del ritratto ottenuta da questo nuovo iPhone SE è il limite che può essere raggiunto dall'ottimizzazione del software per i telefoni con fotocamera singola.A rigor di termini, ciò è in realtà dovuto al chip A13.Se non ha portato l'ultimo algoritmo di apprendimento automatico, iltelecameraesperienza da sola, l'esperienza di ripresa SE deve ovviamente essere la metà.
Pertanto, è ancora significativo che gli smartphone sviluppino sistemi multi-camera.Possiamo utilizzare l'ultragrandangolare per ampliare il campo visivo e possiamo fare affidamento sul teleobiettivo per ottenere foto con zoom non distruttivo.Aiuta il rilevamento della realtà aumentata, questi non sono raggiunti solo da un aggiornamento OTA o dalla macinazione di algoritmi.
Naturalmente, anche vantarsi ciecamente e competere per il numero di telecamere è fastidioso.Se l'hardware determina solo il limite inferiore dell'imaging, un insieme di algoritmi eccellenti può aumentare significativamente il limite superiore dell'imaging e persino riesprimere il valore e il valore del vecchio hardware.potenziale.
Non so se possiamo aspettare altri quattro anni.Quando uscirà la prossima generazione di iPhone SE, sarà singlecamerinohai ancora un posto nel settore della telefonia mobile?
Tempo di pubblicazione: 06-maggio-2020