Sursa: Sina Technology Synthesis
Utilizarea unei singure camere pentru a realiza o fotografie neclară nu este nimic nou, anterioriPhone XRsi mai devremeGoogle Pixel 2au avut încercări similare.
Noul iPhone SE de la Apple este, de asemenea, același, dar esteaparat fotoelementul este prea vechi, creditul principal este încă în algoritm.
▲ De la stânga la dreapta,aparat fotosenzorii noului iPhone SE,iPhone 8șiiPhone XR
Din raportul de dezasamblare al iFixit, putem observa că unele piese din noul iPhone SE sunt complet în concordanță cuiPhone 8, chiar și în măsura în care pot fi folosite interschimbabil - inclusiv unghiul larg de 12 megapixeliaparat foto .
Practica „vin nou în sticle vechi” nu este neobișnuită pentru iPhone SE.Înapoi la patru ani în urmă, iPhone SE de prima generație a aplicat și aspectul de 5s și cea mai mare parte a hardware-ului, astfel încât Apple poate oferi un preț mai mic.
Teoretic, atunci când copiați același hardware al camerei,aparat fotocaracteristicile celor doi nu ar trebui să fie mult diferite.De exemplu,iPhone 8nu acceptă realizarea de fotografii cu adâncime mică de câmp cu un subiect clar și un fundal neclar, ceea ce numim adesea „modul portret”.
Dar când te uiți la pagina de asistență Apple, vei descoperi că modul portret nu este acceptat deiPhone 8este suportat de noul iPhone SE-chiar dacă specificațiile lentilelor din spate ale celor doi sunt exact aceleași.
În circumstanțe normale, fotografia încețoșată pe un telefon mobil trebuie adesea făcută cu camere duble - la fel ca ochii umani, telefonul mobil trebuie să obțină două imagini în unghiuri diferite prin două lentile în poziții diferite și apoi să combine unghiurile de vizualizare Diferența estimează profunzimea câmpului pentru a obține neclaritatea fundalului și a menține subiectul clar.
Seria Plus de pe listă, sau X, XS și 11 din ultimii ani, se bazează practic pe sisteme cu mai multe camere pentru a finaliza fotografierea în blur portret.
Deci, cum se rezolvă camera frontală unică a iPhone-ului?Miezul se află în proiectorul cu matrice de puncte în infraroșu din sistemul Face ID, care poate obține și date de adâncime suficient de precise, ceea ce este echivalent cu o „lentila auxiliară”.
Din acest punct de vedere, iPhone SE poate face fotografii în modul portret este foarte special: în primul rând, nu face mai multe fotografii, în al doilea rând, nu are Face ID, practic nu există nicio posibilitate de suport hardware.
Aparent, Apple a făcut unele modificări pe care nu le putem vedea la nivel de software.
Recent, Ben Sandofsky, dezvoltatorul aplicației de cameră terță parte Halide, a dezvăluit principiile tehnice, explicând de ce noul iPhone SE folosește aceleași specificații pentru un singur obiectiv ca șiiPhone 8, dar poate realiza modul foto portret pe care acesta din urmă nu poate .
Ei au spus că noul iPhone SE este probabil „primul iPhone care poate genera un efect de estompare portret folosind doar o singură imagine 2D”.
Ai putea spune căiPhone XRDe asemenea, nu este o neclaritate cu o singură cameră.Nu SE doar o copiază?
Situația de dezmembrare a dovedit însă căcamere de luat vederide iPhone SE șiiPhone XRnu sunt consecvente, ceea ce duce și la diferențe în implementarea tehnică a celor două.
▲Samsung Galaxy S7seria este primul dispozitiv care folosește tehnologia DPAF pe smartphoneaparat foto
Cel mai important punct este căaparat fotoaliPhone XRpoate folosi tehnologia dual pixel autofocus (DPAF), care îi permite să obțină anumite date de adâncime bazate pe hardware.
În termeni simpli, tehnologia DPAF este echivalentă cu împărțirea pixelului peaparat fotosenzor în doi pixeli alăturați mai mici pentru a captura două fotografii cu unghiuri diferite, la fel ca ochii noștri stângi și drepti.
Deși diferența de unghi produsă de aceasta nu este la fel de evidentă ca cea a dualuluiaparat foto, este încă favorabil algoritmului de a genera date de profunzime.
▲Google Pixel 2, 3Două hărți de disparitate obținute folosind tehnologia DPAF sunt dificil de realizat cu ochiul liber
percepe, dar poate ajuta în continuare algoritmul de segmentare a imaginii să emită judecăți
Anterior,Googlea folosit și această tehnologie pePixel 2, 3pentru a obține neclaritatea dintr-o singură fotografie.PePixel4, deoarece camera este înlocuită cu o specificație cu mai multe camere, detectarea paralaxei este semnificativ mai precisă decât o singură cameră.
▲ Să aruncăm o privire asupra datelor obținute de Pixel 4 folosind două camere.
În ceea ce privește noul iPhone SE, deoarece senzorii săi sunt prea vechi, Halide susține că nu se poate baza pe senzori pentru a obține hărți de disparitate și, practic, se poate baza doar pe algoritmul de învățare automată furnizat de cipul A13 Bionic pentru a simula și genera date de profunzime. hărți.
O explicație de propoziție este că fotografierea neclară portret iPhone SE este realizată în întregime prin software și algoritmi.
▲ Faceți această fotografie direct cuiPhone XRși noul iPhone SE
Halide a folositiPhone XRși noul iPhone SE pentru a face o poză cățelului (nu o fotografie reală, doar pentru a face o poză cu „o fotografie”) și apoi a comparat datele de profunzime ale celor două poze.
Au descoperit căiPhone XRtocmai a făcut o simplă segmentare a imaginii pentru a scoate corpul principal, dar nu a recunoscut corect urechea cățelușului.
▲ Graficul de date de adâncime,iPhone XRîn stânga, noul iPhone SE în dreapta
Dar pe noul iPhone SE, cu noul algoritm oferit de cipul A13, avem o hartă de adâncime care este complet diferită deXR.Nu numai că recunoaște corect urechile cățelușului și conturul general, dar face și procesări stratificate pentru diferite fundaluri.
Acest tip de hartă de adâncime nu este 100% precisă.Halide a spus că acuratețea decupării și estompării noului iPhone SE atunci când fotografiați fotografii neclare fără față nu este la fel de precisă ca atunci când faceți portrete.
Mai ales în cazul în care unele subiecte și imagini de fundal sunt foarte neclare, avantajul camerelor multiple va fi mai evident în acest moment.
▲ În acest tip de temă non-față, iar subiectul și fundalul nu sunt clar separate, neclaritatea noului iPhone SE
este ușor să faci greșeli
După cum puteți vedea din această imagine,iPhone 11 Proechipat cu un sistem cu mai multe camere nu numai că poate contura complet plantele mici de pe buștean, dar poate recunoaște distanța de fundal și poate face procesare în straturi.
▲ Graficul de date de adâncime,iPhone 11 Proîn stânga, noul iPhone SE în dreapta
Pe noul iPhone SE, în ciuda acelorași rezultate ale procesării stratificate, subiectul și fundalul au fost complet îmbinate.În mod firesc, procesul de post-încețoșare va fi în mod natural mult mai rău decât celiPhone 11 Pro.
▲ Dovezile neclare reale,iPhone 11 Proîn stânga și noul iPhone SE în dreapta
De aceea, când noul iPhone SE îl folosește pe cel al lui iOSaparat fotoaplicația, numai atunci când este detectată o față umană, „Modul Portret” poate fi activat pentru a face fotografii neclare.În alte cazuri, va apărea o eroare.
Motivul este încă legat de algoritmul Apple.Halide a menționat o tehnică numită „Portrait Effects Matte” (Portrait Effects Matte), care este folosită în principal pentru a găsi conturul precis al oamenilor în fotografiile în modul portret, inclusiv detalii precum linia părului pe margine, rama ochelarilor etc. Subiectul și fundalul sunt segmentate.
Dar în prezent, acest set de tehnologie de segmentare bazată pe învățarea automată este mai pregătit pentru „împușcarea oamenilor”, poate compensa într-adevăr lipsa datelor de paralaxă pe un singuraparat fototelefoane precumiPhone XRși iPhone SE, dar dacă subiectul Algoritmul va face și o eroare de judecată la schimbarea caracterelor din alte obiecte.
Cât despre telefoanele cu mai multe camere, cum ar fiiPhone 11 Pro, puteți obține date de paralaxă direct prin intermediulaparat fotohardware, astfel încât ei să poată folosi și modul portret în scenele fără fețe atunci când îl folosesc pe al loraparat foto.
▲ Lentila frontală a noului iPhone SE acceptă și modul portret, iar precizia feței este foarte mare,
iar diferența de imagine este doar în efectul bokeh
Desigur, dezvoltatorii terți pot folosi în continuare lucruri care nu sunt acceptate oficial.Acum, aplicația Halide poate suportaiPhone XR, SE pentru a face fotografii neclare ale animalelor mici sau ale altor obiecte.De fapt, folosește, de asemenea, tehnologia Apple de mască portret pentru a obține hărți de adâncime, apoi adaugă propria optimizare back-end pentru a realiza.
▲ Folosind aplicații terțe precum Halide, puteți folosi noul iPhone SE pentru a face fotografii neclare ale subiecților fără față
În general, estomparea portretului realizată de acest nou iPhone SE este limita care poate fi atinsă prin optimizarea software pentru telefoanele cu o singură cameră.Strict vorbind, acest lucru se datorează de fapt cipul A13.Dacă nu a adus cel mai recent algoritm de învățare automată,aparat fotoDoar experiența, experiența de fotografiere SE trebuie să fie, evident, la jumătate.
Prin urmare, este încă semnificativ pentru smartphone-uri să dezvolte sisteme cu mai multe camere.Putem folosi unghiul ultra-larg pentru a lărgi câmpul vizual și ne putem baza pe teleobiectiv pentru a obține fotografii cu zoom nedistructiv.Detectarea realității augmentate ajută, acestea nu sunt obținute doar printr-o actualizare OTA sau prin măcinarea algoritmilor.
Desigur, a te lăuda orbește și a concura pentru numărul de camere este de asemenea enervant.Dacă hardware-ul determină doar limita inferioară a imaginii, atunci un set de algoritmi excelenți poate crește semnificativ limita superioară a imaginii și chiar poate re-exprima valoarea și valoarea hardware-ului vechi.potenţial.
Nu știu dacă mai putem aștepta încă patru ani.Când va apărea următoarea generație de iPhone SE, va fi singlecameraai încă un loc în industria telefoanelor mobile?
Ora postării: mai-06-2020