Izvor: Sina Technology Synthesis
Upotreba jedne kamere za postizanje zamućene fotografije nije ništa novo, prethodnoiPhone XRi ranijeGoogle Pixel 2imali sličnih pokušaja.
Appleov novi iPhone SE je također isti, ali istikameraelement je prestar, glavna zasluga je još uvijek u algoritmu.
Iz izvještaja o rastavljanju kompanije iFixit, možemo vidjeti da su neki dijelovi u novom iPhone SE potpuno u skladu saiPhone 8, čak i do te mjere da se mogu koristiti naizmjenično - uključujući širokokutni od 12 megapikselakamera .
Praksa 'novog vina u starim bocama' nije neuobičajena za iPhone SE.Unatrag četiri godine, prva generacija iPhonea SE također je primijenila izgled 5s i veći dio hardvera, pa Apple može dati nižu cijenu.
Teoretski, kada kopirate isti hardver kamere,kamerakarakteristike ove dvije ne bi trebale biti mnogo različite.Na primjer,iPhone 8ne podržava snimanje fotografija male dubine polja sa jasnim subjektom i zamućenom pozadinom, što često nazivamo "portretnim režimom".
Ali kada pogledate Appleovu stranicu za podršku, vidjet ćete da portretni način rada nije podržan od straneiPhone 8je podržan od strane novog iPhone SE-a čak i ako su specifikacije stražnjih leća ta dva potpuno iste.
U normalnim okolnostima, snimanje zamućenih fotografija na mobilnom telefonu često treba da se radi pomoću dvostrukih kamera – baš kao i ljudske oči, mobilni telefon takođe treba da dobije dve slike pod različitim uglovima kroz dva sočiva na različitim pozicijama, a zatim kombinuje uglove prikaz Razlika procjenjuje dubinu polja kako bi se postiglo zamućenje pozadine i subjekt ostao jasan.
Plus serija na listi, ili X, XS i 11 poslednjih godina, u osnovi se oslanjaju na sisteme sa više kamera za kompletno snimanje zamućenja portreta.
Dakle, kako to rješava prednja pojedinačna kamera iPhone-a?Jezgro leži u infracrvenom matričnom projektoru u Face ID sistemu, koji takođe može dobiti dovoljno tačne podatke o dubini, što je ekvivalentno 'pomoćnom sočivu'.
Sa ove tačke gledišta, iPhone SE može da snima fotografije u portretnom režimu je veoma poseban: prvo, ne pravi više snimaka, drugo, nema Face ID, u suštini nema mogućnosti hardverske podrške.
Očigledno, Apple je napravio neke promjene koje ne možemo vidjeti na nivou softvera.
Nedavno je Ben Sandofsky, programer aplikacije za kameru treće strane Halide, otkrio tehničke principe, objašnjavajući zašto novi iPhone SE koristi iste specifikacije sa jednim sočivom kao iiPhone 8, ali može postići režim portretne fotografije koji ovaj drugi ne može.
Rekli su da će novi iPhone SE vjerovatno biti 'prvi iPhone koji može generirati efekat zamućenja portreta koristeći samo jednu 2D sliku'.
Mogli biste reći da jeiPhone XRtakođe nije zamućenje jedne kamere.Nije li SE to samo kopira?
Međutim, situacija demontaže je dokazala da jekamereiPhone SE iiPhone XRnisu dosljedne, što također dovodi do razlika u tehničkoj implementaciji ova dva.
▲Samsung Galaxy S7serija je prvi uređaj koji koristi DPAF tehnologiju na pametnom telefonukamera
Najvažnija stvar je dakameraof theiPhone XRmože koristiti dual pixel autofocus (DPAF) tehnologiju, koja mu omogućava da dobije određene podatke o dubini na osnovu hardvera.
Jednostavno rečeno, DPAF tehnologija je ekvivalentna podjeli piksela nakamerasenzor u dva manja piksela jedan pored drugog kako biste snimili dvije fotografije pod različitim uglovima, baš kao naše lijevo i desno oko.
Iako razlika uglova koju ovo proizvodi nije tako očigledna kao kod dualakamera, još uvijek je pogodan za algoritam za generiranje podataka o dubini.
▲Google Pixel 2, 3Dvije mape dispariteta dobijene korištenjem DPAF tehnologije teško su golim okom
percipiraju, ali i dalje mogu pomoći algoritmu za segmentaciju slike da donese prosudbu
ranije,Googletakođer koristi ovu tehnologiju naPixel 2, 3za postizanje zamućenja u jednom snimku.NaPixel4, budući da je kamera zamijenjena specifikacijom za više kamera, detekcija paralakse je znatno preciznija od jedne kamere.
▲ Pogledajmo podatke koje je Pixel 4 dobio pomoću dvije kamere.
Što se tiče novog iPhone SE, pošto su njegovi senzori prestari, Halide tvrdi da se ne može osloniti na senzore za dobijanje mapa dispariteta, već se u osnovi može osloniti samo na algoritam mašinskog učenja koji obezbeđuje A13 Bionic čip za simulaciju i generisanje podataka o dubini mape.
Objašnjenje jedne rečenice je da se snimanje portreta iPhone SE u potpunosti postiže softverom i algoritmima.
▲ Snimite ovu fotografiju direktno saiPhone XRi novi iPhone SE
Halid je koristioiPhone XRi novi iPhone SE za slikanje šteneta (ne pravi snimak, samo da bi se slikala 'jedna fotografija'), a zatim uporedio podatke o dubini dvije slike.
Otkrili su da jeiPhone XRsamo je uradio jednostavnu segmentaciju slike kako bi izvukao glavno tijelo, ali nije ispravno prepoznao uho šteneta.
▲ Grafikon podataka o dubini,iPhone XRlijevo, novi iPhone SE s desne strane
Ali na novom iPhone SE, s novim algoritmom koji pruža A13 čip, dobili smo mapu dubine koja je potpuno drugačija odXR.Ne samo da ispravno prepoznaje štenečeve uši i cjelokupni obris, već i vrši slojevitu obradu za različite pozadine.
Ova vrsta mape dubine nije 100% tačna.Halide je rekao da tačnost izrezivanja i zamućenja novog iPhone SE pri snimanju zamućenih fotografija bez lica nije tako precizna kao pri snimanju portreta.
Posebno u slučaju kada su neki subjekti i pozadinske slike veoma zamućeni, prednost više kamera će biti očiglednija u ovom trenutku.
▲ U ovoj vrsti teme bez lica, a subjekt i pozadina nisu jasno razdvojeni, zamućenje novog iPhone SE
lako je pogrešiti
Kao što možete vidjeti sa ove slike,iPhone 11 Proopremljen sustavom s više kamera ne samo da može u potpunosti ocrtati male biljke na trupcu, već može prepoznati udaljenost pozadine i izvršiti slojevitu obradu.
▲ Grafikon podataka o dubini,iPhone 11 Prolijevo, novi iPhone SE s desne strane
Na novom iPhone SE, uprkos istim rezultatima slojevite obrade, tema i pozadina su potpuno spojeni.Naravno, proces nakon zamućenja će prirodno biti mnogo gori od procesaiPhone 11 Pro.
▲ Stvarni zamagljeni dokazi,iPhone 11 Prolijevo i novi iPhone SE s desne strane
Zato, kada novi iPhone SE koristi svoj iOSkameraapp, samo kada se detektuje ljudsko lice, "Portrait Mode" se može omogućiti za snimanje zamućenih fotografija.U drugim slučajevima pojavit će se greška.
Razlog je još uvijek vezan za Appleov algoritam.Halide je spomenuo tehniku pod nazivom 'Efekti portreta mat' (Portrait Effects mat), koja se uglavnom koristi za pronalaženje preciznih obrisa ljudi na fotografijama u portretnom režimu, uključujući detalje kao što su linija kose na ivici, okvir naočala, itd. Subjekt i pozadina su segmentirani.
Ali trenutno je ovaj skup tehnologije segmentacije zasnovan na mašinskom učenju spremniji za "pucanje u ljude", zaista može nadoknaditi nedostatak paralakse podataka na pojedinačnimkameratelefoni kao npriPhone XRi iPhone SE, ali ako je predmet Algoritam će također napraviti grešku u prosudbi kada mijenja znakove iz drugih objekata.
Što se tiče telefona sa više kamera kao što suiPhone 11 Pro, možete dobiti podatke o paralaksi direktno putemkamerahardvera, tako da mogu koristiti i portretni način u scenama bez lica kada koriste vlastitekamera.
▲ Prednja leća novog iPhone SE takođe podržava portretni način rada, a preciznost lica je vrlo visoka,
a razlika u slici je samo u bokeh efektu
Naravno, programeri trećih strana i dalje mogu koristiti stvari koje nisu službeno podržane.Sada aplikacija Halide može podržatiiPhone XR, SE za snimanje zamućenih slika malih životinja ili drugih objekata.U stvari, također koristi Apple-ovu tehnologiju portretnih maski za dobivanje mapa dubine, a zatim dodaje vlastitu pozadinsku optimizaciju za postizanje.
▲ Koristeći aplikacije trećih strana kao što je Halide, možete koristiti novi iPhone SE za snimanje zamućenih fotografija subjekata bez lica
Općenito, zamućenje portreta postignuto ovim novim iPhoneom SE je granica koja se može postići softverskom optimizacijom za telefone s jednom kamerom.Strogo govoreći, to je zapravo zbog A13 čipa.Ako nije doneo najnoviji algoritam mašinskog učenja,kamerasamo iskustvo, iskustvo snimanja SE očito mora biti pola.
Stoga je i dalje značajno za pametne telefone da razvijaju sisteme sa više kamera.Možemo koristiti ultraširokougao da proširimo vidno polje, a možemo se osloniti na telefoto objektiv da bismo dobili fotografije sa nedestruktivnim zumom.Pomoć u otkrivanju proširene stvarnosti, to se ne postiže samo OTA nadogradnjom ili brušenjem algoritama.
Naravno, dosadno je i slijepo hvalisanje i nadmetanje za broj kamera.Ako hardver određuje samo donju granicu snimanja, tada skup odličnih algoritama može značajno podići gornju granicu snimanja, pa čak i ponovo izraziti vrijednost i vrijednost starog hardvera.potencijal.
Ne znam da li možemo da čekamo još četiri godine.Kada izađe sljedeća generacija iPhone SE, bit će singlkameraa još uvijek imaju mjesta u industriji mobilnih telefona?
Vrijeme objave: 06.05.2020