Izvor: Sina Technology Synthesis
Korištenje jedne kamere za postizanje zamućene fotografije nije ništa novo, prethodnoiPhone XRi ranijeGoogle Pixel 2imali sličnih pokušaja.
Appleov novi iPhone SE također je isti, ali svojfotoaparatelement je prestar, glavna zasluga je još uvijek u algoritmu.
▲ S lijeva na desno,fotoaparatsenzori novog iPhonea SE,iPhone 8iiPhone XR
Iz izvješća o rastavljanju tvrtke iFixit, možemo vidjeti da su neki dijelovi u novom iPhone SE u potpunosti u skladu siPhone 8, čak i do te mjere da se mogu koristiti naizmjenično - uključujući širokokutni od 12 megapikselafotoaparat .
Praksa 'novog vina u starim bocama' nije neobična za iPhone SE.Natrag unatrag četiri godine, prva generacija iPhonea SE također je primijenila izgled 5s i veći dio hardvera, pa Apple može dati nižu cijenu.
Teoretski, kada kopirate isti hardver kamere,fotoaparatkarakteristike ove dvije ne bi se trebale mnogo razlikovati.Na primjer,iPhone 8ne podržava snimanje fotografija male dubine polja s jasnim subjektom i zamućenom pozadinom, što često nazivamo "portretnim načinom".
Ali kada pogledate Appleovu stranicu podrške, vidjet ćete da portretni način rada nije podržan od straneiPhone 8podržava novi iPhone SE - čak i ako su specifikacije stražnjih leća ta dva potpuno iste.
U normalnim okolnostima, snimanje zamućenih fotografija na mobitelu često treba obavljati dvostruke kamere - baš kao i ljudske oči, mobilni telefon također treba dobiti dvije slike pod različitim kutovima kroz dva objektiva na različitim pozicijama, a zatim kombinirati kutove pogled Razlika procjenjuje dubinu polja kako bi se postiglo zamućenje pozadine i subjekt ostao jasan.
Plus serija na popisu, ili X, XS i 11 posljednjih godina, u osnovi se oslanjaju na sustave s više kamera kako bi dovršili snimanje zamućenja portreta.
Dakle, kako to rješava prednja pojedinačna kamera iPhonea?Jezgra leži u infracrvenom matričnom projektoru u Face ID sustavu, koji također može dobiti dovoljno točne podatke o dubini, što je ekvivalentno 'pomoćnoj leći'.
S ove točke gledišta, iPhone SE može snimati portretne fotografije vrlo je poseban: prvo, ne snima više snimaka, drugo, nema Face ID, u osnovi nema mogućnosti hardverske podrške.
Navodno je Apple napravio neke promjene koje ne možemo vidjeti na softverskoj razini.
Nedavno je Ben Sandofsky, programer aplikacije za kameru treće strane Halide, otkrio tehničke principe, objašnjavajući zašto novi iPhone SE koristi iste specifikacije s jednom lećom kao iiPhone 8, ali može postići portretni način fotografiranja koji potonji ne može.
Rekli su da će novi iPhone SE vjerojatno biti 'prvi iPhone koji može generirati efekt zamućenja portreta koristeći samo jednu 2D sliku'.
Mogli biste reći da jeiPhone XRtakođer nije zamućenje jedne kamere.Nije li SE to samo kopira?
Međutim, situacija demontaže je dokazala da jekamereiPhone SE iiPhone XRnisu dosljedne, što također dovodi do razlika u tehničkoj implementaciji ova dva.
▲Samsung Galaxy S7serija je prvi uređaj koji koristi DPAF tehnologiju na pametnom telefonufotoaparat
Najvažnija stvar je da sefotoaparatodiPhone XRmože koristiti dual pixel autofocus tehnologiju (DPAF) koja mu omogućuje dobivanje određenih podataka o dubini na temelju hardvera.
Jednostavno rečeno, DPAF tehnologija je ekvivalentna podjeli piksela nafotoaparatsenzor u dva manja piksela jedan pored drugog za snimanje dvije fotografije s različitim kutovima, baš kao naše lijevo i desno oko.
Iako razlika u kutu koju ovo stvara nije tako očita kao kod dualafotoaparat, još uvijek je pogodan za algoritam za generiranje podataka o dubini.
▲Google Pixel 2, 3Dvije karte dispariteta dobivene korištenjem DPAF tehnologije teško je vidjeti golim okom
percipiraju, ali još uvijek mogu pomoći algoritmu za segmentaciju slike da donese prosudbu
Prethodno,Googletakođer koristi ovu tehnologiju naPixel 2, 3za postizanje zamućenja u jednom snimku.NaPixel4, budući da je kamera zamijenjena specifikacijom s više kamera, otkrivanje paralakse je znatno točnije od jedne kamere.
▲ Pogledajmo podatke koje je Pixel 4 dobio pomoću dvije kamere.
Što se tiče novog iPhonea SE, budući da su njegovi senzori prestari, Halide tvrdi da se ne može osloniti na senzore za dobivanje mapa dispariteta, već se u osnovi može osloniti samo na algoritam strojnog učenja koji pruža A13 Bionic čip za simulaciju i generiranje podataka o dubini Karte.
Objašnjenje jedne rečenice je da se snimanje portreta iPhone SE u potpunosti postiže softverom i algoritmima.
▲ Snimite ovu fotografiju izravno siPhone XRi novi iPhone SE
Halid je koristioiPhone XRi novi iPhone SE za slikanje šteneta (ne pravi snimak, samo da bi se slikala 'jedna fotografija'), a zatim usporedio podatke o dubini dviju slika.
Otkrili su da jeiPhone XRsamo je napravio jednostavnu segmentaciju slike kako bi izvukao glavno tijelo, ali nije ispravno prepoznao uho šteneta.
▲ Grafikon podataka o dubini,iPhone XRs lijeve strane, novi iPhone SE s desne strane
Ali na novom iPhoneu SE, s novim algoritmom koji pruža A13 čip, dobili smo kartu dubine koja je potpuno drugačija odXR.Ne samo da ispravno prepoznaje uši i cjelokupni obris šteneta, već također radi slojevitu obradu za različite pozadine.
Ova vrsta karte dubine nije 100% točna.Halide je rekao da točnost izrezivanja i zamućenja novog iPhone SE pri snimanju zamućenih fotografija bez lica nije tako točna kao pri snimanju portreta.
Pogotovo u slučaju kada su neki subjekti i pozadinske slike jako zamućeni, prednost više kamera bit će očitija u ovom trenutku.
▲ U ovoj vrsti teme bez lica, a subjekt i pozadina nisu jasno odvojeni, zamućenje novog iPhone SE
lako je pogriješiti
Kao što možete vidjeti iz ove slike,iPhone 11 Proopremljen sustavom s više kamera ne samo da može u potpunosti ocrtati male biljke na trupcu, već može prepoznati udaljenost pozadine i napraviti slojevitu obradu.
▲ Grafikon podataka o dubini,iPhone 11 Pros lijeve strane, novi iPhone SE s desne strane
Na novom iPhoneu SE, unatoč istim rezultatima slojevite obrade, tema i pozadina su potpuno spojeni.Naravno, proces post-zamućenja će naravno biti mnogo gori od procesaiPhone 11 Pro.
▲ Stvarni zamagljeni dokazi,iPhone 11 Pros lijeve strane i novi iPhone SE s desne strane
Zato, kada novi iPhone SE koristi iOS-ov vlastitifotoaparatapp, samo kada se detektira ljudsko lice, "Portrait Mode" se može omogućiti za snimanje zamućenih fotografija.U drugim slučajevima pojavit će se pogreška.
Razlog je još uvijek vezan uz Appleov algoritam.Halide je spomenuo tehniku nazvanu 'Portrait Effects Matte' (Portrait Effects Matte), koja se uglavnom koristi za pronalaženje preciznih obrisa ljudi na fotografijama u portretnom načinu rada, uključujući detalje kao što su linija kose na rubu, okvir naočala itd. Subjekt i pozadina segmentirani su.
Ali trenutno je ovaj skup tehnologije segmentacije zasnovan na strojnom učenju spremniji za "pucanje u ljude", doista može nadoknaditi nedostatak paralakse podataka na pojedinačnimfotoaparattelefoni kao npriPhone XRi iPhone SE, ali ako je predmet Algoritam će također napraviti pogrešku u prosudbi prilikom promjene znakova iz drugih objekata.
Što se tiče telefona s više kamera poputiPhone 11 Pro, podatke o paralaksi možete dobiti izravno putemfotoaparathardvera, tako da također mogu koristiti portretni način rada u scenama bez lica kada koriste vlastitefotoaparat.
▲ Prednja leća novog iPhone SE također podržava portretni način rada, a preciznost lica je vrlo visoka,
a slikovna razlika je samo u bokeh efektu
Naravno, programeri treće strane i dalje mogu koristiti stvari koje nisu službeno podržane.Sada aplikacija Halide može podržatiiPhone XR, SE za snimanje zamućenih slika malih životinja ili drugih objekata.Zapravo, također koristi Appleovu tehnologiju portretnih maski za dobivanje karata dubine, a zatim dodaje vlastitu pozadinsku optimizaciju za postizanje.
▲ Koristeći aplikacije trećih strana kao što je Halide, možete koristiti novi iPhone SE za snimanje zamućenih fotografija subjekata bez lica
Općenito, zamućenje portreta postignuto ovim novim iPhoneom SE je granica koja se može postići softverskom optimizacijom za telefone s jednom kamerom.Strogo govoreći, to je zapravo zbog A13 čipa.Ako nije donio najnoviji algoritam strojnog učenja,fotoaparatsamo iskustvo, SE gađačko iskustvo očito mora biti pola.
Stoga je za pametne telefone još uvijek važno razvijati sustave s više kamera.Možemo koristiti ultraširoki kut za proširenje vidnog polja, a možemo se osloniti na teleobjektiv za dobivanje nedestruktivnih zoom fotografija.Pomoć u otkrivanju proširene stvarnosti, to se ne postiže samo OTA nadogradnjom ili brušenjem algoritama.
Naravno, neugodno je i slijepo hvalisanje i natjecanje u broju kamera.Ako hardver određuje samo donju granicu snimanja, tada skup izvrsnih algoritama može značajno podići gornju granicu snimanja, pa čak i ponovno izraziti vrijednost i vrijednost starog hardvera.potencijal.
Ne znam možemo li čekati još četiri godine.Kada izađe sljedeća generacija iPhonea SE, bit će singlkameraa još uvijek imaju mjesta u industriji mobilnih telefona?
Vrijeme objave: 06.05.2020