Pinagmulan: Sina Technology Synthesis
Ang paggamit ng iisang camera para makamit ang blur na photography ay hindi na bago, ang naunaiPhone XRat kaninaGoogle Pixel 2ay nagkaroon ng katulad na mga pagtatangka.
Ang bagong iPhone SE ng Apple ay pareho din, ngunit itocameraAng elemento ay masyadong luma, ang pangunahing kredito ay nasa algorithm pa rin.
Mula sa ulat ng disassembly ng iFixit, makikita natin na ang ilang bahagi sa bagong iPhone SE ay ganap na naaayon saiPhone 8, kahit na sa lawak na magagamit ang mga ito nang palitan-kabilang ang 12-megapixel wide-anglecamera .
Ang pagsasanay ng 'bagong alak sa mga lumang bote' ay hindi karaniwan para sa iPhone SE.Bumalik sa apat na taon na ang nakalilipas, ang unang henerasyon ng iPhone SE ay inilapat din ang hitsura ng 5s at karamihan sa hardware, kaya ang Apple ay maaaring magbigay ng mas mababang presyo.
Theoretically, kapag kinokopya ang parehong hardware ng camera, angcamerahindi dapat magkaiba ang mga katangian ng dalawa.Halimbawa,iPhone 8ay hindi sumusuporta sa pagkuha ng maliit na depth ng mga larawan sa field na may malinaw na paksa at isang malabong background, na madalas nating tinatawag na "portrait mode".
Ngunit kapag tiningnan mo ang pahina ng suporta ng Apple, makikita mo na ang portrait mode na hindi sinusuportahan ngiPhone 8ay suportado ng bagong iPhone SE-kahit na ang mga pagtutukoy ng rear lens ng dalawa ay eksaktong pareho.
Sa ilalim ng normal na mga pangyayari, ang pagkuha ng mga malabong larawan sa isang mobile phone ay kadalasang kailangang gawin ng mga dual camera-tulad ng mga mata ng tao, ang mobile phone ay kailangan ding kumuha ng dalawang larawan sa magkaibang anggulo sa pamamagitan ng dalawang lens sa magkaibang posisyon, at pagkatapos ay pagsamahin ang mga anggulo ng view Tinatantya ng pagkakaiba ang lalim ng field upang makamit ang blur sa background at panatilihing malinaw ang paksa.
Ang serye ng Plus sa listahan, o ang X, XS, at 11 sa mga nakaraang taon, ay karaniwang umaasa sa mga multi-camera system upang makumpleto ang portrait blur shooting.
Kaya paano nareresolba ang front single camera ng iPhone?Ang core ay nasa infrared dot matrix projector sa Face ID system, na maaari ding makakuha ng sapat na tumpak na depth data, na katumbas ng isang 'auxiliary lens'.
Mula sa puntong ito ng view, ang iPhone SE ay maaaring kumuha ng portrait mode na mga larawan ay napaka-espesyal: una, hindi ito kumukuha ng maramihang mga pag-shot, pangalawa, wala itong Face ID, karaniwang walang posibilidad ng suporta sa hardware.
Tila, ang Apple ay gumawa ng ilang mga pagbabago na hindi natin nakikita sa antas ng software.
Kamakailan, si Ben Sandofsky, ang developer ng third-party na camera application na Halide, ay nagpahayag ng mga teknikal na prinsipyo, na nagpapaliwanag kung bakit ang bagong iPhone SE ay gumagamit ng parehong mga detalye ng single-lens gaya ngiPhone 8, ngunit makakamit nito ang portrait na mode ng larawan na hindi nagagawa ng huli.
Sinabi nila na ang bagong iPhone SE ay malamang na 'ang unang iPhone na maaaring makabuo ng isang portrait blur effect gamit lamang ang isang solong 2D na imahe'.
Maaari mong sabihin na angiPhone XRay hindi rin isang single-camera blur.Hindi ba kinokopya lang ni n SE?
Gayunpaman, ang sitwasyon ng pagtatanggal-tanggal ay pinatunayan na angmga camerang iPhone SE atiPhone XRay hindi pare-pareho, na humahantong din sa mga pagkakaiba sa teknikal na pagpapatupad ng dalawa.
▲Samsung Galaxy S7series ay ang unang device na gumagamit ng DPAF technology sa smartphonecamera
Ang pinakamahalagang punto ay angcamerangiPhone XRmaaaring gumamit ng teknolohiyang dual pixel autofocus (DPAF), na nagbibigay-daan dito na makakuha ng ilang partikular na depth data batay sa hardware.
Sa madaling salita, ang teknolohiya ng DPAF ay katumbas ng paghahati ng pixel sacamerasensor sa dalawang mas maliit na side-by-side na pixel para kumuha ng dalawang larawan na may magkaibang anggulo, tulad ng ating kaliwa at kanang mata.
Kahit na ang pagkakaiba ng anggulo na ginawa nito ay hindi kasing halata ng dalawahancamera, nakakatulong pa rin ito sa algorithm upang makabuo ng depth data.
▲Google Pixel 2, 3Dalawang disparity na mapa na nakuha gamit ang teknolohiya ng DPAF ay mahirap para sa mata
perceive, ngunit makakatulong pa rin sa image segmentation algorithm na gumawa ng mga paghatol
dati,Googleginamit din ang teknolohiyang ito saPixel 2, 3upang makamit ang single-shot blur.SaPixel4, dahil ang camera ay pinalitan ng isang multi-camera na detalye, parallax detection ay makabuluhang mas tumpak kaysa sa single-camera.
▲ Tingnan natin ang data na nakuha ng Pixel 4 gamit ang dalawang camera.
Tulad ng para sa bagong iPhone SE, dahil ang mga sensor nito ay masyadong luma, sinabi ni Halide na hindi ito maaaring umasa sa mga sensor upang makakuha ng mga disparity na mapa, at karaniwang maaari lamang umasa sa machine learning algorithm na ibinigay ng A13 Bionic chip upang gayahin at makabuo ng depth data. mga mapa.
Ang isang paliwanag ng pangungusap ay ang iPhone SE portrait blur shooting ay ganap na nakakamit sa pamamagitan ng software at mga algorithm.
▲ Kunan ang larawang ito nang direkta gamit angiPhone XRat bagong iPhone SE
Ginamit ni Halide angiPhone XRat ang bagong iPhone SE para kumuha ng larawan ng tuta (hindi isang tunay na kuha, para lang kumuha ng larawan ng 'isang larawan'), at pagkatapos ay ikumpara ang depth data ng dalawang larawan.
Natagpuan nila na angiPhone XRgumawa lamang ng isang simpleng segmentation ng imahe upang bunutin ang pangunahing katawan, ngunit hindi nakilala nang tama ang tainga ng tuta.
▲ Depth data graph,iPhone XRsa kaliwa, bagong iPhone SE sa kanan
Ngunit sa bagong iPhone SE, kasama ang bagong algorithm na ibinigay ng A13 chip, nakakuha kami ng malalim na mapa na ganap na naiiba saXR.Hindi lamang nito nakikilala nang tama ang mga tainga at pangkalahatang balangkas ng tuta, ngunit ginagawa rin ang layered na pagproseso para sa iba't ibang background.
Ang ganitong uri ng depth map ay hindi 100% tumpak.Sinabi ni Halide na ang katumpakan ng pag-cutout at pag-blur ng bagong iPhone SE kapag kumukuha ng mga hindi nakaharap na blur na mga larawan ay hindi kasing-tumpak kapag kumukuha ng mga portrait.
Lalo na sa kaso kung saan ang ilang mga paksa at mga larawan sa background ay masyadong malabo, ang bentahe ng maraming mga camera ay magiging mas malinaw sa oras na ito.
▲ Sa ganitong uri ng tema na hindi mukha, at ang paksa at background ay hindi malinaw na pinaghihiwalay, ang blur ng bagong iPhone SE
madaling magkamali
Tulad ng makikita mo mula sa larawang ito, angiPhone 11 Pronilagyan ng isang multi-camera system ay hindi lamang ganap na nakabalangkas sa mga maliliit na halaman sa log, ngunit maaari ring makilala ang distansya ng background at gumawa ng layered processing.
▲ Depth data graph,iPhone 11 Prosa kaliwa, bagong iPhone SE sa kanan
Sa bagong iPhone SE, sa kabila ng parehong mga resulta ng layered processing, ang paksa at background ay ganap na pinagsama-sama.Naturally, ang proseso ng post-blurring ay natural na mas malala kaysa saiPhone 11 Pro.
▲ Ang aktwal na malabong patunay,iPhone 11 Prosa kaliwa at ang bagong iPhone SE sa kanan
Kaya naman, kapag ang bagong iPhone SE ay gumagamit ng sariling iOScameraapp, kapag may nakitang mukha ng tao, maaaring paganahin ang "Portrait Mode" na kumuha ng mga malabong larawan.Sa ibang mga kaso, may lalabas na error.
Ang dahilan ay nauugnay pa rin sa algorithm ng Apple.Binanggit ni Halide ang isang pamamaraan na tinatawag na 'Portrait Effects Matte' (Portrait Effects Matte), na pangunahing ginagamit upang mahanap ang tumpak na outline ng mga tao sa portrait mode na mga larawan, kabilang ang mga detalye gaya ng hairline sa gilid, frame ng salamin, atbp. Ang paksa at background ay naka-segment.
Ngunit sa kasalukuyan, ang hanay ng teknolohiyang ito ng segmentasyon batay sa machine learning ay mas handa para sa "pagbaril ng mga tao", maaari talaga nitong mapunan ang kakulangan ng paralaks na data sa solongcameramga telepono tulad ngiPhone XRat iPhone SE, ngunit kung ang paksa Ang algorithm ay gagawa din ng error sa paghuhusga kapag nagpapalit ng mga character mula sa iba pang mga bagay.
Tulad ng para sa mga multi-camera phone tulad ngiPhone 11 Pro, maaari kang makakuha ng paralaks na data nang direkta sa pamamagitan ngcamerahardware, para magamit din nila ang portrait mode sa mga hindi mukha na eksena kapag gumagamit ng sarili nilacamera.
▲ Sinusuportahan din ng front lens ng bagong iPhone SE ang portrait mode, at ang katumpakan ng mukha ay napakataas,
at ang pagkakaiba ng imaging ay nasa bokeh effect lamang
Siyempre, magagamit pa rin ng mga third-party na developer ang mga bagay na hindi opisyal na sinusuportahan.Ngayon ay maaaring suportahan ng Halide appiPhone XR, SE para kumuha ng malabong larawan ng maliliit na hayop o iba pang bagay.Sa katunayan, ginagamit din nito ang teknolohiya ng portrait mask ng Apple upang makakuha ng mga malalim na mapa, at pagkatapos ay magdagdag ng sarili nitong back-end na pag-optimize upang makamit.
▲ Gamit ang mga third-party na app tulad ng Halide, maaari mong gamitin ang bagong iPhone SE para kumuha ng mga blur na larawan ng mga hindi mukha na paksa
Sa pangkalahatan, ang portrait blur na natamo ng bagong iPhone SE na ito ay ang limitasyon na maaaring maabot ng software optimization para sa mga single-camera phone.Sa mahigpit na pagsasalita, ito ay talagang dahil sa A13 chip.Kung hindi ito nagdala ng pinakabagong machine learning algorithm, angcameramag-isa, ang karanasan sa pagbaril sa SE ay malinaw na dapat kalahati.
Samakatuwid, makabuluhan pa rin para sa mga smartphone na bumuo ng mga multi-camera system.Maaari tayong gumamit ng ultra-wide angle para palawakin ang field of view, at maaari tayong umasa sa telephoto lens para makakuha ng hindi mapanirang zoom na mga larawan.Tulong sa pag-detect ng augmented reality, ang mga ito ay hindi lamang nakakamit sa pamamagitan ng pag-upgrade ng OTA, o ang paggiling ng mga algorithm.
Siyempre, nakakainis din ang bulag na pagyayabang at pakikipagkumpitensya sa dami ng camera.Kung tinutukoy lamang ng hardware ang mas mababang limitasyon ng imaging, ang isang set ng mahuhusay na algorithm ay maaaring makabuluhang taasan ang itaas na limitasyon ng imaging, at kahit na muling ipahayag ang halaga at halaga ng lumang hardware.potensyal.
Hindi ko alam kung kaya pa nating maghintay ng apat na taon.Kapag ang susunod na henerasyon ng iPhone SE ay lumabas, ay singlecamerMayroon pa bang lugar sa industriya ng mobile phone?
Oras ng post: May-06-2020