Har en fråga?Ring oss:+86 13660586769

Suddiga bilder kan också tas i en enda bild.Hur gör den nya iPhone SE det?

Källa: Sina Technology Synthesis

Användningen av en enda kamera för att uppnå suddig fotografering är inget nytt, det tidigareiPhone XRoch tidigareGoogle Pixel 2har haft liknande försök.

Apples nya iPhone SE är också densamma, men desskameraelementet är för gammalt, huvudkrediten finns fortfarande i algoritmen.

1

▲ Från vänster till höger, denkamerasensorer för den nya iPhone SE,iPhone 8ochiPhone XR

Från demonteringsrapporten för iFixit kan vi se att vissa delar i den nya iPhone SE är helt överensstämmande mediPhone 8, även i den mån de kan användas omväxlande - inklusive vidvinkeln på 12 megapixlarkamera .

Användningen av "nytt vin på gamla flaskor" är inte ovanligt för iPhone SE.Tillbaka till fyra år sedan använde den första generationens iPhone SE också utseendet på 5s och det mesta av hårdvaran, så Apple kan ge ett lägre pris.

Teoretiskt, när du kopierar samma kamerahårdvara,kameraegenskaperna hos de två bör inte vara mycket olika.Till exempel,iPhone 8stöder inte att ta små skärpedjupsbilder med ett tydligt motiv och en suddig bakgrund, vilket är vad vi ofta kallar "porträttläget".

2

Men när du tittar på Apples supportsida kommer du att upptäcka att porträttläget som inte stöds aviPhone 8stöds av den nya iPhone SE-även om de bakre linsspecifikationerna för de två är exakt desamma.

3

Under normala omständigheter måste det ofta göras suddiga bilder på en mobiltelefon med dubbla kameror – precis som mänskliga ögon måste mobiltelefonen också ta två bilder i olika vinklar genom två linser i olika positioner och sedan kombinera vinklarna på view Skillnaden uppskattar skärpedjupet för att uppnå bakgrundsoskärpa och hålla motivet klart.

Plus-serien på listan, eller X, XS och 11 under de senaste åren, förlitar sig i princip på multikamerasystem för att göra porträttoskärpa.

Så hur löser iPhones främre singelkamera?Kärnan ligger i den infraröda punktmatrisprojektorn i Face ID-systemet, som också kan få tillräckligt exakta djupdata, vilket motsvarar en "extra lins".

4

Ur denna synvinkel kan iPhone SE ta bilder i porträttläge är mycket speciell: för det första tar den inte flera bilder, för det andra har den inte Face ID, det finns i princip ingen möjlighet till hårdvarustöd.

Uppenbarligen har Apple gjort några ändringar som vi inte kan se på mjukvarunivå.

Nyligen avslöjade Ben Sandofsky, utvecklaren av tredjepartskameraapplikationen Halide, de tekniska principerna och förklarade varför den nya iPhone SE använder samma enlinsspecifikationer somiPhone 8, men det kan uppnå det porträttfotoläge som det senare inte kan.

De sa att den nya iPhone SE sannolikt kommer att vara "den första iPhone som kan generera en porträttsuddareffekt med bara en enda 2D-bild".

Man kan säga attiPhone XRär inte heller en enkameraoskärpa.Kopierar inte SE bara det?

Demonteringssituationen har dock visat attkamerorav iPhone SE ochiPhone XRär inte konsekventa, vilket också leder till skillnader i den tekniska implementeringen av de två.

5

Samsung Galaxy S7serien är den första enheten som använder DPAF-teknik på smartphonekamera

Den viktigaste punkten är attkameraaviPhone XRkan använda dual pixel autofocus (DPAF)-teknik, vilket gör att den kan erhålla viss djupdata baserat på hårdvara.

Enkelt uttryckt motsvarar DPAF-tekniken att dela pixeln påkamerasensor till två mindre sida vid sida pixlar för att ta två foton med olika vinklar, precis som våra vänstra och högra ögon.

Även om vinkelskillnaden som skapas av detta inte är lika uppenbar som den för dubbelkamera, är det fortfarande gynnsamt för algoritmen att generera djupdata.

6

Google Pixel 2, 3Två olikhetskartor erhållna med DPAF-teknik är svåra för blotta ögat
uppfatta, men kan fortfarande hjälpa bildsegmenteringsalgoritmen att göra bedömningar

Tidigare,Googleanvände också denna teknik påPixel 2, 3för att uppnå enbildsoskärpa.PåPixel4, eftersom kameran ersätts av en flerkameraspecifikation är parallaxdetektering betydligt mer exakt än en kamera.

7

▲ Låt oss ta en titt på data som erhålls av Pixel 4 med två kameror.

När det gäller den nya iPhone SE, eftersom dess sensorer är för gamla, hävdar Halide att den inte kan lita på sensorerna för att erhålla olikhetskartor, och i princip bara kan lita på maskininlärningsalgoritmen som tillhandahålls av A13 Bionic-chippet för att simulera och generera djupdata Kartor.

En meningsförklaring är att iPhone SE-porträttoskärpa helt och hållet uppnås med mjukvara och algoritmer.

8

▲ Ta det här fotot direkt mediPhone XRoch nya iPhone SE

Halide användeiPhone XRoch den nya iPhone SE för att ta en bild av valpen (inte en riktig bild, bara för att ta en bild av "ett foto") och sedan jämföra djupdata för de två bilderna.

De fann attiPhone XRgjorde bara en enkel bildsegmentering för att dra ut huvudkroppen, men kände inte igen valpens öra korrekt.

9

▲ Djupdatagraf,iPhone XRtill vänster, nya iPhone SE till höger

Men på nya iPhone SE, med den nya algoritmen från A13-chippet, fick vi en djupkarta som är helt annorlunda änXR.Den känner inte bara igen valpens öron och övergripande kontur på rätt sätt, utan gör också skiktad bearbetning för olika bakgrunder.

Den här typen av djupkarta är inte 100 % korrekt.Halide sa att noggrannheten i utskärningen och suddningen av den nya iPhone SE när man tar suddiga bilder utan ansikte inte är lika exakt som när man tar porträtt.

Särskilt i de fall där vissa motiv och bakgrundsbilder är mycket suddiga, kommer fördelen med flera kameror att vara mer uppenbar vid denna tidpunkt.

10

▲ I den här typen av icke-ansiktstema, och motivet och bakgrunden inte är tydligt åtskilda, är oskärpan i den nya iPhone SE
är lätt att göra misstag

Som du kan se på den här bilden äriPhone 11 Proutrustad med ett multi-kamera system kan inte bara helt beskriva de små växterna på loggen, men också kan känna igen avståndet till bakgrunden och göra lager bearbetning.

11

▲ Djupdatagraf,iPhone 11 Protill vänster, nya iPhone SE till höger

På nya iPhone SE, trots samma resultat av skiktad bearbetning, har motivet och bakgrunden smälts samman helt.Naturligtvis kommer processen efter suddighet att vara mycket värre äniPhone 11 Pro.

12

▲ De faktiska suddiga bevisen,iPhone 11 Protill vänster och den nya iPhone SE till höger

Det är därför, när den nya iPhone SE använder iOSs egnakameraapp, endast när ett mänskligt ansikte upptäcks, kan "Porträttläge" aktiveras för att ta suddiga bilder.I andra fall visas ett fel.

13

Anledningen är fortfarande relaterad till Apples algoritm.Halide nämnde en teknik som kallas "Porträtteffekter Matte" (Porträtteffekter Matte), som främst används för att hitta de exakta konturerna av människor i porträttfoton, inklusive detaljer som hårfäste på kanten, glasögonbåge etc. Motivet och bakgrunden är segmenterade.

Men för närvarande är denna uppsättning segmenteringsteknologi baserad på maskininlärning mer förberedd för att "skjuta människor", den kan verkligen kompensera för bristen på parallaxdata på singelkameratelefoner som t.exiPhone XRoch iPhone SE, men om ämnet Algoritmen kommer också att göra ett bedömningsfel när man byter tecken från andra objekt.

När det gäller telefoner med flera kamera somiPhone 11 Pro, kan du få parallaxdata direkt genomkamerahårdvara, så att de också kan använda porträttläget i scener utan ansikte när de använder sina egnakamera.

14

▲ Den främre linsen på nya iPhone SE stöder också porträttläget, och precisionen i ansiktet är mycket hög,
och bildskillnaden är bara i bokeh-effekten

Naturligtvis kan tredjepartsutvecklare fortfarande använda saker som inte stöds officiellt.Nu kan Halide-appen stödjaiPhone XR, SE för att ta suddiga bilder av små djur eller andra föremål.Faktum är att den också använder Apples porträttmaskteknik för att erhålla djupkartor och sedan lägga till sin egen back-end-optimering för att uppnå.

15

▲ Med appar från tredje part som Halide kan du använda den nya iPhone SE för att ta suddiga bilder av motiv som inte är ansikte

I allmänhet är porträttoskärpan som uppnås med denna nya iPhone SE gränsen som kan uppnås genom mjukvaruoptimering för enkameratelefoner.Strängt taget beror detta faktiskt på A13-chippet.Om den inte tog med den senaste maskininlärningsalgoritmen,kamerabara erfarenhet, SE-skytteupplevelsen måste uppenbarligen vara en halv.

Därför är det fortfarande meningsfullt för smartphones att utveckla system med flera kameror.Vi kan använda ultravidvinkel för att vidga synfältet, och vi kan lita på teleobjektivet för att få oförstörande zoombilder.Hjälp med augmented reality-detektion, dessa uppnås inte bara genom en OTA-uppgradering eller slipning av algoritmer.

16

Att blint skryta och tävla om antalet kameror är förstås också irriterande.Om hårdvaran bara bestämmer den nedre gränsen för bildbehandling, kan en uppsättning utmärkta algoritmer höja den övre gränsen för bildbehandling avsevärt och till och med återuttrycka värdet och värdet av gammal hårdvara.potential.

Jag vet inte om vi kan vänta fyra år till.När nästa generation av iPhone SE kommer ut, kommer singelkamerahar du fortfarande en plats i mobiltelefonbranschen?


Posttid: maj-06-2020