Bron: Sina Technology Synthesis
Het gebruik van een enkele camera om wazige fotografie te bereiken is niets nieuws, de vorigeiPhone XRen eerderGoogle Pixel 2soortgelijke pogingen hebben gedaan.
Apple's nieuwe iPhone SE is ook hetzelfde, maar het iscameraelement te oud is, zit het belangrijkste krediet nog in het algoritme.
Uit het demontagerapport van iFixit kunnen we opmaken dat sommige onderdelen in de nieuwe iPhone SE volledig in overeenstemming zijn met deiPhone 8, zelfs voor zover ze onderling uitwisselbaar zijn - inclusief de groothoeklens van 12 megapixelscamera .
De praktijk van 'nieuwe wijn in oude zakken' is niet ongebruikelijk voor de iPhone SE.Terug naar vier jaar geleden paste de eerste generatie iPhone SE ook het uiterlijk van 5s en de meeste hardware toe, waardoor Apple een lagere prijs kan geven.
Theoretisch, bij het kopiëren van dezelfde camerahardware,camerakenmerken van de twee zouden niet veel anders moeten zijn.Bijvoorbeeld,iPhone 8ondersteunt geen foto's met kleine scherptediepte met een duidelijk onderwerp en een onscherpe achtergrond, wat we vaak de "portretmodus" noemen.
Maar als je naar de ondersteuningspagina van Apple kijkt, zul je zien dat de portretmodus die niet wordt ondersteund door deiPhone 8wordt ondersteund door de nieuwe iPhone SE, zelfs als de specificaties van de twee achterste lens precies hetzelfde zijn.
Onder normale omstandigheden moet het maken van wazige foto's op een mobiele telefoon vaak worden gedaan met dubbele camera's - net als met menselijke ogen moet de mobiele telefoon ook twee afbeeldingen onder verschillende hoeken verkrijgen door twee lenzen op verschillende posities, en vervolgens de hoeken van weergave Het verschil schat de scherptediepte om achtergrondonscherpte te bereiken en het onderwerp helder te houden.
De Plus-serie op de lijst, of de X, XS en 11 in de afgelopen jaren, vertrouwen in principe op systemen met meerdere camera's om het fotograferen van portretonscherpte te voltooien.
Dus hoe lost de enkele camera aan de voorkant van de iPhone het op?De kern ligt in de infrarood dot matrix projector in het Face ID-systeem, die ook voldoende nauwkeurige dieptegegevens kan verkrijgen, wat gelijk staat aan een 'hulplens'.
Vanuit dit oogpunt is het heel bijzonder dat de iPhone SE portretfoto's kan maken: ten eerste maakt het niet meerdere foto's, ten tweede heeft het geen Face ID, er is in principe geen mogelijkheid tot hardware-ondersteuning.
Blijkbaar heeft Apple enkele wijzigingen aangebracht die we op softwareniveau niet kunnen zien.
Onlangs onthulde Ben Sandofsky, de ontwikkelaar van de externe cameratoepassing Halide, de technische principes en legde uit waarom de nieuwe iPhone SE dezelfde specificaties voor één lens gebruikt als deiPhone 8, maar het kan de portretfotomodus bereiken die de laatste niet kan .
Ze zeiden dat de nieuwe iPhone SE waarschijnlijk 'de eerste iPhone is die een portretonscherpte-effect kan genereren met slechts een enkele 2D-afbeelding'.
Je zou kunnen zeggen dat deiPhone XRis ook geen onscherpte met één camera.Is SE het niet gewoon aan het kopiëren?
De ontmantelingssituatie heeft echter bewezen dat decamera'svan iPhone SE eniPhone XRzijn niet consistent, wat ook leidt tot verschillen in de technische implementatie van de twee.
Samsung Galaxy S7serie is het eerste apparaat dat DPAF-technologie op smartphone gebruiktcamera
Het belangrijkste punt is dat decameravan deiPhone XRkan dual pixel autofocus (DPAF) technologie gebruiken, waardoor het bepaalde dieptegegevens kan verkrijgen op basis van hardware.
In eenvoudige bewoordingen komt DPAF-technologie overeen met het delen van de pixel op decamerasensor in twee kleinere naast elkaar staande pixels om twee foto's met verschillende hoeken te maken, net als onze linker- en rechterogen.
Hoewel het hoekverschil dat hierdoor wordt geproduceerd niet zo duidelijk is als dat van dualcamera, is het nog steeds bevorderlijk voor het algoritme om dieptegegevens te genereren.
Google Pixel 2, 3Twee dispariteitskaarten die zijn verkregen met behulp van DPAF-technologie zijn moeilijk met het blote oog te zien
waarnemen, maar kan het beeldsegmentatie-algoritme nog steeds helpen om beoordelingen te maken
Eerder,Googlegebruikte deze technologie ook opPixel 2, 3om onscherpte bij één opname te bereiken.Op dePixel4, omdat de camera is vervangen door een specificatie voor meerdere camera's, is parallaxdetectie aanzienlijk nauwkeuriger dan een enkele camera.
▲ Laten we eens kijken naar de gegevens die de Pixel 4 met twee camera's heeft verkregen.
Wat betreft de nieuwe iPhone SE, omdat de sensoren ervan te oud zijn, beweert Halide dat het niet op de sensoren kan vertrouwen om ongelijkheidskaarten te verkrijgen, en in principe alleen kan vertrouwen op het machine learning-algoritme van de A13 Bionic-chip om dieptegegevens te simuleren en te genereren kaarten.
Een zin verklaring is dat het fotograferen van portretonscherpte met de iPhone SE volledig wordt bereikt door software en algoritmen.
▲ Maak deze foto direct metiPhone XRen nieuwe iPhone SE
Halide gebruikte deiPhone XRen de nieuwe iPhone SE om een foto van de puppy te maken (geen echte foto, alleen om een foto van 'één foto' te maken), en vervolgens de dieptegegevens van de twee foto's te vergelijken.
Ze vonden dat deiPhone XRdeed net een eenvoudige beeldsegmentatie om het hoofdgedeelte eruit te trekken, maar herkende het oor van de puppy niet correct.
▲ Dieptegegevensgrafiek,iPhone XRaan de linkerkant, nieuwe iPhone SE aan de rechterkant
Maar op de nieuwe iPhone SE, met het nieuwe algoritme van de A13-chip, kregen we een dieptekaart die totaal anders is danXR.Het herkent niet alleen de oren en de algehele omtrek van de puppy correct, maar voert ook gelaagde verwerking uit voor verschillende achtergronden.
Dit soort dieptekaart is niet 100% nauwkeurig.Halide zei dat de nauwkeurigheid van de uitsnede en vervaging van de nieuwe iPhone SE bij het maken van onscherpe foto's zonder gezicht niet zo nauwkeurig is als bij het maken van portretten.
Vooral in het geval dat sommige onderwerpen en achtergrondafbeeldingen erg onscherp zijn, zal het voordeel van meerdere camera's op dit moment duidelijker zijn.
▲ In dit soort niet-gezichtsthema, en het onderwerp en de achtergrond zijn niet duidelijk gescheiden, de vervaging van de nieuwe iPhone SE
is gemakkelijk om fouten te maken
Zoals je op deze foto kunt zien, is deiPhone 11 Prouitgerust met een multicamerasysteem kan niet alleen de kleine planten op het logboek volledig schetsen, maar kan ook de afstand van de achtergrond herkennen en gelaagde verwerking maken.
▲ Dieptegegevensgrafiek,iPhone 11 Proaan de linkerkant, nieuwe iPhone SE aan de rechterkant
Op de nieuwe iPhone SE zijn, ondanks dezelfde resultaten van gelaagde verwerking, het onderwerp en de achtergrond volledig met elkaar versmolten.Natuurlijk zal het proces na het vervagen natuurlijk veel erger zijn dan deiPhone 11 Pro.
▲ De werkelijke wazige bewijzen,iPhone 11 Proaan de linkerkant en de nieuwe iPhone SE aan de rechterkant
Dat is waarom, wanneer de nieuwe iPhone SE die van iOS gebruiktcameraapp, alleen wanneer een menselijk gezicht wordt gedetecteerd, kan de "Portretmodus" worden ingeschakeld om wazige foto's te maken.In andere gevallen verschijnt er een fout.
De reden heeft nog steeds te maken met het algoritme van Apple.Halide noemde een techniek genaamd 'Portrait Effects Matte' (Portrait Effects Matte), die voornamelijk wordt gebruikt om de precieze contouren van mensen te vinden in portretfoto's, inclusief details zoals haarlijn aan de rand, brilmontuur, enz. Het onderwerp en de achtergrond zijn gesegmenteerd.
Maar op dit moment is deze op machine learning gebaseerde set van segmentatietechnologie beter voorbereid op het "schieten van mensen", het kan inderdaad het gebrek aan parallaxgegevens over enkelecameratelefoons zoalsiPhone XRen iPhone SE, maar als het onderwerp Het algoritme maakt ook een beoordelingsfout bij het wijzigen van tekens van andere objecten.
Wat betreft telefoons met meerdere camera's zoals:iPhone 11 Pro, kunt u parallax-gegevens rechtstreeks krijgen via decamerahardware, zodat ze de portretmodus ook kunnen gebruiken in scènes zonder gezicht wanneer ze hun eigen scène gebruikencamera.
▲ De frontlens van de nieuwe iPhone SE ondersteunt ook de portretmodus en de precisie van het gezicht is erg hoog,
en het beeldverschil zit alleen in het bokeh-effect
Natuurlijk kunnen externe ontwikkelaars nog steeds dingen gebruiken die niet officieel worden ondersteund.Nu kan de Halide-app ondersteuning bieden vooriPhone XR, SE om onscherpe foto's te maken van kleine dieren of andere objecten.In feite gebruikt het ook Apple's portretmaskertechnologie om dieptekaarten te verkrijgen en voegt het vervolgens zijn eigen back-endoptimalisatie toe om dit te bereiken.
▲ Met apps van derden, zoals Halide, kun je de nieuwe iPhone SE gebruiken om wazige foto's te maken van onderwerpen die geen gezicht zijn
Over het algemeen is de portretonscherpte die wordt bereikt door deze nieuwe iPhone SE de limiet die kan worden bereikt door software-optimalisatie voor telefoons met één camera.Strikt genomen komt dit eigenlijk door de A13-chip.Als het niet het nieuwste algoritme voor machine learning bevatte, zou decameraervaring alleen, de SE-schietervaring moet natuurlijk de helft zijn.
Daarom is het voor smartphones nog steeds zinvol om multicamerasystemen te ontwikkelen.We kunnen ultragroothoek gebruiken om het gezichtsveld te verbreden, en we kunnen vertrouwen op de telelens om niet-destructieve zoomfoto's te maken.Augmented reality-detectie helpt, deze worden niet alleen bereikt door een OTA-upgrade of het vermalen van algoritmen.
Blind opscheppen en strijden om het aantal camera's is natuurlijk ook vervelend.Als de hardware alleen de ondergrens van beeldvorming bepaalt, kan een reeks uitstekende algoritmen de bovengrens van beeldvorming aanzienlijk verhogen en zelfs de waarde en waarde van oude hardware opnieuw uitdrukken.potentieel.
Ik weet niet of we nog vier jaar kunnen wachten.Wanneer de volgende generatie iPhone SE uitkomt, zal singlecameraheb je nog een plek in de mobiele-telefoonindustrie?
Posttijd: mei-06-2020