Source : Synthèse de la technologie Sina
L'utilisation d'un seul appareil photo pour réaliser des photos floues n'a rien de nouveau, le précédentiPhone XRet plus tôtGooglePixel 2ont eu des tentatives similaires.
Le nouvel iPhone SE d'Apple est également le même, mais soncaméraélément est trop ancien, le crédit principal est toujours dans l'algorithme.
D'après le rapport de démontage d'iFixit, nous pouvons voir que certaines pièces du nouvel iPhone SE sont tout à fait compatibles avec leiPhone 8, même dans la mesure où ils peuvent être utilisés de manière interchangeable, y compris le grand angle de 12 mégapixelscaméra .
La pratique du "vin nouveau dans de vieilles bouteilles" n'est pas inhabituelle pour l'iPhone SE.Il y a quatre ans, l'iPhone SE de première génération appliquait également l'apparence du 5s et de la plupart du matériel, Apple peut donc offrir un prix inférieur.
Théoriquement, lors de la copie du même matériel de caméra, lecamérales caractéristiques des deux ne devraient pas être très différentes.Par exemple,iPhone 8ne prend pas en charge la prise de photos à faible profondeur de champ avec un sujet clair et un arrière-plan flou, ce que nous appelons souvent le "mode portrait".
Mais lorsque vous regardez la page d'assistance d'Apple, vous constaterez que le mode portrait qui n'est pas pris en charge par leiPhone 8est pris en charge par le nouvel iPhone SE, même si les spécifications de l'objectif arrière des deux sont exactement les mêmes.
Dans des circonstances normales, la prise de photos floues sur un téléphone mobile doit souvent être effectuée par deux caméras - tout comme les yeux humains, le téléphone mobile doit également obtenir deux images à des angles différents à travers deux objectifs à des positions différentes, puis combiner les angles de La différence estime la profondeur de champ pour obtenir un flou d'arrière-plan et garder le sujet clair.
La série Plus sur la liste, ou les X, XS et 11 ces dernières années, s'appuient essentiellement sur des systèmes multi-caméras pour compléter la prise de vue avec flou de portrait.
Alors, comment la caméra unique avant de l'iPhone résout-elle?Le cœur réside dans le projecteur infrarouge à matrice de points du système Face ID, qui peut également obtenir des données de profondeur suffisamment précises, ce qui équivaut à une « lentille auxiliaire ».
De ce point de vue, l'iPhone SE peut prendre des photos en mode portrait, c'est très particulier : premièrement, il ne prend pas plusieurs clichés, deuxièmement, il n'a pas de Face ID, il n'y a fondamentalement aucune possibilité de support matériel.
Apparemment, Apple a apporté des modifications que nous ne pouvons pas voir au niveau logiciel.
Récemment, Ben Sandofsky, le développeur de l'application de caméra tierce Halide, a révélé les principes techniques, expliquant pourquoi le nouvel iPhone SE utilise les mêmes spécifications d'objectif unique que leiPhone 8, mais il peut réaliser le mode photo portrait que ce dernier ne peut pas .
Ils ont déclaré que le nouvel iPhone SE serait probablement "le premier iPhone capable de générer un effet de flou de portrait en utilisant une seule image 2D".
Vous pourriez dire que leiPhone XRn'est pas non plus un flou à caméra unique.Est-ce que SE ne fait que le copier ?
Cependant, la situation du démantèlement a prouvé que leappareils photode l'iPhone SE etiPhone XRne sont pas cohérents, ce qui entraîne également des différences dans la mise en œuvre technique des deux.
Le point le plus important est que lecamérade laiPhone XRpeut utiliser la technologie de mise au point automatique à double pixel (DPAF), qui lui permet d'obtenir certaines données de profondeur basées sur le matériel.
En termes simples, la technologie DPAF équivaut à diviser le pixel sur lecaméracapteur en deux petits pixels côte à côte pour capturer deux photos avec des angles différents, tout comme nos yeux gauche et droit.
Bien que la différence d'angle produite par cela ne soit pas aussi évidente que celle du doublecaméra, il est toujours propice à l'algorithme pour générer des données de profondeur.
▲Google Pixel 2, 3Deux cartes de disparités obtenues à l'aide de la technologie DPAF sont difficiles à distinguer à l'œil nu.
percevoir, mais peut toujours aider l'algorithme de segmentation d'image à porter des jugements
Précédemment,Googleégalement utilisé cette technologie surPixel 2, 3pour obtenir un flou unique.Sur lePixel4, parce que la caméra est remplacée par une spécification multi-caméras, la détection de parallaxe est nettement plus précise qu'une seule caméra.
▲ Jetons un coup d'œil aux données obtenues par le Pixel 4 à l'aide de deux caméras.
En ce qui concerne le nouvel iPhone SE, parce que ses capteurs sont trop anciens, Halide affirme qu'il ne peut pas compter sur les capteurs pour obtenir des cartes de disparité, et ne peut essentiellement compter que sur l'algorithme d'apprentissage automatique fourni par la puce A13 Bionic pour simuler et générer des données de profondeur. Plans.
Une explication en une phrase est que la prise de vue en flou de portrait de l'iPhone SE est entièrement réalisée par un logiciel et des algorithmes.
▲ Prenez cette photo directement aveciPhone XRet nouvel iPhone SE
Halide a utilisé leiPhone XRet le nouvel iPhone SE pour prendre une photo du chiot (pas une vraie photo, juste pour prendre une photo de « une photo »), puis comparer les données de profondeur des deux images.
Ils ont constaté que leiPhone XRvient de faire une simple segmentation d'image pour extraire le corps principal, mais n'a pas correctement reconnu l'oreille du chiot.
▲ Graphique de données de profondeur,iPhone XRà gauche, nouvel iPhone SE à droite
Mais sur le nouvel iPhone SE, avec le nouvel algorithme fourni par la puce A13, nous avons obtenu une carte de profondeur complètement différente deXR.Il reconnaît non seulement correctement les oreilles et le contour général du chiot, mais effectue également un traitement en couches pour différents arrière-plans.
Ce type de carte de profondeur n'est pas précis à 100 %.Halide a déclaré que la précision de la découpe et du flou du nouvel iPhone SE lors de la prise de photos floues sans visage n'est pas aussi précise que lors de la prise de portraits.
Surtout dans le cas où certains sujets et images d'arrière-plan sont très flous, l'avantage de plusieurs caméras sera plus évident à ce moment.
▲ Dans ce genre de thème sans visage, et le sujet et l'arrière-plan ne sont pas clairement séparés, le flou du nouvel iPhone SE
est facile de faire des erreurs
Comme vous pouvez le voir sur cette photo, leiPhone 11 Proéquipé d'un système multi-caméras peut non seulement délimiter complètement les petites plantes sur la bûche, mais peut également reconnaître la distance de l'arrière-plan et effectuer un traitement en couches.
▲ Graphique de données de profondeur,iPhone 11 Proà gauche, nouvel iPhone SE à droite
Sur le nouvel iPhone SE, malgré les mêmes résultats de traitement en couches, le sujet et l'arrière-plan ont été complètement fusionnés.Naturellement, le processus de post-flou sera naturellement bien pire que leiPhone 11 Pro.
▲ Les preuves floues réelles,iPhone 11 Proà gauche et le nouvel iPhone SE à droite
C'est pourquoi, lorsque le nouvel iPhone SE utilise le propre d'iOScaméraapp, uniquement lorsqu'un visage humain est détecté, le "Mode Portrait" peut être activé pour prendre des photos floues.Dans d'autres cas, une erreur apparaîtra.
La raison est toujours liée à l'algorithme d'Apple.Halide a mentionné une technique appelée 'Portrait Effects Matte' (Portrait Effects Matte), qui est principalement utilisée pour trouver le contour précis des personnes dans les photos en mode portrait, y compris des détails tels que la racine des cheveux sur le bord, la monture des lunettes, etc. Le sujet et l'arrière-plan sont segmentés.
Mais à l'heure actuelle, cet ensemble de technologies de segmentation basées sur l'apprentissage automatique est plus préparé pour "tirer sur les gens", il peut en effet pallier le manque de données de parallaxe sur descamératéléphones tels queiPhone XRet iPhone SE, mais si le sujet L'algorithme fera également une erreur de jugement lors du changement de caractères d'autres objets.
Quant aux téléphones multi-caméras commeiPhone 11 Pro, vous pouvez obtenir des données de parallaxe directement via lecaméramatériel, afin qu'ils puissent également utiliser le mode portrait dans des scènes sans visage lorsqu'ils utilisent leur proprecaméra.
▲ La lentille frontale du nouvel iPhone SE prend également en charge le mode portrait, et la précision du visage est très élevée,
et la différence d'imagerie n'est que dans l'effet bokeh
Bien entendu, les développeurs tiers peuvent toujours utiliser des éléments qui ne sont pas officiellement pris en charge.Désormais, l'application Halide peut prendre en chargeiPhone XR, SE pour prendre des photos floues de petits animaux ou d'autres objets.En fait, il utilise également la technologie de masque de portrait d'Apple pour obtenir des cartes de profondeur, puis ajoute sa propre optimisation back-end à réaliser.
▲ À l'aide d'applications tierces comme Halide, vous pouvez utiliser le nouvel iPhone SE pour prendre des photos floues de sujets sans visage
En général, le flou de portrait obtenu par ce nouvel iPhone SE est la limite qui peut être atteinte par l'optimisation logicielle pour les téléphones à caméra unique.À proprement parler, cela est en fait dû à la puce A13.S'il n'apportait pas le dernier algorithme d'apprentissage automatique, lecaméraexpérience seule, l'expérience de prise de vue SE doit évidemment être de moitié.
Par conséquent, il est toujours pertinent pour les smartphones de développer des systèmes multi-caméras.On peut utiliser l'ultra grand angle pour élargir le champ de vision, et on peut compter sur le téléobjectif pour obtenir des photos zoom non destructives.Aide à la détection de réalité augmentée, celles-ci ne sont pas seulement réalisées par une mise à niveau OTA, ou le broyage d'algorithmes.
Bien sûr, se vanter aveuglément et se disputer le nombre de caméras est également ennuyeux.Si le matériel ne détermine que la limite inférieure de l'imagerie, un ensemble d'excellents algorithmes peut augmenter considérablement la limite supérieure de l'imagerie et même réexprimer la valeur et la valeur de l'ancien matériel.potentiel.
Je ne sais pas si nous pouvons attendre encore quatre ans.Lorsque la prochaine génération d'iPhone SE sortira, sera célibatairecaméraa encore sa place dans l'industrie de la téléphonie mobile ?
Heure de publication : 06 mai 2020