Fonte: Sina Technology Synthesis
O uso dunha soa cámara para conseguir fotografías borrosas non é nada novo, o anterioriPhone XRe antesGoogle Pixel 2tiveron intentos similares.
O novo iPhone SE de Apple tamén é o mesmo, pero o seucámaraelemento é demasiado antigo, o crédito principal aínda está no algoritmo.
A partir do informe de desmontaxe de iFixit, podemos ver que algunhas pezas do novo iPhone SE son completamente consistentes coiPhone 8, incluso na medida en que se poden usar indistintamente, incluíndo o gran angular de 12 megapíxelescámara .
A práctica do "viño novo en botellas vellas" non é inusual para o iPhone SE.De volta a hai catro anos, o iPhone SE de primeira xeración tamén aplicaba a aparencia de 5s e a maior parte do hardware, polo que Apple pode dar un prezo máis baixo.
Teoricamente, ao copiar o mesmo hardware da cámara, ocámaraas características dos dous non deben ser moi diferentes.Por exemplo,iPhone 8non admite facer fotos de profundidade de campo pequenas cun suxeito claro e un fondo borroso, que é o que adoitamos chamar "modo retrato".
Pero cando miras a páxina de soporte de Apple, verás que o modo retrato non é compatibleiPhone 8é compatible co novo iPhone SE, aínda que as especificacións das lentes traseiras dos dous sexan exactamente as mesmas.
En circunstancias normais, a toma de fotos borrosas nun teléfono móbil adoita facerse con cámaras dobres; igual que os ollos humanos, o teléfono móbil tamén necesita obter dúas imaxes en ángulos diferentes a través de dúas lentes en posicións diferentes e, a continuación, combinar os ángulos de vista A diferenza estima a profundidade de campo para lograr o desenfoque do fondo e manter o asunto claro.
A serie Plus da lista, ou a X, XS e 11 dos últimos anos, confían basicamente en sistemas de varias cámaras para completar a toma de retratos borrosos.
Entón, como se soluciona a única cámara frontal do iPhone?O núcleo reside no proxector de matriz de puntos infravermellos do sistema Face ID, que tamén pode obter datos de profundidade suficientemente precisos, o que equivale a unha "lente auxiliar".
Desde este punto de vista, o iPhone SE pode facer fotos en modo retrato é moi especial: primeiro, non fai varias tomas, segundo, non ten Face ID, basicamente non hai posibilidade de soporte de hardware.
Ao parecer, Apple fixo algúns cambios que non podemos ver a nivel de software.
Recentemente, Ben Sandofsky, o desenvolvedor da aplicación de cámara de terceiros Halide, revelou os principios técnicos, explicando por que o novo iPhone SE usa as mesmas especificacións de lente única que oiPhone 8, pero pode acadar o modo de fotografía de retrato que este último non pode .
Dixeron que é probable que o novo iPhone SE sexa "o primeiro iPhone que poida xerar un efecto de desenfoque de retrato usando só unha imaxe 2D".
Poderías dicir que oiPhone XRtampouco é un desenfoque dunha soa cámara.SE non é só copialo?
Non obstante, a situación de desmantelamento demostrou que ocámarasdo iPhone SE eiPhone XRnon son consistentes, o que tamén leva a diferenzas na implantación técnica dos dous.
▲Samsung Galaxy S7serie é o primeiro dispositivo que utiliza tecnoloxía DPAF no teléfono intelixentecámara
O punto máis importante é que ocámaradaiPhone XRpode utilizar a tecnoloxía de enfoque automático de dous píxeles (DPAF), que lle permite obter certos datos de profundidade baseados no hardware.
En termos sinxelos, a tecnoloxía DPAF é equivalente a dividir o píxel sobre ocámarasensor en dous píxeles máis pequenos lado a lado para capturar dúas fotos con ángulos diferentes, igual que os nosos ollos esquerdo e dereito.
Aínda que a diferenza de ángulos producida por isto non é tan obvia como a do dualcámara, aínda é propicio para o algoritmo para xerar datos de profundidade.
▲Google Pixel 2, 3Dous mapas de disparidade obtidos mediante a tecnoloxía DPAF son difíciles de facer a simple vista
percibir, pero aínda pode axudar ao algoritmo de segmentación de imaxes a facer xuízos
Anteriormente,Googletamén utilizou esta tecnoloxíaPixel 2, 3para conseguir un desenfoque único.NoPixel4, debido a que a cámara é substituída por unha especificación de varias cámaras, a detección de paralaxe é significativamente máis precisa que a dunha única cámara.
▲ Vexamos os datos obtidos polo Pixel 4 mediante dúas cámaras.
En canto ao novo iPhone SE, porque os seus sensores son demasiado antigos, Halide afirma que non pode confiar nos sensores para obter mapas de disparidade e, basicamente, só pode confiar no algoritmo de aprendizaxe automática proporcionado polo chip A13 Bionic para simular e xerar datos de profundidade. mapas.
Unha explicación da frase é que a fotografía de desenfoque de retratos do iPhone SE conséguese integramente mediante software e algoritmos.
▲ Saca esta foto directamente coniPhone XRe novo iPhone SE
Halide usou oiPhone XRe o novo iPhone SE para facer unha foto do cachorro (non é unha foto real, só para facer unha foto de 'unha foto'), e despois comparou os datos de profundidade das dúas imaxes.
Descubriron que oiPhone XRsó fixo unha simple segmentación da imaxe para sacar o corpo principal, pero non recoñeceu correctamente a orella do cachorro.
▲ Gráfico de datos de profundidade,iPhone XRá esquerda, o novo iPhone SE á dereita
Pero no novo iPhone SE, co novo algoritmo proporcionado polo chip A13, obtivemos un mapa de profundidade que é completamente diferente doXR.Non só recoñece correctamente as orellas e o contorno xeral do cachorro, senón que tamén se procesa en capas para diferentes fondos.
Este tipo de mapa de profundidade non é 100 % preciso.Halide dixo que a precisión do recorte e o desenfoque do novo iPhone SE cando se tiran fotos borrosas sen caras non son tan precisas como cando se realizan retratos.
Especialmente no caso de que algúns temas e imaxes de fondo sexan moi borrosas, a vantaxe de varias cámaras será máis evidente neste momento.
▲ Neste tipo de tema non facial, e o asunto e o fondo non están claramente separados, o desenfoque do novo iPhone SE
é fácil cometer erros
Como podedes ver nesta imaxe, oiPhone 11 Proequipado cun sistema de cámaras múltiples non só pode delinear completamente as pequenas plantas no rexistro, senón que tamén pode recoñecer a distancia do fondo e facer un procesamento en capas.
▲ Gráfico de datos de profundidade,iPhone 11 Proá esquerda, o novo iPhone SE á dereita
No novo iPhone SE, a pesar dos mesmos resultados do procesamento en capas, o tema e o fondo fusionáronse por completo.Por suposto, o proceso posterior ao desenfoque será moito peor que oiPhone 11 Pro.
▲ As probas borrosas reais,iPhone 11 Proá esquerda e o novo iPhone SE á dereita
É por iso que, cando o novo iPhone SE usa o propio iOScámaraaplicación, só cando se detecta un rostro humano, pódese activar o "Modo Retrato" para sacar fotos borrosas.Noutros casos, aparecerá un erro.
O motivo aínda está relacionado co algoritmo de Apple.Halide mencionou unha técnica chamada 'Portrait Effects Matte' (Efectos de retrato mate), que se usa principalmente para atopar o contorno preciso das persoas nas fotos do modo retrato, incluíndo detalles como a liña do cabelo no bordo, a montura das lentes, etc. O suxeito e o fondo están segmentados.
Pero na actualidade, este conxunto de tecnoloxía de segmentación baseada na aprendizaxe automática está máis preparado para "disparar á xente", de feito pode compensar a falta de datos de paralaxe nun únicocámarateléfonos comoiPhone XRe iPhone SE, pero se o suxeito O algoritmo tamén cometerá un erro de xuízo ao cambiar os caracteres doutros obxectos.
En canto aos teléfonos con varias cámaras comoiPhone 11 Pro, pode obter datos de paralaxe directamente a través decámarahardware, polo que tamén poden usar o modo retrato en escenas que non sexan caras cando usan as súas propiascámara.
▲ A lente frontal do novo iPhone SE tamén admite o modo retrato e a precisión da cara é moi alta,
e a diferenza de imaxe só está no efecto bokeh
Por suposto, os desenvolvedores de terceiros aínda poden usar cousas que non son compatibles oficialmente.Agora a aplicación Halide é compatibleiPhone XR, SE para sacar fotos borrosas de pequenos animais ou outros obxectos.De feito, tamén usa a tecnoloxía de máscara de retrato de Apple para obter mapas de profundidade e, a continuación, engade a súa propia optimización de fondo para conseguir.
▲ Usando aplicacións de terceiros como Halide, podes usar o novo iPhone SE para sacar fotos borrosas de suxeitos sen rostro
En xeral, o desenfoque do retrato logrado por este novo iPhone SE é o límite que se pode conseguir mediante a optimización de software para teléfonos cunha soa cámara.En rigor, isto débese en realidade ao chip A13.Se non trouxo o último algoritmo de aprendizaxe automática, ocámaraexperiencia só, a experiencia de tiro SE obviamente ten que ser a metade.
Polo tanto, aínda é importante que os teléfonos intelixentes desenvolvan sistemas multicámara.Podemos utilizar o ultra gran angular para ampliar o campo de visión, e podemos confiar no teleobjetivo para obter fotos con zoom non destrutivo.A axuda de detección de realidade aumentada, non só se consegue mediante unha actualización de OTA ou a moenda de algoritmos.
Por suposto, presumir a cegas e competir polo número de cámaras tamén é molesto.Se o hardware só determina o límite inferior da imaxe, entón un conxunto de excelentes algoritmos pode aumentar significativamente o límite superior da imaxe e mesmo reexpresar o valor e o valor do hardware antigo.potencial.
Non sei se poderemos esperar outros catro anos.Cando saia a próxima xeración de iPhone SE, estará solteirocámaraaínda tes un lugar na industria da telefonía móbil?
Hora de publicación: maio-06-2020