Huawei publicó el mes pasado el Pro P20 y P20, situándose entre los mejores en el día de la publicación de la cámara del teléfono móvil DxOMark y el margen de avance no está 1 punto 2 puntos, antes de que el Pro P20 de la parte superior de Samsung Galaxy S9 Plus altos 10 puntos, se puede decir no una era, pero uno o dos por delante de los tiempos. Por supuesto P20 Pro 1 / 1,73 pulgadas de especificaciones CMOS es inevitable que algunas personas matón, pero el P20 CMOS de 1 / 2.7 pulgadas en comparación con el Galaxy S9 Plus, Pixel 2 es sólo ligeramente especificaciones Alto, pero su calidad de imagen también tiene ventajas obvias. ¿De dónde vino esta ventaja?
Mejorar la calidad de la fotografía es tener dos ideas, una violenta lucha de hardware, tales como el uso de un área más grande más grande de píxeles CMOS, aumentar la estabilización óptica de imagen mecánico, una abertura mayor, y la segunda es la idea de poder blando: Algoritmos Y optimización
La primera idea es un caso típico es el Samsung Galaxy S9 Plus, antes de que el Galaxy S8 relativa cámara básica Galaxy S7 simplemente haciendo tiempo, mientras que el Galaxy S9 Plus fue pionera en el uso de las nuevas 1.4μm CMOS DRAM con una pila de tres capas, pero esto sólo es un factor secundario para mejorar las imágenes de los factores principales es el verdadero gran paso adelante grandes componentes ópticos Salto adelante, Galaxy S9 Plus avance utiliza una gran apertura de F1.5. pero se requiere el uso de una gran apertura tal que pagar un alto precio, en primer lugar, más de gran apertura F1.8 de la producción es muy difícil, muy bajo rendimiento, lo que resulta en altos costos de producción módulo de la cámara, y la segunda abertura es demasiado grande, en escenas brillantes hará que la imagen está sobreexpuesta, GS9 introdujo incluso físicamente Cambiar el iris para resolver este problema aumenta en gran medida la complejidad del conjunto de la cámara y reduce la fiabilidad.
Otra idea es optimizar los algoritmos de software, el caso típico es el de píxeles 2, 12.2MP, los píxeles 1.4μm, las especificaciones de hardware de f / 1,8 sola cámara no es muy exagerado, pero todavía puede abrumar iPhone X y otro monstruo de hardware, un voto, esto es gracias a DeepLab-v3 + algoritmo. este algoritmo se basa en la profundidad del aprendizaje de la red natural de AI, el análisis en tiempo real puede ser llevada a cabo en la escena, identificar el contenido de la escena objetivo, para la optimización. HDR + y procesamiento de la escena, en cierta medida, para evitar casos la sobreexposición ocurrió. DeepLab-v3 + algoritmo de dobles más porter es una sola cámara para lograr la profundidad de campo para tomar fotografías a través del algoritmo, se implementa dicha funcionalidad requiere una gran cantidad de operaciones de codificación y decodificación, muestreo múltiple y la conversión, la cantidad de cálculo es enorme. Google Pixel 2 para lograr esta característica es aún un chip acelerador especialmente desarrollado llamado Pixel Visual Core para realizar el procesamiento aritmético, el rendimiento de punto flotante chip de aceleración FPU es cinco veces el de Apple A11 biónica. Google también buscará imparcial DeepLab-v3 + algoritmo de código abierto, libre para compartir con el mundo. por supuesto, Google también está haciendo su propia pequeña pensar, por un lado, se puede aprovechar al máximo las recursos para el desarrollo de la comunidad de código abierto gratuitos para continuar mejorando, por otra parte, su rival el rendimiento Qualcomm Xiaolong IA no es tan bueno como 835/845 A11, y esta necesidad se ejecuta el algoritmo de muy alto rendimiento, por lo que no se preocupe de pensamiento, otros solo no hay ningún algoritmo hardware capaz de realizarse.
Comparación y análisis de muestras P20
Pero en este tema Google ha calculado mal, Huawei Kirin 970 procesador NPU construyó el plomo, que puede proporcionar un rendimiento adecuado para lograr el mismo nivel de rendimiento de calidad con este algoritmo basado en la profundidad del aprendizaje, para mejorar los disparos basado en la profundidad del aprendizaje algoritmos de IA es la forma de mejorar la calidad de los resultados, vamos a echar un vistazo a la prueba comparativa DxO (fuente comparación :. https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies -outstanding-results /, obra específica contraste se puede ver en esta página)
Bajo la luz y el resplandor
Era una escena típica de la noche, Huawei P20 esquina Pro inferior izquierda del techo para restaurar el verdadero negro, mientras que iPhone X y Pixel 2 sobreexposición obviamente, menores farolas correctas iPhone X y Pixel 2 también significativa mirada. P20 estudio Pro profundidad llevadas a cabo por la escena detección, en gran medida, para evitar la sobreexposición suceda. y la esquina superior derecha de las ramas Huawei P20 Pro detalles mejor, pero no demasiado impaciente nitidez conduce a aumentar, esto es una gran superficie de sensor de alta sensibilidad mejor + El resultado de la acción conjunta del último algoritmo.
Zoom y estabilización de imagen óptica
Yo era tan ingenuo como para pensar suela es la justicia, aunque esto es sólo el campo DSLR, pero en el espacio móvil no es el caso. Antes de Sony / Meizu suela sensor de una vez con 1 / 2,7 pulgadas, pero también debido a la gran final, el teléfono no se puede agregar espacio para la estabilización óptica de imagen OIS, el resultado vale la pena, que una vez se pensó suela y la estabilización óptica de imagen, como el pescado y no puede tener ambas cosas.
Huawei P20 Pro es la innovadora introducción de la función AIS, para que se pueda tener en cuenta las grandes CMOS finales y estabilizador óptico de imagen. Es probable que funciona mediante la formulación de movimiento para juzgar la tendencia de la cámara en mano a través de tres, y luego otra vez por AI después del tratamiento por múltiples cuadros estables algoritmo anti-vibración, que completó la tarea no puede completarse una vez se pensó.
Escena del retrato
marca extranjera retratos teléfonos móviles y clínica de piel ha estado por detrás de las marcas nacionales, la razón es la falta de atención, el país es más urgente de puntos vertical y la belleza del dolor, obligando a los fabricantes de teléfonos móviles nacionales tienen más de entrada a este respecto. La Huawei pleno uso de sus ventajas tecnológicas, para el reconocimiento facial 3D de personajes de inteligencia artificial frente a los algoritmos de aprendizaje profundos, y el color para optimizar y mejorar la piel por encima de las pruebas P20 Pro aún más optimista y en movimiento. Debido a que los caracteres son los cambios en tiempo real, la necesidad de tiempo real la imagen y el aprendizaje profundidad por los resultados de redes neuronales con el análisis y la comparación anterior, la información se convierte en una cara 3D y luego optimizar la cantidad de operación de procesamiento en tiempo real es todavía muy grande.
Escena HDR
Esta escena es un retrato, pero la luz de fondo, el brillo de la escena fuera de la ventana es demasiado alto, la ventana X iPhone de sobreexposición grave, Pixel 2 sobreexposición un mejor control, mientras que el control P20 Pro es más perfecto, mientras que el carácter interior ni demasiado oscura. Dado que la profundidad la escena hace que el aprendizaje se divide acumulación determinar para tales grandes diferencias en la luminosidad de las escenas complejas, establecer diferentes estrategias de exposición, Kirin 970 NPU potente rendimiento hace que estos procesos sean más facilidad.
De doble uso cámara de comenzar es la información sub profundidad cámara obtenido escena en un sensor de profundidad, formado profundidad de campo por síntesis de múltiples cuadros y el modo de post-procesamiento, pero en el algoritmo antes de la edad AI, para identificar que distinguen problemas frontal y de fondo, especialmente Es una vegetación más compleja, el borde es propenso a defectos.
Profundidad de efecto de campo y juicio de borde
Y en base a la escena después de que el estudio en profundidad de AI para determinar, debido a la gran cantidad de datos acumulados de modo que la escena de la cámara del juicio en el primer plano y el fondo es más precisa porción de borde de segmentación más precisa, pero no aparece más arriba no soporta de doble cámara AI inadecuada borde compleja manipulación El problema
En general, Kirin NPU 970 a 19 categorías y más de 500 escenas de entrenamiento de aprendizaje de máquinas, tales como gatos y perros, la comida, la gente,, Noche / texto macro, flores, cielo azul, nieve, playa, etc. tiene un esquema de optimización correspondiente . para lograr esta función requiere una gran cantidad de acumulación de datos, sino también grandes cantidades de datos necesitan ser procesadas por la red neuronal en tiempo real para tomar fotografías, por lo que el algoritmo para la potencia de cálculo y presentó una demanda muy alta. Huawei P20 de la cumbre no es sólo plantando DxOMark ventajas arraigadas en la CMOS y componentes ópticos, más bien guinda del pastel algoritmo. el excelente algoritmo requiere una fuerte fuerza de los operadores para garantizar 970 Kirin NPU contribuyó.
En respuesta a la demanda de aprendizaje profundo de inteligencia artificial, Huawei ha estado involucrada proactivamente en la unidad independiente de NPU al comienzo de Kirin 970 R & D.
Se mencionó anteriormente, el trabajo central de procesamiento de imágenes es identificar el análisis de la escena, este trabajo tiene dos etapas. La primera etapa es la formación tiene que ser dado un gran número de muestras analizadas por la red de convolución neuronal de aprendizaje convolucional de redes neuronales, el proceso de formación puede ser en el dispositivo móvil a nivel local, sino que también puede ser un gran servidor de la nube de operar, pero el seguimiento de las nuevas fotos, el análisis y el juicio, básicamente, sólo se puede hacer a nivel local. Aunque esto es sólo un único análisis muestra nueva, pero también hay que comparar los datos antes y acumulación Sí, y este análisis se resumen en resultados de aprendizaje automático. y esta red neuronal de convolución red neuronal de convolución para procesar un gran número de procesos de toma rama, lo que requiere una fuerte FP16 potencia de procesamiento de punto flotante.
Qualcomm Xiaolong 845 denominado 'UNP' es hexagonal 685, Hexágono 685 justo antes de Hexagon 682 pequeño cambio. En sentido estricto, esto sólo se puede considerar DSP, más que el unicornio 970 y A11 como NPU en el verdadero sentido, pero simplista unidad de procesamiento vectorial, y el poder de computación DSP también pueden ser ocupados por otras tareas. Xiaolong 845 tareas de aprendizaje de máquinas más complejas AI todavía tienen que ser aún CPU GPU para lograr, y este precio es enorme.
Esta es TechInsights núcleo gráfico de Kirin 970, podemos ver a continuación A53 es un pequeño núcleo área de chip NPU, corriente SoC móvil, sólo Apple A11 y Kirin 970 tiene un verdadero sentido de la UNP.
AI y el aprendizaje profundo no es sólo un problema de hardware, mover proceso de AI es un sistema multinivel proyecta una combinación de hardware y software. La capa superior es la capa de aplicación, que está bajo el API como una capa de aplicación y la capa de hardware interfaces de aplicaciones interactivas. Plataforma Android es actualmente en la IA API acelerado son principalmente dos: uno es oficial de Android AI tiempo de ejecución de Google, Direct Compute bajo Windows similares, buena compatibilidad de software y hardware, es la norma de la industria y la otra es Huawei Hiai, esta es una API única unicornio similar. El CUDA de NVIDIA, aunque limitado en hardware, es más eficiente. También hay un sistema de gestión de recursos heterogéneos HiAI debajo de la capa API, asignando tareas a la capa de hardware subyacente. La siguiente capa de hardware puede ser una NPU o una GPU. CPU, DSP o incluso ISP.
Esto muestra que AI no tiene que ejecutarse en la NPU. Otras CPU, GPU y DSP pueden funcionar, pero existen diferencias fundamentales en el rendimiento y la eficiencia: el rendimiento de la GPU es 4 veces mayor que la CPU, y la NPU es la CPU 25 veces, aparte de la energía diferencia de rendimiento absoluto que la más obvia, NPU en comparación con la GPU y la CPU tiene hasta 8 veces y la diferencia de 50 veces, que se extendía para dispositivos móviles de potencia, se puede decir que existe una brecha de la naturaleza .
Kirin NPU 970 con la identificación en tiempo real de los bienes, el rendimiento se puede lograr 16GFlops potencia de cálculo, consumiendo sólo un único 32ns de procesamiento, y la corriente de funcionamiento de tan sólo 300 mA, es muy verde en comparación con unos pocos cientos de vatios de términos de CPU y GPU.
AI a partir de pruebas de rendimiento, podemos ver al Maestro Lu Qilin 970 relativos Xiao Long 845 rendimiento de la máquina de desarrollo ventajas obvias. Maestro Lu prueba de AI contiene InceptionV3, Resnet34, VGG16 3 proyectos, tres son tres elementos de prueba diferentes algoritmo de reconocimiento eran 100 imágenes para evaluar el rendimiento a través de mucho tiempo. estos tres algoritmo básico es actualmente el único entrenamiento de la red neuronal mapa de conocimiento de la inteligencia artificial de los tres algoritmos, muy representativo, se puede decir que el actual algoritmo de aprendizaje profundidad AI . los tres algoritmos, InceptionV3 más dependiente de la CPU y la GPU, pequeño unicornio 970 y 845 Xiaolong dos brechas plataforma, y Resnet34, VGG16 en algoritmos más avanzados que pueden tomar ventaja de los beneficios de rendimiento de la UNP, Así que, obviamente Kirin 970 con las ventajas de rendimiento NPU lo largo de los próximos dos artículos de la prueba.
VGG16 algoritmo particular, véase comprende capas 13 y 16 de la convolución tres estructura de capa de toda la cadena es capas unidas, la NPU es adecuado. Esta precisión del cálculo del algoritmo es FP16, FP32 y CPU se transmiten, con más precisión. Sin embargo, cuando se usa para tratar FP16, sólo una única transmisión, o un único proceso FP16, también lo hará una pérdida grave de los recursos. por lo tanto, en la presente VGG16 calculado FP16 basado, FP16 optimizado NPU para un uso más eficiente puede ser más completamente Recursos.
La compañía incluso ha soplado Xiao Long 660 AI rendimiento, pero Xiaolong 660 Hexágono 680 DSP hizo el poder no FP16 computación, es que depender de AI para contar? CPU o GPU? De hecho se puede ejecutar AI, no podemos echarle la culpa falsa Publicidad, pero el rendimiento y el consumo de energía no son atractivos.
En la era antes de la IA, para mejorar la calidad de la cámara sin umbral aparente sin una fuerza de I + D subyacente de la marca, simplemente dispuesto a gastar unos pocos dólares para comprar un mejor padre para encontrar un CMOS de Sony, que soportar duro en rendimientos más bajos de gran apertura, aplicar Qualcomm o la versión pública de Samsung del ISP lanzamiento algoritmo de lanzamiento, también pueden hacer un buen teléfono con cámara. sin embargo, después de la llegada de la gripe aviar, el pensamiento tradicional ya no es factible, a lo sumo, una competición simple de modo que la marca no es el subyacente capacidades de hardware de I + D puede guardar un buen hardware, pero si hay un algoritmo que falta sobre la base de aprendizaje inteligente profundidad AI, podría hacer que el producto totalmente detrás de la idea. se abrió la brecha entre los dos escalón, que fue seguido por el golfo, con el tiempo las principales compañías de IA difícil mantenerse al día El nivel
Bajo La compañía tiene algoritmo de la fuerza de I + D, aunque la situación es un poco mejor, puede participar en un estudio a fondo de IA en el juego, pero estas compañías carecen de la capacidad de D a nivel de chip I +, no puede proporcionar suficiente proveedor de la cantidad de fichas NPU de productos aguas arriba del caso, sólo Quejándose y reacio a seguir.
Así que ahora hay AI de aprendizaje y desarrollo de la máquina capacidades de las empresas pueden ser consideradas como de segunda categoría, pero las capacidades y plataforma para construir eco-negocio el chip de I + D es la parte superior. En la parte inferior de la marca Huawei Kirin como base para el desarrollo y la máquina de Hiai medio como una plataforma de apoyo a la parte superior más productos de electrónica de consumo y aplicaciones de software con el contacto directo con los clientes finales, tales ecosistemas es un desarrollo sano y sostenible de AI ecología. para los consumidores, en base a la profundidad del aprendizaje de la IA sólo un cuadro negro, los usuarios no necesitan Para entender cómo funciona y cómo funciona, simplemente disfruta de los frutos de su escalada. Huawei Unicorn es el héroe detrás de las cámaras. Su entrenamiento duro hará que nuestra vida sea mejor en el futuro.