Huawei mois dernier a publié le P20 Pro et P20, se classant parmi les meilleurs du jour de la publication de la caméra de téléphone mobile DxOMark et leader marge est pas 1 point 2 points, avant que le Pro P20 que top Samsung Galaxy S9 plus élevé de 10 points, on peut dire pas une époque, mais un ou deux à l'avance du temps. Bien sûr P20 Pro 1 / 1,73 pouces de spécifications CMOS est inévitable que certaines personnes d'intimidation, mais le 1 / 2,7 pouces CMOS P20 par rapport à la S9 Galaxy plus, Pixel 2 est seulement légèrement les spécifications Haut, mais sa qualité d'image présente également des avantages évidents: d'où vient cet avantage?
Améliorer la qualité de la photographie est d'avoir deux idées, un matériel de lutte violente, comme l'utilisation d'une plus grande surface plus CMOS pixel, augmenter la stabilisation d'image optique mécanique, ouverture plus grande, et la seconde est l'idée du soft power: Algorithmes Et optimisation.
La première idée est un cas typique est le Samsung Galaxy S9 De plus, avant que l'appareil de base Galaxy S8 relatif Galaxy S7 marquage juste le temps, alors que le Galaxy S9 plus pionnier dans l'utilisation de nouveaux 1.4μm CMOS DRAM avec une pile à trois couches, mais cela ne est un facteur secondaire pour améliorer les images des principaux facteurs est le vrai grand pas en avant de grands composants optiques bond en avant, Galaxy S9 percée plus utilise une grande ouverture de F1.5. mais l'utilisation d'une telle grande ouverture est nécessaire pour payer un prix élevé, tout d'abord, plus grande ouverture F1.8 de la production est très difficile, très faible rendement, ce qui entraîne la production des coûts élevés module de caméra, et la seconde ouverture est trop grande, dans les scènes lumineuses rendant l'image est surexposée, GS9 même introduit physiquement Changer l'iris pour résoudre ce problème augmente considérablement la complexité de l'assemblage de la caméra et réduit la fiabilité.
Une autre idée est l'optimisation des algorithmes logiciels.Ce cas typique est Pixel 2, 12.2MP, 1.4μm pixels, f / 1.8 spécifications matérielles caméra unique ne sont pas très exagérées, mais il peut encore submerger iPhone X et autres monstres matériels. ce grâce à DeepLab-v3 + algorithme. cet algorithme est basé sur la profondeur de l'apprentissage AI réseau naturel, analyse en temps réel peut être réalisé sur la scène, en identifiant le contenu de la scène cible, pour l'optimisation. HDR + et le traitement de la scène, dans une certaine mesure pour éviter une surexposition cas a eu lieu. DeepLab-v3 + algorithme cascade la plus porter est une seule caméra pour atteindre la profondeur de champ pour prendre des photos grâce à l'algorithme, cette fonctionnalité est mise en oeuvre nécessite beaucoup de codage et les opérations de décodage, multiples échantillonnage et la conversion, la quantité de calcul est énorme. Google Pixel 2 pour atteindre cette fonctionnalité est encore une puce d'accélérateur développé spécialement appelé Pixel visuel de base pour effectuer un traitement arithmétique, la puce d'accélération FPU performances en virgule flottante est cinq fois l'Apple A11 Bionic. Google se penchera également impartialement DeepLab-v3 + algorithme Open source, gratuit au monde à partager Bien sûr, Google a aussi ses propres calculs, d'une part, peut être pleinement bénéfique ressources libre développement communautaire open source à continuer d'améliorer, d'autre part son rival Qualcomm Xiaolong la performance AI est pas aussi bon que 835/845 A11, et cela ne doit pas fonctionner très algorithme haute performance, donc ne vous inquiétez pas pensé, d'autres célibataires Il existe également des algorithmes dont les performances ne sont pas suffisantes.
P20 comparaison et analyse d'échantillons
Mais sur cette question Google a mal calculé, Huawei Kirin 970 processeur NPU construit la tête, il peut fournir une performance adéquate pour atteindre le même niveau de performance de qualité avec cet algorithme basé sur la profondeur de l'apprentissage, pour améliorer la prise de vue en fonction de la profondeur de l'apprentissage algorithmes AI est de savoir comment améliorer la qualité de la performance, nous allons jeter un oeil à la preuve comparative DxO (source de comparaison :. https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies -outstanding-results /, la comparaison spécifique de l'original peut être consultée sur cette page)
Faible luminosité et anti-éblouissement
Ce fut une scène de nuit typique, Huawei P20 coin Pro en bas à gauche du plafond pour rétablir le vrai noir, alors que l'iPhone X et Pixel 2 surexposition De toute évidence, en bas à droite réverbères iPhone X et Pixel 2 également les reflets importants. P20 étude approfondie Pro réalisée par la scène la détection, dans une large mesure d'éviter la surexposition de se produire. et le coin supérieur droit des branches Huawei P20 détails Pro mieux, mais pas trop impatient netteté conduit à augmenter, c'est une grande surface de capteur haute sensibilité mieux + Le résultat de l'action conjointe de l'algorithme tardif.
Zoom et stabilisation d'image optique
Je suis assez naïf pour penser semelle extérieure est la justice, bien que ce soit juste le champ reflex numérique, mais dans l'espace mobile est pas le cas. Avant de Sony / Meizu une fois avec 1 / semelle extérieure capteur de 2,7 pouces, mais aussi en raison de la grande extrémité, le téléphone L'espace ne peut pas ajouter la stabilisation d'image optique OIS, le résultat en vaut la chandelle, j'ai pensé que la semelle extérieure et la stabilisation d'image optique, comme le poisson et la patte d'ours ne peuvent pas avoir les deux.
Huawei P20 Pro est l'introduction novatrice de la fonction AIS, afin qu'il puisse prendre en compte les grands CMOS finaux et la stabilisation d'image optique. Il fonctionne probablement par le mouvement de cadrage pour juger la tendance de la caméra tenue à la main par trois, puis à nouveau par AI après un traitement par multi-cadre stable L'algorithme effectue la stabilisation de l'image et termine les tâches que je pensais autrefois impossibles à accomplir.
Scène de portrait
marque étrangère téléphones mobiles portraits et photo de beauté a été à la traîne derrière les marques nationales, la raison est le manque d'attention, le pays est plus urgent pour les points de portrait et de la douleur de la beauté, ce qui oblige les fabricants nationaux de téléphonie mobile ont une plus grande participation à cet égard. La Huawei pleinement usage de ses avantages technologiques, pour la reconnaissance faciale 3D par des personnages IA face à des algorithmes d'apprentissage en profondeur, et la couleur afin d'optimiser et d'améliorer la peau au-dessus des preuves P20 Pro encore plus rose et en mouvement. Parce que les personnages sont des changements en temps réel, la nécessité d'en temps réel L'image est analysée et comparée avec les résultats d'apprentissage profond du réseau neuronal précédent pour devenir des informations faciales en 3D, puis optimisée.La quantité de traitement en temps réel est encore très grande.
Scène HDR
Cette scène est un portrait, mais le rétro-éclairage, la luminosité de la scène en dehors de la fenêtre est trop élevée, la fenêtre iPhone X de surexposition grave, Pixel 2 surexposition meilleur contrôle, alors que le P20 contrôle Pro est plus parfait, alors que le caractère intérieur ni trop sombre. Depuis la profondeur la scène rend l'accumulation d'apprentissage est divisé déterminer pour ces grandes différences de luminosité des scènes complexes, différentes stratégies d'exposition fixées, Kirin 970 NPU performances puissantes rend ces processus plus de facilité.
caméra à double usage de départ est l'information de profondeur de caméra sous scène obtenue dans un capteur de profondeur, la profondeur formée de champ par synthèse multi-trame et le mode de post-traitement, mais dans l'algorithme avant l'âge de AI, pour l'identification de premier plan qui distinguent les problèmes de fond, en particulier Est-ce une végétation plus complexe, le bord est sujet aux défauts.
Profondeur de l'effet de champ et jugement de bord
Basé sur des scènes après un apprentissage intensif, l'accumulation de données dans un grand nombre de scènes rend l'appareil plus précis pour juger les vues avant et arrière, et la partie de bord est plus finement divisée. Le problème
Dans l'ensemble, Kirin NPU 970 à 19 catégories et plus de 500 scènes d'apprentissage machine de formation, comme les chats et les chiens, la nourriture, les gens, Macro, Nuit / texte, fleurs, ciel bleu, neige, plage, etc. dispose d'un système d'optimisation correspondant . pour atteindre cette fonction nécessite beaucoup d'accumulation de données, mais aussi de grandes quantités de données doivent être traitées par le réseau de neurones en temps réel pour prendre des photos, de sorte que l'algorithme de calcul de puissance et a présenté une très forte demande. Huawei P20 du sommet n'est pas planter juste DxOMark avantages ancrés dans le CMOS et les composants optiques, plus bonne cerise algorithme sur le gâteau. l'excellent algorithme a besoin d'un opérateur de force forte pour garantir 970 Kirin NPU a contribué.
En réponse à la demande d'apprentissage en profondeur de l'IA, Huawei s'est montré proactif en rejoignant l'unité indépendante NPU au début de la R & D du Kirin 970.
Mentionné plus haut, le traitement d'image noyau travail consiste à identifier l'analyse de la scène, ce travail comporte deux étapes. La première étape est la formation doit être donné un grand nombre d'échantillons analysés par réseau de neurones de convolution apprentissage convolutif réseau neuronal, le processus de formation peut être dans l'appareil mobile localement, il peut aussi être un grand serveur vers le cloud pour fonctionner, mais le suivi des nouvelles photos, l'analyse et le jugement au fond ne peut être fait localement. Bien que ce soit une seule nouvelle analyse de l'échantillon, mais aussi besoin de comparer les données avant et l'accumulation Oui, et cette analyse sont résumés dans les résultats d'apprentissage de la machine. et ce réseau de neurones de convolution convolutionnel réseau de neurones pour traiter un grand nombre de processus de décision de branche, ce qui nécessite une forte puissance de traitement à virgule flottante FP16.
Qualcomm Xiaolong 845 soi-disant « UPN » est Hexagone 685, Hexagone 685 juste avant Hexagon 682 petit changement. A proprement parler, cela ne peut être considéré comme DSP, plutôt que la licorne 970 et A11 NPU dans le vrai sens, mais simpliste vecteur unité de traitement, et la puissance de calcul DSP peut également être occupé par d'autres tâches. Xiaolong 845 tâches plus complexes d'apprentissage automatique AI doivent encore être même CPU GPU pour atteindre, et ce prix est énorme.
C'est TechInsights noyau Kirin 970 graphique, nous pouvons voir ci-dessous A53 est un petit noyau surface de la puce NPU, SoC mobile actuel, seul Apple A11 et Kirin 970 a un vrai sens de NPU.
L'IA et l'apprentissage en profondeur ne sont pas que des problèmes matériels.Le traitement AI mobile est un projet système multicouche combinant logiciel et matériel: la couche supérieure est la couche application et l'API ci-dessous est l'interface entre la couche applicative et la couche matérielle. Il existe deux principales API d'accélération: l'une est Android AI Runtime de Google, similaire à Direct Compute sous Windows, avec une bonne compatibilité matérielle et logicielle, et est une norme de l'industrie, l'autre est HiAI de Huawei, unique à l'API Unicorn. Le CUDA de NVIDIA, bien que limité en matériel, est plus efficace.Il existe également un système de gestion des ressources hétérogènes HiAI sous la couche API, assignant des tâches à la couche matérielle sous-jacente.La couche matérielle suivante peut être une NPU ou un GPU. CPU, DSP, ou même ISP.
Cela montre que l'IA ne doit pas fonctionner sur le NPU, d'autres CPU, GPU et DSP peuvent fonctionner, mais il existe des différences fondamentales de performance et d'efficacité: la performance du GPU est 4 fois celle du CPU, tandis que NPU est CPU 25 En plus des performances absolues, l'écart entre les ratios de consommation énergétique est encore plus marqué: comparé aux GPU et aux processeurs, les NPU ont une différence allant jusqu'à 8 fois et 50 fois, ce qui peut être considéré comme une lacune essentielle pour les appareils mobiles. .
Unicorn 970 utilise la NPU pour identifier les éléments en temps réel, la performance peut atteindre une puissance de calcul de 16GFlops.Le traitement unique ne prend que 32ns et le courant d'exploitation est seulement de 300mA Par rapport aux processeurs et GPUs de plusieurs watts, il est très vert.
AI de tests de performance, nous pouvons voir le Maître Lu Qilin 970 par rapport Xiao Long 845 performances de la machine de développement des avantages évidents. Test de Maître Lu AI contient InceptionV3, Resnet34, VGG16 3 projets, dont trois sont trois points de test différents algorithme de reconnaissance était de 100 images pour évaluer la performance par temps. ces trois algorithme de base est actuellement la seule formation de la carte des connaissances de l'intelligence artificielle du réseau de neurones des trois algorithmes, très représentatif, on peut dire que l'algorithme actuel d'apprentissage en profondeur AI . les trois algorithmes, InceptionV3 plus dépendants des CPU et GPU, peu Unicorn 970 et 845 Xiaolong deux d'écart de la plate-forme, et Resnet34, VGG16 sur des algorithmes plus avancés qui peuvent tirer profit des avantages de performance de la NPU, Par conséquent, les performances de Unicorn 970 avec NPU dans les deux éléments de test suivants présentent des avantages évidents.
VGG16 algorithme particulier, voir comprenant des couches 13 et 16 de trois convolution structure de couche de la chaîne est couches liées, la NPU est appropriée. Cette précision de calcul de l'algorithme est FP16, FP32 et CPU sont transmis, de façon plus précise. Toutefois, lorsqu'il est utilisé pour traiter FP16, une seule transmission, ou un seul processus FP16, il en sera un sérieux gaspillage des ressources. par conséquent, dans cette VGG16 calculée sur la base FP16, FP16 optimisé NPU pour une utilisation plus efficace peut être mieux Ressources
La société a même souffle Xiao Long 660 performances AI, mais Xiaolong 660 680 Hexagone DSP n'a pas FP16 puissance de calcul, il est de compter sur AI pour compter? CPU ou GPU? En effet, il peut fonctionner AI, nous ne pouvons pas rejeter le blâme faux Publicité, mais la performance et la consommation d'énergie n'est pas beau.
À l'époque précédant l'IA, pour améliorer la qualité de l'appareil sans seuil apparent sans sous-jacente force R & D de la marque, tout prêt à dépenser quelques dollars pour acheter un meilleur père pour trouver un CMOS Sony, supporter dur sur les rendements inférieurs de grande ouverture, appliquer Qualcomm ou une version publique de Samsung de l'algorithme ISP toss toss, peuvent aussi faire un bon téléphone appareil photo. Cependant, après l'arrivée de la grippe aviaire, la pensée traditionnelle n'est plus possible, au plus, un concours simple pour que la marque n'est pas le matériel sous-jacent des capacités de R & D peut enregistrer un bon matériel mais s'il y a un algorithme manquant basé sur l'apprentissage de la profondeur intelligente AI, pourrait rendre le produit complètement derrière l'idée. l'écart entre les deux echelon a été ouvert, il a été suivi par le golfe, menant par la suite d'IA difficile à maintenir Le niveau
Sous La société a algorithme de force R & D, bien que la situation est un peu mieux, peut participer à une étude approfondie AI dans le jeu, mais ces entreprises ne disposent pas de la puce niveau capacité de R & D, nous ne pouvons pas fournir fournisseur de comptage de puce NPU suffisante de produits en amont du cas, seule Se plaindre et réticent à suivre.
Cependant, les entreprises ayant des capacités de développement et d'apprentissage de la machine AI sont des entreprises de premier plan, Huawei a une marque Kirin comme base, et HiAI et des machines de développement sont utilisées comme plate-forme intermédiaire. plus de produits électroniques grand public et les applications logicielles en contact direct avec les clients finaux, ces écosystèmes est un développement sain et durable de l'écologie AI. pour les consommateurs, en fonction de la profondeur de l'apprentissage AI juste une boîte noire, les utilisateurs ne ont pas besoin et de comprendre la façon dont il fonctionne, vous pouvez tout simplement profiter des fruits de leur flattée. Huawei Kirin est ce flattée héros méconnus, fera son travail dur après notre vie meilleur.