Inférences IA aux nœuds périphériques | applications vidéo / voix représentent chacune la moitié du ciel

2018 Aiot marché de croissance incroyable, conduire le développement d'une variété de dispositifs, mais aussi pour promouvoir la fonction d'apprentissage profond fonctionne sur le bord de se tourner vers le nuage pour obtenir une faible latence, à faible bande passante, la confidentialité élevée et une grande efficacité de l'expérience de l'application de l'intelligence artificielle.

Avec l'intelligence artificielle (AI), fonctionne sur la technologie de pointe (Computing Edge) au cours des dernières années, le développement rapide d'une variété de produits électroniques grand public et les appareils ménagers concept de maison intelligente inclus sont des changements révolutionnaires auront lieu progressivement. En fin de compte, les différents Un réseau d'intelligence artificielle composé de dispositifs domestiques peut devenir un autre membre de la famille que vous ne pouvez pas voir.Le concept du nuage local et de son équipement connexe sera un élément indispensable dans la mise en place d'un réseau d'intelligence artificielle à domicile.

Haut-parleur intelligent / surveillance deviendra deux axes majeurs de l'IA de consommation

Le cabinet d'études Ovum responsable du suivi de la mise au point du chercheur technologie grand public Ronan de Renesse (figure 1) que l'application de la grippe aviaire dans le domaine de l'électronique grand public, près de deux ans deviennent souvent l'objet de l'attention des médias, mais l'électronique grand public et AI combinée à la tendance, Cela ne fait que commencer à se développer.Dans les trois à cinq prochaines années, de nombreux produits d'électronique grand public porteront la fonctionnalité AI et seront reliés les uns aux autres pour former un réseau d'intelligence artificielle à la maison.

Figure 1 Ronan de Renesse, chercheur en technologie grand public chez Ovum, croit que divers appareils électroniques de la future famille deviendront un membre invisible de la famille.

Pour la chaîne de matériel, bien que cette tendance apportera de nouvelles opportunités d'affaires, mais si d'un point de niveau supérieur de vue, cette entrée tranquillement le réseau d'intelligence artificielle dans la maison, vous serez je ne vois pas une autre « famille Membres. "

Sur le plan matériel, les enceintes intelligentes qui sont familières à tout le monde sont essentiellement des produits relativement matures.Même si les ventes augmenteront considérablement au cours des cinq prochaines années, la croissance ralentira graduellement. Le chiffre d'affaires avoisine les 9,5 milliards de dollars, Renesse estime en effet qu'Amazon et Google pourraient ne pas être en mesure de lancer leur propre marque de haut-parleurs intelligents à l'avenir, car ce type de produit a lui-même peu de marge bénéficiaire. Pour les géants du réseau domestique, tant que les fournisseurs de matériel utilisent leurs services de plate-forme, ils peuvent collecter les données dont ils ont besoin.

Au cours de la même période, les produits intelligents de surveillance à domicile ne sont pas dotés de composants d'intelligence artificielle, mais plutôt de caméras, d'alarmes, de serrures de porte, de capteurs et autres matériels. Les produits sont connectés les uns aux autres pour former un système de sécurité qui prend en charge Event Trigger.Toutefois, au fur et à mesure que les technologies matérielles et logicielles associées deviennent plus matures, la proportion de caméras de surveillance domestiques dotées d'intelligence artificielle augmentera et, en même temps, Les applications, telles que l'utilisation d'assistants vocaux, fournissent à plusieurs utilisateurs des services plus précis dans un environnement multi-utilisateur.

Protection de la vie privée des consommateurs pour les applications AI

Cependant, pour l'industrie du matériel, ce qui est le plus remarquable, c'est que le concept de cloud local et les produits d'application associés seront pris en compte, car les appareils domestiques supportent généralement l'IA. Produire une grande quantité de données d'utilisateurs, et beaucoup d'entre eux sont des données liées à la vie privée.Par conséquent, si ces produits électroniques à domicile équipés d'intelligence artificielle s'appuient entièrement sur le cloud externe pour fonctionner, il va évidemment causer des problèmes de confidentialité.

D'un autre côté, de nombreux appareils IoT grand public avec des fonctions relativement simples sont limités par la puissance, la puissance de calcul et les coûts de production.Ils peuvent ne pas être en mesure de supporter des algorithmes AI de très haut niveau. Commandez de manière uniforme ces appareils.

Cependant, Renesse a également admis qu'il est encore difficile d'affirmer quel appareil va jouer dans un centre de cloud local: il peut s'agir d'un haut-parleur intelligent d'ordre supérieur, il peut s'agir de smart TV ou d'autres produits.

Ian Smythe, directeur principal du marketing chez Arm (figure 2) croit également que de plus en plus de moteurs de calcul et d'inférence se déplaceront vers le terminal à l'avenir, la principale force motrice de ce transfert étant la protection de la vie privée des utilisateurs. En traitant et en analysant les données du terminal, vous pouvez facilement anonymiser les données et éviter que des données sensibles ne fuient à travers le réseau.Par exemple, les consommateurs ne veulent pas que l'on sache par Internet qu'ils ne sont pas à la maison. Le temps des gens, puis facilement voler à la maison.

Figure 2 Ian Smythe, directeur principal du marketing chez Arm, a déclaré que pour les applications d'IA grand public, la fiabilité du mécanisme de protection de la confidentialité sera la clé de la popularisation de l'application.

Pour les applications visuelles, Smythe pense que les caméras qui prennent en charge la reconnaissance visuelle sont considérées comme des problèmes de confidentialité importants, car elles doivent être conçues de manière à pouvoir être protégées lorsqu'elles sont stockées localement ou transmises au cloud. Confidentialité et informations sensibles Comme la transmission est généralement connectée sans fil, une attention particulière doit être accordée à la sécurité de la fonction de transmission sans fil.Les ingénieurs qui conçoivent l'appareil doivent s'assurer que les appareils connectés au réseau ne sont pas piratés.

La vie de la batterie reste le principal défi technique

Cependant, au bord des nœuds AI, le plus grand défi technique est encore la consommation d'énergie du système. Pour des caméras de surveillance à la consommation, par exemple, les consommateurs peuvent attendre ces produits sont totalement sans fil, il est préférable de ne pas même les lignes électriques Cela signifie que ces produits doivent être alimentés par batterie et supportent également les réseaux sans fil, en plus d'être en mesure d'identifier tous les éléments et d'avoir un espace de stockage illimité.

Au-dessus de la demande beaucoup de défis pour la conception du système, il peut nécessiter plusieurs mois pour exécuter une capacité de batterie chargée en permanence de l'apprentissage machine (ML), et la capacité continue de télécharger des fichiers vers le stockage en nuage Ces cas extrêmes des composants de conception et de système puce Les exigences sont assez exigeantes, et surtout, ils ont maîtrisé quand permettre l'orchestration de ces fonctions pour prolonger la vie de la batterie.

Avec la caméra de surveillance à domicile, une caméra vidéo n'a pas besoin de 24 heures transfert salle vide, il suffit de télécharger l'image de la partie est seulement raisonnable quand il y a identité non confirmée des gens là-bas. De même, dans le cas comme la disponibilité de la même scène Cela n'a pas de sens d'activer l'algorithme ML.Réglez soigneusement où et quand ces fonctionnalités sont activées pour que l'appareil grand public puisse fonctionner dans le mode prévu avec seulement 2 piles AA et qu'il puisse être utilisé pendant une longue période de temps.

Parce que la consommation électrique est l'un des principaux obstacles à l'entrée des terminaux dans les IA, de nombreuses start-up sur le marché voient maintenant l'opportunité de lancer un accélérateur de réseau neuronal de faible puissance (NN) pour protéger la puce. Tout en réduisant la consommation d'énergie, les développeurs peuvent atteindre les performances requises par l'inférence d'algorithmes.Kneron a officiellement lancé sa série NPU, un processeur d'intelligence artificielle dédié aux terminaux. IP Cette série comprend trois produits, à savoir la version ultra basse consommation KDP 300, la version standard KDP 500 et la version haute performance KDP 700, qui peuvent répondre aux besoins des téléphones intelligents, des maisons intelligentes, de la sécurité intelligente et de divers appareils IoT. La gamme complète de produits a une faible consommation d'énergie, est de petite taille et offre de puissantes capacités de calcul: différente de la consommation d'énergie du processeur pour l'intelligence artificielle sur le marché, la Kneron NPU IP consomme 100 milliwatts. (mW) class, pour le KDP 300 dédié à la reconnaissance faciale pour les smartphones, consomme moins de 5 milliwatts.

Shi Yalun, responsable du marketing et des applications chez Endurance Products (figure 3), a souligné que la nécessité d'effectuer des opérations d'intelligence artificielle sur le terminal tout en répondant aux exigences de consommation et de performance est une priorité absolue. À l'heure actuelle, l'application de l'intelligence artificielle peut être divisée en deux grandes catégories: la voix et la vidéo, et la structure du réseau neuronal utilisée est différente.L'architecture du réseau est le réseau neuronal récurrent (RNN). La structure de réseau principale utilisée pour l'analyse d'image est le réseau de neurones convolutif (CNN): pour optimiser les différentes structures de réseau, la solution fournie par la capacité est différente.

Shen Ming-feng (figure 3 à droite) porte peut compléter le gestionnaire de conception de logiciels, bien que la demande plus faible pour la puce d'analyse du langage naturel des performances de calcul, mais à cause du ton de la langue, les habitudes de la parole ont une grande différence, et donc nécessaire que l'ensemble des données de formation de modèle reconnaissance d'image est plus grande. en revanche, les consommateurs déjà habitués à utiliser assistant vocal en nuage d'Apple (Apple) Siri, Google assistant, etc. Par conséquent, l'application hors ligne d'analyse sémantique pour obtenir les consommateurs, La condition préalable est que nous devions offrir une expérience de consommation similaire avec des ressources informatiques limitées, ce qui représente un défi pour les fournisseurs de puces et les développeurs de systèmes.

3 ours peuvent demander Marketing et Product Manager Shiya Lun (gauche) estime que la voix à la reconnaissance d'image sont de nature très différente, doivent compter sur les différentes solutions pour répondre. Shen Ming-feng est le bon logiciel peut être responsable de la conception résistante.

En fait, la grande majorité des haut-parleurs intelligents, ne sont pas considérés comme des produits informatiques de pointe. Shiya Lun a souligné que, quel que soit l'Amazon (Amazon) d'Echo, HomePod d'Apple ou haut-parleur intelligent plate-forme Baidu, Alibaba, ou si vous voulez avoir données au nuage pour le traitement avec l'analyse sémantique, afin de répondre à l'utilisateur. commande vocale peut être effectuée directement sur le produit final, essentiellement la plupart des règles en mode adopté (à base de règles), et non basée sur la compréhension sémantique naturelle de l'apprentissage de la machine.

Depuis l'introduction de NPU IP, le premier processeur d'intelligence artificielle de la société dédié aux terminaux, Nasdalem a continuellement amélioré sa conception et ses spécifications en 2016, et optimisé pour différentes applications industrielles Parmi les adresses IP actuellement disponibles pour les clients, KDP 500 clients de l'usine à l'aide du système a été et sera en production de masse dans la fabrication du deuxième trimestre (Masque bande-out). reconnaissance vocale avec des chiens de recherche coopération a réalisé l'analyse hors ligne sémantique, même si le dispositif terminal est pas connecté au réseau, mais aussi Peut comprendre les instructions vocales de l'utilisateur.

Kneron NPU IP est dédié processeur d'intelligence artificielle pour le dispositif terminal est conçu de telle sorte que le dispositif terminal dans un environnement hors ligne, vous pouvez exécuter ResNet, YOLO autre réseau d'apprentissage en profondeur. Kneron NPU est une des solutions matérielles complètes de bout AI, y compris le matériel IP, compilateur (compilateur), et le modèle de compression (compression modèle) trois parties, peut prendre en charge une variété de modèles de réseaux de neurones traditionnels, tels que Resnet-18, Resnet-34, Vgg16, GoogleNet, et Lenet, ainsi que le soutien traditionnel apprentissage en profondeur Cadres, y compris Caffe, Keras et TensorFlow.

Kneron NPU consommation d'énergie IP est le niveau de 100 mW, la version ultra-faible puissance du PDK 300 ou encore moins de 5 mW, une gamme complète de produits dans les performances par watt 1,5 TOPS / W ou plus, l'utilisation d'un certain nombre de technologie exclusive, il peut Répond aux besoins des fournisseurs de puces, des fournisseurs de systèmes pour une faible consommation d'énergie, une puissance de calcul élevée.

Verrouillage des éléments de base Les accélérateurs matériels n'ont pas peur de l'itération technique

Durcissement (Câblé) circuit pour améliorer l'efficacité de certaines tâches de calcul, ce qui réduit la consommation d'énergie, la conception de puces pour les âges, mais au prix de la flexibilité des applications plus faible, des changements importants en cas de demande du marché pour les fonctions de puce , Ou l'algorithme du logiciel change radicalement, les concepteurs de puces doivent re-développer de nouvelles puces.

Dans le cas de la demande de fonction à puce a été essentiellement réglé, et cette conception n'est pas un problème, mais dans les technologies émergentes de techniques itératives rapides, cette approche de la conception, il y aura un risque relativement important dans les affaires l'intelligence artificielle est très rapide itération qualifiée, presque chaque année un nouvel algorithme avec le modèle disponible. firme de recherche ouverte Amnesty International a également souligné qu'au cours des six dernières années, le modèle de formation AI pour calculer la demande d'énergie augmentera chaque 3,43 un mois Les temps

À cet égard, Shen Ming-feng a souligné, n'est pas nécessairement un accélérateur matériel est pas élastique. Résistant aux produits énergétiques, par exemple, dans la conception architecturale, la société utilise split noyau de convolution (filtre de décomposition) de la technologie, la grande convolution du noyau de convolution calculer une pluralité de petits blocs divisés en un des blocs de calcul de convolution séparément, puis convolution d'accélération matérielle reconfigurable combiné technique (convolution reconfigurable accélération), le résultat d'opération de convolution de l'opération une pluralité de petits blocs sont fusionnés pour accélérer le global Efficacité opérationnelle

Paraboles plus facile à comprendre, comme des briques Lego peuvent être combinés en une variété de modèles pour construire un objet, mais l'objet lui-même est encore tout un tas de quelques boîte de base. Programme d'énergie de résistance est indispensable pour les algorithmes AI Les éléments de base sont accélérés pour améliorer les performances d'exécution de l'ensemble de l'algorithme.Par conséquent, même si l'algorithme AI est mis à jour à très grande vitesse, la solution basée sur les performances peut encore exercer un effet d'accélération.

En plus de l'accélérateur lui-même est conçu pour les éléments de base, plutôt que d'un algorithme spécifique pour accélérer la résistance extérieure globale, peut également fournir des techniques d'accélération et les applications de AI ou déployée, tel que son modèle de compression de modèle (Modèle Compression) Technologie de compression mis unoptimized le nombre de fois, la technologie de stockage de mémoire hiérarchique (multi-niveau caching) peut réduire la charge du processeur et de réduire la quantité de transmission de données, afin d'améliorer encore l'efficacité opérationnelle globale en outre, Kneron NPU IP peut être combiné logiciel de reconnaissance d'image Kneron, fournit une analyse d'identification en temps réel, et rapide. La réponse est non seulement plus stable, mais répond également aux exigences de sécurité et de confidentialité.Parce que le matériel et les logiciels peuvent être étroitement intégrés, la solution globale est plus petite et la consommation d'énergie est inférieure pour aider au développement rapide des produits.

L'identification de l'image AI est plus urgente vers le bord

Dans l'ensemble, la demande actuelle du marché pour la reconnaissance d'image est une analyse plus urgente, sémantique hors ligne, bien qu'il existe des haut-parleurs intelligents cet immense applications potentielles du marché, mais ce pari, mais moins de ressources de l'industrie. La principale raison de ce phénomène est que l'image La transmission occupera une grande partie de la bande passante, ce qui augmentera le coût total de propriété du système, ce qui n'est pas le cas de Voice.

Lin Zhiming, directeur général de Jingxin Technology (Figure 4), a expliqué que l'intégration de l'intelligence artificielle et de l'Internet des objets conduirait également à l'introduction de la technologie informatique de pointe, qui sera appliquée à diverses applications émergentes. Parmi cette tendance, la flexibilité et la rapidité sont les principaux avantages pour les fabricants taïwanais: pour la plupart des entreprises taïwanaises et des sociétés de conception de circuits intégrés, il est plus facile de se lancer dans le marché de l'intelligence artificielle.

Figure 4: Zhixin Lin, directeur général de Jingxin Technology estime que IP Cam sera l'une des principales applications pour effectuer des inférences AI sur les périphériques de bord.

En même temps, grâce à l'introduction de la technologie de périphérie, les besoins en matériel tels que la mémoire et la transmission augmenteront, ce qui augmentera considérablement les coûts de fabrication, puisque le système sur puce (SoC) est plus complexe que les autres applications. La tolérance au coût est également importante, de sorte que la technologie de calcul de périphérie devrait être la première à être importée par des applications liées à l'image telles que IP Cam.

Les applications de l'intelligence artificielle peuvent être divisées en formation et identification.Dans le processus de calcul massif de l'apprentissage en profondeur, l'informatique en nuage est encore réalisée dans un court laps de temps.La tâche de l'informatique périphérique est de faire les informations collectées en premier. Le traitement initial, après avoir filtré les informations non importantes, télécharge les données sur le cloud pour économiser le coût de transmission, tandis que l'apprentissage en profondeur complété par le cloud peut également rendre la fonction d'identification du terminal plus intelligente. Par exemple, le travail de l'apprentissage en profondeur des images peut être complété par l'informatique en nuage.Après que l'apprenant en attente reconnaît le piéton, la caméra IP située au bord ne peut effectuer que le travail d'identification.

D'autre part, parce que IP Cam est largement utilisé dans le maintien de la sécurité et la sécurité communautaire, le gouvernement et les entreprises sont relativement disposés à soutenir l'investissement, ce qui sera également une raison pour le développement rapide de IP Cam.

Lin Zhiming a partagé que de nombreux fabricants étudient maintenant comment importer l'intelligence artificielle dans leurs propres puces et systèmes.La situation actuelle est similaire au début de l'Internet des Objets.Tout le monde essaie encore de comprendre comment utiliser cette technologie.Il est estimé que les fabricants seront autour de 2020. Va lancer plus de produits réels.

Les applications en temps réel doivent utiliser une architecture informatique de pointe

L'intelligence artificielle est aujourd'hui un sujet brûlant: le passage progressif d'une architecture de cloud computing à une architecture informatique de pointe aura un impact significatif sur les fournisseurs de supply chain, même si le développement de l'intelligence artificielle à court terme continuera à être dominé par le cloud computing, Cependant, de nombreuses fonctions d'intelligence artificielle concernant les applications de vision commenceront à importer des bords.

Dale K. Hitt, directeur du développement du marché pour la stratégie d'intelligence visuelle de Xilinx (Figure 5), souligne que dans un avenir prévisible, les composants de formation au développement de l'intelligence artificielle seront encore dominés par le cloud computing. Utilisez les opérations de périphérie pour prendre en charge les applications nécessitant une faible latence et une efficacité réseau.

Figure 5 Dale K. Hitt, directeur du développement du marché pour la stratégie d'intelligence visuelle de Xilinx, estime que pour les applications nécessitant une très faible latence, les opérations de périphérie seront la meilleure solution.

L'apprentissage automatique pour les applications liées à la vision constituera l'une des tendances clés et de grande envergure pour les applications à commande latérale, ainsi que la vision industrielle, les villes intelligentes, l'analyse visuelle et le marché de l'auto-conduite. Potentiel de croissance En ce qui concerne la vision industrielle et les applications grand public, l'arithmétique des arêtes doit implémenter des algorithmes d'apprentissage machine, les performances sont également beaucoup plus élevées que les solutions de génération précédente. Nécessite un matériel auto-adaptatif pour optimiser les futures architectures d'inférence d'apprentissage automatique.

Par exemple, Hitt utilise des voitures autonomes: derrière chaque capteur de la voiture, il y a un support d'algorithme précis qui produit les résultats de l'interprétation sensorielle à partir des données du capteur, la dernière tendance étant d'utiliser des algorithmes d'apprentissage profonds pour générer ces résultats d'interprétation perceptuelle. Les algorithmes d'apprentissage en profondeur doivent être formés à travers un grand nombre de situations potentielles pour apprendre à lire toutes les données de capteurs possibles.

Après la formation, les algorithmes d'apprentissage en profondeur nécessitent une efficacité de calcul extrêmement élevée et une très faible latence pour contrôler le véhicule en toute sécurité.Pour les véhicules électriques, une faible consommation d'énergie doit être appliquée pour limiter la température de fonctionnement et augmenter la puissance de la batterie. L'objectif est de fournir des solutions adaptables à haute efficacité et à faible consommation d'énergie pour répondre aux divers besoins de l'intelligence artificielle à bord autonome.

Dans le développement de l'informatique de périphérie, le plus grand défi est que la demande du marché évolue trop rapidement, c'est pourquoi les technologies qui peuvent s'adapter rapidement aux différents changements sont extrêmement importantes pour permettre aux entreprises de maintenir leur compétitivité.

Hitt illustrer davantage la profondeur des algorithmes d'apprentissage à un rythme rapide des progrès soutenus, la plupart des solutions de pointe en 2017 a jusqu'à présent fait face à une chute similaire. Même si la plupart des autres ont maintenant une plus grande capacité, ainsi que la hausse informatique à la demande, le matériel encore Optimiser Le matériel doit être mis à jour plus rapidement pour éviter d'être éliminé Certains matériels peuvent même nécessiter une mise à jour pendant la production Plusieurs autres technologies doivent également être rappelées pour mettre à jour la puce.

Hitt a ajouté que les avantages uniques des FPGA incluent l'optimisation matérielle profonde, y compris les opérations, l'architecture de la mémoire et les liens.Par rapport aux CPU et GPU, ils peuvent atteindre des performances plus élevées avec une consommation d'énergie inférieure après optimisation. L'architecture matérielle ne peut pas être rapidement optimisée pour de nouvelles exigences dérivées.

L'opération de bord est écrasante

applications AI comptent sur les opérations des centres de données en nuage, mais il y a très haut le soutien de puissance de calcul, il est généralement plus élevé que le bord de la justesse du dispositif d'identification selon le modèle simplifié de raisonnement, mais après avoir pris en des problèmes de confidentialité du compte, la réponse en temps réel en ligne et les coûts et d'autres facteurs des déductions directes sur le bord de l'appareil, est encore option très intéressante. d'autre part, une grande taille du marché des centres de données en nuage que le dispositif terminal, il y a une forte incitation économique. c'est aussi l'année dernière Aiot criant choc des slogans Le prix est très élevé et les principales sociétés de semi-conducteurs déploient activement leurs activités.

Quant à l'avenir, les applications IA qui sont pris en charge par le nuage existent encore sur le marché, mais la proportion est liée à réduire d'année en année, il sera remplacé par une nouvelle architecture cloud hybride et l'informatique bord. Les applications de développeurs AI, le nuage ne peuvent pas être remplacés la valeur est dans le train de modèle, plutôt que d'effectuer l'inférence. aussi pour cette raison, les développeurs d'applications, les fournisseurs de solutions peuvent parvenir à une intégration transparente entre le « nuage » et « fin » seront les développeurs d'applications La considération la plus importante lors de l'évaluation des fournisseurs.

2016 GoodChinaBrand | ICP: 12011751 | China Exports