IBM Research et l'EPFL lancent la solution d'apprentissage machine Big Data à la conférence NIPS 2017, une méthode qui tire parti d'un GPU pour traiter 30 Go de données de formation en moins de 10 minutes, jusqu'à 10 fois la quantité de formation en mémoire limitée existante.
L'équipe a déclaré que les défis rencontrés lors de l'entraînement à la machine dans le big data datent du fait qu'il est courant, mais difficile, de relancer l'entraînement à n'importe quel niveau de TB. Mémoire, mais cela peut prendre des heures, voire des semaines.
Ils croient que le matériel informatique spécial actuel, comme les GPU, peut vraiment accélérer le calcul, mais il est limité aux tâches intensives en calcul plutôt qu'aux tâches exigeantes en données, et si vous voulez profiter des avantages du GPU, vous devez précharger les données. Pour la mémoire GPU, et la capacité maximale actuelle de la mémoire GPU est seulement de 16 Go, ce qui n'est pas suffisant pour l'apprentissage automatique.
L'opération par lots semble être une méthode réalisable, les données de formation sont divisées en morceaux, et en conformité avec l'ordre de charger le GPU pour faire la formation modèle, mais l'expérience a constaté que le transfert de données de la CPU dans le GPU Le chercheur d'IBM, Celestine Dünner, a déclaré que le plus grand défi de l'apprentissage automatique sur le GPU est l'impossibilité de stocker toutes les données dans la mémoire.
Pour résoudre ce problème, l'équipe de recherche développé pour ensemble de données de formation technique pour souligner l'importance de la formation dans l'utilisation et par conséquent, seules les données importantes, et que la plupart ne pas besoin de données inutiles envoyées GPU, économisant ainsi la formation de temps. Comme de distinguer le modèle de formation de l'image des chiens et des chats, une fois que le modèle a constaté que l'une des différences chat avec des oreilles de chat chien est certainement plus petit que les chiens, le système conservera cette fonction, le modèle de formation de l'avenir ne sont pas répétées examen de cette fonction, Par conséquent, le modèle de formation sera plus rapide. chercheur IBM Thomas Parnell a déclaré que ces caractéristiques pour faciliter le modèle de formation plus fréquents, mais aussi plus modèle d'ajustement en temps opportun.
Cette technique permet de mesurer la contribution de chaque point de données à l'algorithme d'apprentissage, en utilisant principalement le concept de disparité binaire et en ajustant l'algorithme de formation dans le temps. Avec l'application pratique de cette méthode, l'équipe de recherche travaille sur des plateformes hétérogènes , Développement d'un nouveau composant réutilisable, DuHL, pour un modèle de formation en apprentissage automatique conçu pour l'apprentissage hétérogène de la disparité binaire.
IBM a déclaré que son prochain objectif est de fournir DuHL dans le cloud car l'unité actuelle du service GPU cloud est basée sur des heures, et les économies de coûts seront stupéfiantes si le temps de formation du modèle passe de dix heures à une heure.
(Panneau supérieur) le temps de la figure nécessaire pour afficher un trois algorithmes, comprenant les performances Duhl à l'appui à grande échelle machine de vecteur, les ensembles de données sont utilisées base de données IMAGEnet de 30GB, 8GB de matériel de mémoire GPU Quadro M4000, l'efficacité GPU figure peut être trouvée dans la séquence de lots, même pire que le procédé simple de la CPU, et Duhl au moins 10 fois la vitesse des deux autres méthodes.