A IBM Research e a EPFL lança grande solução de aprendizagem de máquinas de dados na Conferência NIPS 2017, um método que tira proveito de uma GPU para processar 30 GB de dados de treinamento em menos de 10 minutos, até 10 vezes a quantidade de treinamento de memória limitada existente.
A equipe disse que os encontros de treinamento de máquinas desafiadoras na grande idade dos dados é que é um problema comum mas complicado para iniciar o treinamento em qualquer nível de TB. Talvez um servidor com memória suficiente possa carregar todos os dados de treinamento Memória, mas pode levar horas ou mesmo semanas.
Eles acreditam que o hardware de informática especial atual, como as GPUs, pode realmente acelerar a computação, mas é limitado a tarefas intensivas em computação ao invés de tarefas intensivas em dados e, se você quiser aproveitar os benefícios da computação intensiva em GPU, você precisa pré-carregar dados Para a memória GPU, e a capacidade máxima atual da memória GPU é de apenas 16 GB, o que não é amplo para o aprendizado da máquina.
A operação em lote parece ser um método viável, os dados de treinamento são divididos em peças, e de acordo com a ordem para carregar a GPU para fazer o treinamento do modelo, mas a experiência descobriu que a transferência de dados da CPU para os custos de transmissão do GPU foi completamente coberta Os benefícios de colocar dados na computação GPU de alta velocidade, a pesquisadora da IBM, Celestine Dünner, disse que o maior desafio com o aprendizado da máquina na GPU é a incapacidade de lançar todos os dados na memória.
Para resolver esse problema, a equipe de pesquisa desenvolveu técnicas para marcar a importância dos conjuntos de dados de treinamento, de modo que o treinamento usa apenas os dados mais importantes, então a maioria dos dados desnecessários não precisa ser enviada para a GPU, economizando muito tempo de treinamento. Para treinar um modelo para distinguir entre imagens de cachorros e gatos, uma vez que o modelo descobre que uma das diferenças entre um gato e um cachorro é que a orelha do gato deve ser menor do que o cão, o sistema reterá esse recurso e não repetirá esse recurso em futuros modelos de treinamento, Como resultado, os modelos estão sendo treinados de forma rápida e rápida, de acordo com o pesquisador Thomas Parnell da IBM, um recurso que facilita o treinamento mais freqüente de modelos e o ajuste mais oportuno de modelos.
Esta técnica é usada para medir o valor de cada ponto de dados no algoritmo de aprendizagem, principalmente usando o conceito de disparidade binária e ajustando o algoritmo de treinamento com o tempo. Com a aplicação prática desse método, a equipe de pesquisa está trabalhando em plataformas de computação heterogêneas , Desenvolveu um novo componente reutilizável, DuHL, para um modelo de treinamento em aprendizado de máquina projetado para a aprendizagem heterogênea de disparidade binária.
A IBM disse que seu próximo objetivo é fornecer a DuHL na nuvem, já que a unidade atual do serviço GPU da nuvem é baseada em horas, e as economias de custos serão surpreendentes se o tempo de treinamento do modelo for reduzido de dez horas para uma hora.
(Top) O gráfico mostra o tempo necessário para os três algoritmos, incluindo o desempenho da DuHL em um SVM maciço, usando um banco de dados ImageNet de 30 GB com hardware como GPU NVIDIA Quadro M4000 de 8 GB, A figura mostra a eficiência de lotes de sequências GPU ainda pior do que os métodos somente para CPU, enquanto a DuHL é mais do que 10 vezes mais rápida que os outros dois métodos.