आईबीएम रिसर्च और लुसाने में प्रौद्योगिकी स्विस फेडरल इंस्टीट्यूट ऑफ, मशीन सीखने 2017 NIPS सम्मेलन में संयुक्त रूप से बड़े डेटा समाधान प्रकाशित, इस विधि GPU संसाधित प्रशिक्षण डेटा सेट का लाभ ले सकते एक मिनट है, जो 10 बार मौजूदा सीमित मेमोरी प्रशिक्षण विधियों है में 30GB है।
अनुसंधान दल ने कहा कि प्रशिक्षण मशीन बड़ा डेटा युग में चुनौती अक्सर प्रशिक्षण डेटा टीबी स्तर बंद है, जो एक आम है लेकिन कठिन समस्या है, शायद एक सर्वर है पर्याप्त स्मृति क्षमता, सभी प्रशिक्षण डेटा लोड करने में सक्षम हो जाएगा है में आई है यह स्मृति की गणना करता है, लेकिन अभी भी घंटे या सप्ताह खर्च करते हैं।
वे मानते हैं कि समय मौजूद ऐसे GPU कंप्यूटिंग, और अन्य विशेष हार्डवेयर के रूप में, वास्तव में प्रभावी रूप से अप संचालन तेज़ कर सकता है, लेकिन केवल गणना गहन काम के लिए, नहीं डेटा-गहन कार्य। आप GPU कंप्यूटिंग प्रधान फायदों में से लाभ लेना चाहते हैं, तो वे डेटा लोड पूर्व करने की जरूरत है GPU स्मृति, लेकिन 16GB करने के लिए ऊपर वर्तमान में केवल GPU स्मृति क्षमता, मशीन सीखने लागू करने के लिए करने के लिए बहुत सहज नहीं है।
बैच नौकरियों एक व्यवहार्य दृष्टिकोण प्रतीत होता है, प्रशिक्षण डेटा, एक टुकड़ा में काटा जाता है, और GPU मॉडल प्रशिक्षण अनुक्रम बनाने के द्वारा किया जाता करने के लिए भरी हुई है, लेकिन प्रयोग में पाया गया संचरण लागत में GPU को सीपीयू से डेटा ले जाने के पूरी तरह से अभिभूत हो जाएगा GPU कंप्यूटिंग के लाभों में उच्च गति डेटा लाता है।, आईबीएम शोधकर्ता Celestine Dunner कहा GPU सबसे बड़ी चुनौती सीखने सभी डेटा के अंदर स्मृति में फेंक दिया नहीं डाल करने के लिए है मशीन है कि।
इस समस्या को हल करने के लिए, तकनीकी प्रशिक्षण डाटासेट के लिए विकसित अनुसंधान दल उपयोग में प्रशिक्षण और इसलिए केवल महत्वपूर्ण डेटा के महत्व को चिह्नित करते हैं, और सबसे अनावश्यक डेटा GPU भेजा है, जिससे समय की बचत प्रशिक्षण की जरूरत नहीं है कि। जैसा कुत्तों और बिल्लियों तस्वीर का प्रशिक्षण मॉडल भेद करने के लिए, एक बार मॉडल पाया बिल्ली कान कुत्ते के साथ मतभेदों को बिल्ली से एक निश्चित रूप से कुत्तों से छोटा होता है कि, प्रणाली इस सुविधा बनी रहेगी, भविष्य के प्रशिक्षण मॉडल इस सुविधा की समीक्षा दोहराया नहीं कर रहे हैं, इसलिए प्रशिक्षण मॉडल तेजी से हो जाएगा। आईबीएम शोधकर्ता थॉमस पार्नेल ने कहा कि इस तरह की सुविधाओं अधिक लगातार प्रशिक्षण मॉडल, लेकिन यह भी अधिक समय पर समायोजन मॉडल की सुविधा के लिए।
इस तकनीक को कितना सीखने एल्गोरिथ्म पर प्रत्येक डेटा बिंदु के योगदान, प्रभाव के स्थानिक मतभेद की अवधारणा का मुख्य उपयोग को मापने और समय पर प्रशिक्षण एल्गोरिथ्म समायोजित करने के लिए प्रयोग किया जाता है। इस विधि, अनुसंधान टीम विषम प्लेटफार्मों पर (विषम गणना प्लेटफार्मों) में के व्यावहारिक अनुप्रयोग , मशीन सीखने प्रशिक्षण मॉडल विकसित किया घटकों के लिए एक नया पुन: प्रयोज्य, विषम शिक्षा के स्थानिक मतभेद के लिए बनाया गया DuHL।
आईबीएम ने कहा कि उनकी अगली लक्ष्य बादल में DuHL प्रदान करने के लिए है, क्योंकि वर्तमान GPU क्लाउड सेवा बिलिंग इकाई घंटे का होता है, अगर मॉडल को प्रशिक्षित करने के समय दस घंटे से एक घंटे के लिए कम हो गया है, और है कि लागत बचत बहुत खतरनाक हो जाएगा है।
(ऊपरी पैनल) अंजीर समय एक तीन एल्गोरिदम प्रदर्शित करने के लिए आवश्यक है, बड़े पैमाने पर समर्थन वेक्टर मशीन में DuHL प्रदर्शन शामिल हैं, डेटा सेट, 30GB, स्मृति हार्डवेयर NVIDIA Quadro M4000 GPU की 8GB की ImageNet डेटाबेस उपयोग किया जाता है अंजीर GPU दक्षता बैचों के अनुक्रम, सीपीयू की आसान विधि से भी बदतर में पाया जा सकता है, और DuHL कम से कम 10 बार अन्य दो तरीकों में से गति।