تحقیقات IBM و موسسه تکنولوژی فدرال سوئیس در لوزان، منتشر شده راه حل های داده به طور مشترک بزرگ در یادگیری ماشین 2017 کنفرانس NIPS، این روش می توانید استفاده از GPU پردازش داده های آموزشی را 30GB در یک دقیقه، که 10 بار از روش های آموزش حافظه محدود موجود است.
این تیم تحقیقاتی گفت که این مسابقه در ماشین آموزش دوران داده های بزرگ است که غالبا در سطح آموزش سل داده کردن، است که یک مشکل شایع است، اما دشوار است، شاید یک سرور است ظرفیت حافظه کافی، قادر خواهد بود برای بارگذاری تمام داده های آموزشی می باشد مواجه می شوند این محاسبه حافظه، اما هنوز هم صرف ساعت یا حتی چند هفته.
آنها بر این باورند که در حال حاضر مانند محاسبات GPU، و دیگر به سخت افزار خاص، می تواند در واقع طور موثر افزایش سرعت عملیات، اما فقط برای کار محاسبه جامع، وظایف نیست اطلاعات فشرده. اگر می خواهید به استفاده از مزایای محاسبات فشرده GPU، آنها نیاز به قبل از بار اطلاعات حافظه GPU، اما در حال حاضر تنها ظرفیت حافظه GPU تا 16GB، برای اجرای یادگیری ماشین است خیلی راحت نیست.
عملیات دسته ای به نظر می رسد یک روش عملی است، داده های آموزشی به قطعات تقسیم شده و مطابق با دستورالعمل برای بارگیری GPU برای انجام آموزش مدل، اما این آزمایش نشان داد که انتقال داده ها از CPU به هزینه های انتقال GPU به طور کامل تحت پوشش محققان IBM Celestine Dünner از مزایای قرار دادن داده ها در محاسبات GPU با سرعت بالا می گویند بزرگترین چالش با یادگیری ماشین در GPU این است که ناتوانی در انتقال همه داده ها به حافظه است.
برای حل این مشکل، این تیم تحقیقاتی توسعه یافته برای مجموعه داده آموزش فنی علامت اهمیت آموزش در استفاده و در نتیجه تنها اطلاعات مهم و اکثر لازم نیست داده های غیر ضروری GPU فرستاده می شود، در نتیجه صرفه جویی زمان آموزش. مانند به تشخیص مدل آموزش سگ و گربه تصویر، یک بار مدل دریافتند که یکی از گربه تفاوت با گوش سگ گربه است که قطعا کوچکتر از سگ، سیستم از این ویژگی را حفظ، مدل آموزش از آینده بررسی این ویژگی تکرار نیست، بنابراین مدل آموزش سریع تر خواهد بود. محقق IBM توماس پارنل گفت از جمله ویژگی های برای تسهیل آموزش مدل مکرر، بلکه مدل تنظیم به موقع است.
این تکنیک برای اندازه گیری سهم هر نقطه داده ها بر روی الگوریتم یادگیری چقدر، استفاده اصلی از مفهوم تفاوت فضایی از نفوذ و به موقع تنظیم الگوریتم آموزش استفاده شده است. کاربرد عملی این روش، تیم تحقیقاتی بر روی سیستم عامل ناهمگن (سیستم عامل محاسبه ناهمگن) در ، یک مولفه جدید، چند منظوره قابل استفاده، DuHL، برای یک مدل آموزش یادگیری ماشین طراحی شده برای یادگیری ناهمگن اختلاف دوگانه طراحی شده است.
آی بی ام گفت که هدف بعدی خود است که به ارائه DuHL در ابر، از آنجا که ابر GPU واحد خدمات حسابداری و مدیریت فعلی ساعت است، در صورتی که زمان آموزش مدل شده است از ده ساعت به یک ساعت کاهش می یابد، و صرفه جویی در هزینه خواهد شد بسیار هشدار دهنده است.
(بالا) نمودار نشان می دهد زمان مورد نیاز برای سه الگوریتم، از جمله DuHL در SVM عظیم، با استفاده از یک پایگاه داده 30GB ImageNet با سخت افزار به عنوان یک کارت گرافیک NVIDIA Quadro M4000 8GB، این رقم بازدهی دسته های توالی GPU را حتی بدتر از روش های CPU نشان می دهد، در حالی که DuHL بیش از 10 برابر سریعتر از دو روش دیگر است.