दोहरी 11 काले प्रौद्योगिकी: अनुरूप बड़े डेटा की वास्तविक समय गणना

डाटा युग, बड़ा डेटा कंप्यूटिंग जीवन के सभी क्षेत्रों में प्रवेश किया है, व्यापार वर्षा डेटा, नए व्यापार मूल्य उत्पन्न करने के लिए, बड़ा डेटा कंप्यूटिंग इस तरह से कारोबार चलाने के लिए जारी है गणना की आगे। 11 डबल बिजली प्रदाताओं, व्यवसायों और उपभोक्ताओं कार्निवल के पीछे, एक ही अलग नहीं किया जा सकता है की गणना बड़ा डेटा का मान विशेष रूप से, व्यापक रूप से 'वास्तविक समय कंप्यूटिंग' में लागू किया जाता योगदान लाता है,।

असली दुनिया, डेटा लगातार उत्पन्न और है वास्तविक समय संग्रह और गणना

हम आंकड़े करते हैं, खनन उत्पादों के वाणिज्यिक मूल्य, आवश्यक समस्या डेटा। असली दुनिया, की समस्या है अक्सर के रूप में ऐसे उपयोगकर्ताओं के रूप में समय डेटा लगातार उत्पन्न, व्यापार, माउस क्लिक की एक श्रृंखला ब्राउज़ करें, होगा पृष्ठभूमि डेटा की एक श्रृंखला, मोबाइल फोन का उपयोग कार नेविगेशन, जीपीएस स्थान समय-समय पर अपडेट किया, लॉग डेटा उत्पन्न करने के लिए जारी रहेगा, उन,, समाचार फ़ीड ब्राउज़ गाने के लिए खोज करने के लिए निगरानी कैमरों क्लाउड संग्रहण, लाइव वीडियो के लिए और इतने दृश्य पर अपलोड कब्जा समय समाप्त हो गया छवियों, इसके पीछे-उत्पन्न डेटा लगातार उत्पन्न कर रहे हैं। व्यावसायिक डेटा लगातार उत्पन्न, वास्तविक समय अधिग्रहण फिर से, एक डाटा स्ट्रीम बनाने के लिए।

स्ट्रीमिंग डेटा, एक बार एकत्र, तुरंत गणना कर सकते हैं भाग लेते हैं, और व्यावसायिक अनुप्रयोगों, जो वास्तविक समय में गणना के तरीके पर गणना की परिणाम है। वास्तव में वास्तविक समय डेटा गणना पहले से ही लोगों के जीवन के हर पहलू में प्रवेश किया है, और मौसम की भविष्यवाणी के रूप में इस तरह के, लोगों की आदतों से पहले मौसम की भविष्यवाणी के बारे में जानकारी प्राप्त करने के लिए एक दिन में एक बार, अब आप वास्तविक समय मौसम की भविष्यवाणी देख सकते हैं, मौसम की भविष्यवाणी के लिए समय की एक ही बिंदु और सटीक होंगे क्योंकि यह समय, अद्यतन डाटा अधिग्रहण और वास्तविक समय डेटा कंप्यूटिंग के प्रभाव लाता नजर रखने के लिए है जो दृष्टिकोण।

अनुसार अनुरूप रुचि रखते हैं, वास्तविक समय कंप्यूटिंग उत्पादों उपयोगकर्ताओं के प्रति अधिक जागरूक बनने

अधिक से अधिक वास्तविक समय डेटा स्रोतों, डेटा की वार्षिक मात्रा की संख्या में वृद्धि तेजी से बढ़ रहे हैं, यह वास्तविक समय गणना में ही अच्छा है, आप और अधिक परिदृश्यों, बेहतर आवेदन प्रभाव हो सकता है, संभवतः कुछ क्रांतिकारी परिवर्तन करें.फिर, वास्तविक समय कंप्यूटिंग का बड़ा डेटा क्या कर सकता है?

, प्रत्येक उत्पाद श्रेणी की बिक्री के अनुपात में, आदेश वृद्धि की प्रवृत्ति, सक्रिय उपयोगकर्ताओं भौगोलिक स्थिति Netease, Lahaina परीक्षण खरीद डबल 11, 618 समुद्र Amoy समारोह और अन्य गतिविधियों के दौरान, वहाँ एक Netease कई बड़े स्क्रीन वास्तविक समय वर्तमान दिनांक कुल बिक्री प्रदर्शित किया जाएगा, आदि , विभिन्न आयामों के बारे में जानकारी के लिए लगातार एक बिजली आपूर्तिकर्ता कार्निवल माहौल जोड़ने के लिए एक ही स्क्रीन पर पिटाई कर रहे हैं। प्रत्येक आदेश के लिए प्रत्येक उपयोगकर्ता बड़े परदे पर रीयल-टाइम अपडेट के प्रभाव। वास्तविक समय अनुप्रयोगों के इस दृश्य प्रभाव, अतिरिक्त होगा , डेटा के मूल्य को खोजने के लिए आसान, मार्केट ऑपरेशंस को मार्गदर्शन करना, व्यावसायिक निर्णय लेने में सहायता करना

वित्तीय जोखिम नियंत्रण एक और ठेठ वास्तविक समय कंप्यूटिंग परिदृश्यों। यह जोखिम संवेदनशील वित्तीय सेवा व्यवसाय है, केवल डेटा दृश्य कर सकते हैं के लिए पर्याप्त नहीं है, यह कंप्यूटिंग नियमों से मेल खाते में सक्षम प्रणाली जोखिम मॉडल से कुछ का उपयोग करने के लिए प्रवाह करने की जरूरत है डेटा, असामान्य घटनाओं के विशाल मात्रा में करने के लिए उपयोगकर्ता व्यवहार के वास्तविक समय विश्लेषण के लाभ, जोखिम का स्तर निर्धारित करने के लिए, और स्वचालित अलर्ट सूचना करना उचित जोखिम नियंत्रण उपायों बनाने के लिए,, व्यापार प्रक्रियाओं को बदलने। वित्तीय जोखिम नियंत्रण की वास्तविक समय गणना करके लाने तेज़, अधिक सटीक, व्यापक अन्य कई घटना-आधारित कंप्यूटिंग परिदृश्य जैसे विंडचिल वास्तविक समय गणना को हल करते हैं।

आवेदन के क्षेत्र में वास्तविक समय कंप्यूटिंग भी बहुत गहराई से सिफारिश की गई है। चाहे खबर की सिफारिश की, संगीत सिफारिश या सिफारिश की पढ़ने, मूल रूप से एक हजार हजार चेहरों किया गया है, प्राप्त प्रत्येक व्यक्ति को धक्का दिया सामग्री ब्याज की अलग-अलग प्राथमिकताओं के अनुरूप है एक। उपयोगकर्ता के हित की वरीयताओं, अक्सर वास्तविक समय डेटा के माध्यम से गणना करने के लिए लगातार अद्यतन। समाचारफ़ीड, उदाहरण के लिए, जब कोई उपयोगकर्ता वास्तविक समय व्यवहार विश्लेषण, रीयल-टाइम अपडेट उपयोगकर्ता करने के लिए उपयोगकर्ता के लिए समय में एक धक्का संदेश के एक हिस्से पर क्लिक करता है, वास्तव में, उत्पाद के पीछे रुचि प्राथमिकताओं को ब्याज उपयोगकर्ताओं के नए अंक को खोजने के लिए जारी रखते हैं, उन के प्रति अधिक जागरूक हो जाते हैं, और अंत में एक उपयोगकर्ता अगर समय की एक निश्चित अवधि के संगीत सिफारिशों के साथ उपयोगकर्ताओं को उसे में अधिक रुचि को सामग्री पुश। फिर, उदाहरण के लिए, दु: खी गाने के कुछ पहला संग्रह रीयल-टाइम डेटा विश्लेषण के माध्यम से, प्रणाली इस जानकारी की पहचान कर सकते हैं और उन पीड़ा कम करने के लिए कुछ गीत धक्का को निशाना बनाया। इस परिदृश्य ही हल करने वास्तविक समय में गणना की जाती है, लेकिन यह भी सबसे अच्छा मूल्यों वास्तविक समय में गणना की प्रतीक है।

अधिक से अधिक वास्तविक समय कंप्यूटिंग परिदृश्य विकसित किए जाएंगे, भविष्य में 'सब कुछ बदल रहा है' लोग अधिक से अधिक गहरा महसूस करेंगे।

'बचत करने के समय गिनती' के लिए 'जाने से पहले बचाओ' से, वास्तविक समय कंप्यूटिंग अब 'बड़ी' डेटा से डर नहीं है

वास्तविक समय कंप्यूटिंग इतना अच्छा है, प्राप्ति स्तर में क्या किया जाना चाहिए, कठिनाइयों और चुनौतियों का क्या समाधान होना चाहिए?

सबसे पहले, कुल मिलाकर ढांचे से, डेटा कंप्यूटिंग, तीन चीजों से कम नहीं: डेटा इनपुट → गणना → डेटा आउटपुट। उदाहरण के लिए, डाटाबेस में पारंपरिक गणना मॉडल डेटा तालिका में संग्रहीत पहला डेटा है, उपयोगकर्ता को क्वेरी के क्रियान्वयन के माध्यम से डाटाबेस की गणना को ट्रिगर करने से, डेटा के वास्तविक समय कंप्यूटिंग परिदृश्यों में इस पूर्व-मौजूदा मॉडल की गणना के पूरा होने के बाद डाटाबेस का अंतिम आउटपुट काम नहीं करेगा, हम गणना करना चाहते हैं कि डेटा बहुत बड़ा है, एक गणना परिणाम इसमें शामिल स्रोत डेटा पिछले दिन को कवर डेटा हो सकता है, संभवत: अरबों डेटा रिकॉर्डों के सैकड़ों। यदि हर नए डेटा में वृद्धि होती है, तो सभी डेटा दोबारा पुन: परिकलित होते हैं, इसलिए ओवरहेड बहुत बड़ा है, अंतिम परिणाम होगा यह बहुत धीमा है और वास्तविक समय प्रभाव तक नहीं पहुंच सकता है। वास्तविक समय कंप्यूटिंग सिस्टम में प्रवेश करते समय डेटा की गणना करना अधिक उचित है, जिसे जरूरी पहले संग्रहीत करने की आवश्यकता नहीं है, और सीधे गणना में शामिल किया जा सकता है, और यहां परिकलन पिछले ऐतिहासिक डेटा गणना परिणामों में मौजूदा नए डेटा 'वृद्धिशील गणना' करते हैं, वही डेटा दोहराए गए गणना की गणना में शामिल नहीं होता है, और फिर व्यापार के उपयोग के लिए गणना के परिणामों को बचाने के लिए, फिर डेटा संग्रहण दबाव बहुत छोटा होता है। उसी समय, "बड़ा" का अर्थ है कि डाटा संगामिति अधिक है, इसलिए प्रति सेकंड लाखों नए डेटा की गणना करने की आवश्यकता हो सकती है, इसलिए गणना नहीं है स्टैंड-अलोन का सामना कर सकते हैं, इसलिए वास्तविक समय में बड़े डेटा को संकलित किया जा रहा है जो वितरित सिस्टम आर्किटेक्चर के अंतर्गत तकनीकी मुद्दों की एक श्रृंखला है।

वास्तविक चुनौतियों से डाटा अधिग्रहण सहित कई पहलुओं, कंप्यूटिंग पूरी प्रक्रिया के उत्पादन की गणना करने के लिए वितरित कम देरी से किया जाना चाहिए, नोड खुद के अलावा 'वेतन वृद्धि गणना' मॉडल का उपयोग कर गणना की जाती है, लेकिन यह भी एक उच्च नदी के ऊपर आंकड़ा संचरण मॉड्यूल की आवश्यकता है प्रवाह की भूमिका, और बफर में कैश डेटा की क्षमता एक बड़ी प्रवाह परिदृश्य, डेटा संपीड़न, बैच उत्पादन के लिए आवश्यक नीचे की ओर उत्पादन मॉड्यूल, कम विलंबता इस आधार के वास्तविक समय उत्पादन सुनिश्चित करने के लिए अनुकूलित खेल सकते हैं वास्तविक समय कंप्यूटिंग आगे ऐसे दोहरे 11 00:00, जब उपभोक्ताओं की एक बड़ी संख्या एक ही समय में बिल भेजा जाता है के रूप में उच्च आवश्यकताओं, डाल प्रणाली की अन्य विशेषताओं, यह वास्तविक समय में डेटा की तात्कालिक राशि में डाल दिया जाता कंप्यूटिंग प्रणाली भारी है, प्रणाली की जरूरत है यह मामले में परिणाम के साथ एक साथ एक समग्र गणना करने के लिए जहां एक उच्च प्रवाह क्षमता अभी भी कम यह सुनिश्चित किया जाता है समानांतर में डेटा की प्रक्रिया के लिए एक मजबूत क्षमता, गणना नोड्स, नोड्स और अभिसरण गणना परिणाम की तात्कालिक सैकड़ों की एक बड़ी संख्या के लिए यातायात का एक उचित आवंटन है देरी।

'बैच गणना' से 'वृद्धिशील गणना' के लिए सबसे चुनौतीपूर्ण सटीकता और उपयोग में आसानी है

कम विलंबता के रूप में समान कुंजी चुनौतियां सटीकता हैं। 'वृद्धिशील' मॉडल परंपरागत 'बैच' मॉडल से अलग है, इसलिए इसे पिछले तकनीकी अनुभव से कॉपी नहीं किया जा सकता है या सटीकता के मुद्दे होंगे। पुराने गणना परिणामों में नए डेटा को कैसे जोड़ा जाता है, और कुछ परिदृश्य में, पुरानी गणना परिणामों से कुछ गणना मूल्यों को निकालना भी आवश्यक है ताकि अंतिम परिणाम की सटीकता सुनिश्चित हो सके।

एक नोड विफलता की वितरित प्रणाली बहुत आम है, वास्तविक समय कंप्यूटिंग प्रणाली गलती वसूली क्षमता स्ट्रीमिंग भी महत्वपूर्ण है, क्योंकि जब एक दोष होता है, प्रणाली तेजी से वसूली होना चाहिए, या प्रणाली उत्पादन अद्यतन ठहर सकता है, वास्तविक समय यह उठता नहीं है, जबकि विफलता नष्ट नहीं किया जा सकता 'वृद्धिशील कंप्यूटिंग' मॉडल, अन्यथा वास्तविक समय परिणामों पर 'बैच कंप्यूटिंग' मॉडल में पतित और नहीं, और यह परिणाम की सटीकता सुनिश्चित करने के लिए मुश्किल है।

वास्तव में, Netease बड़े डाटा प्रवाह कंप्यूटिंग मंच स्वयं अध्ययन सुस्ती प्रक्रिया, का सामना करना पड़ा को प्राप्त करने और पर काबू पाने के उपर्युक्त तकनीकी कठिनाइयों। Netease धारा कंप्यूटिंग मंच सुस्ती उत्पादों की एक मंच, उपयोग में आसानी के रूप में, बहु-टेनेंट अलगाव किया है करने के लिए वास्तविक समय गणना पर बहुत काम, उपयोग में आसानी के लिए एक अधिक बहस का मुद्दा पहलुओं है।

डेवलपर के लिए, एक वितरित प्रोग्राम लिखने स्टैंड-अलोन लिखने से करने के लिए कार्यक्रम मुश्किल हो जाएगा, और एक वास्तविक समय वितरित अभिकलन कार्यक्रम, और अधिक कठिन हो जाएगा लिखें। सौभाग्य से, कुछ खुला स्रोत उद्योग प्रवाह गणना मदद करने के लिए बहुत काम को पूरा विकसित करने के लिए इंजन देखते हैं इन धाराओं के प्रवाह गणना इंजन कंप्यूटिंग कार्यों के विकास को पूरा उपयोग कर सकते हैं, वे अब कैसे कई कंप्यूटिंग नोड्स भर में कंप्यूटिंग कार्यों को वितरित करने के बारे में चिंतित होने की आवश्यकता हो सकती है, कंप्यूटिंग नोड्स और अन्य मुद्दों के बीच डाटा संचारित करने के लिए कैसे, केवल हम कम्प्यूटेशनल तर्क के विकास पर ध्यान केंद्रित करने की जरूरत है, अलग गणना चरणों की समानांतरवाद की डिग्री को नियंत्रित की गणना।

एक लेख के शब्दों की संख्या की गणना करने के लिए, उदाहरण के लिए, एक वितरित अभिकलन कार्यक्रम सामग्री तीन भागों शामिल हो सकते हैं, पहले कुछ गणना विभाजित करने के लिए आम है एक एक शब्द में पाठ की प्रत्येक पंक्ति नोड, दूसरे चरण के लिए एक और उपयोग करने के लिए है कुछ कंप्यूटिंग नोड्स शब्दों की संख्या गिनती करने के लिए (डेटा की बड़ी राशि को देखते हुए कंप्यूटिंग नोड्स की अधिकता के साथ यहाँ करने के लिए की जरूरत है), एक तीसरे चरण कंप्यूटिंग नोड नदी के ऊपर नोड कलवारी अभिसारी भाग गिनती की गणना है कुल गिना जाता है। इस प्रकार एक साधारण परिदृश्य, विकसित करने के लिए आवश्यक कोड की मात्रा लगभग 200 लाइनों है। वास्तविक व्यापार परिदृश्य, कंप्यूटिंग नोड डेटा स्ट्रीम दूर तीन से अधिक, एक बहुत योग के आधार पर गणना के प्रकार की तुलना में अधिक जटिल है, यहां तक कि धारा कंप्यूटिंग इंजन के साथ, वितरित वास्तविक समय गणना कार्यक्रम के विकास अभी भी अधिक कठिन है। आगे देखो, भले ही विकसित की है, और डिबगिंग, रखरखाव और अन्य कंप्यूटिंग ढांचे के लिए समर्पित करने के लिए, एक बार कंप्यूटिंग परिवर्तन की जरूरत है बहुत समय लेने की जरूरत सभी काम फिर से पुनरावृति करने के लिए फिर से की जरूरत है, यह एक और अधिक दर्दनाक प्रक्रिया है। कैसे प्रवाह गणना प्रोग्राम लिखने के लिए आसान बनाने के लिए, एक वास्तविक समय के आधार है प्लेटफार्म चुनौती पूर्ण की जरूरत है।

और कैसे हल करने के लिए वास्तविक समय धारा कंप्यूटिंग सिस्टम समस्या को कम, कंप्यूटर विज्ञान के विकास की प्रक्रिया को देखने के बारे में नहीं सोचता, इसी तरह की समस्याओं का समाधान करने के लिए कैसे है। आशा है कि प्रोग्रामिंग आसान हो सकता है, इसलिए अधिक से अधिक उच्च स्तरीय प्रोग्रामिंग भाषा बाहर आविष्कार किया गया था , यह आशा की जाती है डेटा के कुछ आसानी से गणना की जा सकती है कि, और फिर वहाँ एक डेटाबेस हो जाएगा, और एसक्यूएल भाषा - क्वेरी भाषा संरचित; बड़ा डेटा युग के लिए, इंजन प्रोग्रामिंग लोगों को अभी भी बंद लाइन बैच कंप्यूटिंग टॉस जटिल गणना पर भरोसा, जब यह का सामना करना पड़ा समस्या, अंत में एसक्यूएल भाषा बंद लाइन एक वितरित अभिकलन प्रणाली के लिए लागू के माध्यम से, समस्या और अब अब के वास्तविक समय गणना का तेजी से विकास हल, अगर एसक्यूएल भाषा भी इस समस्या को हल करने के लिए इस्तेमाल किया जा सकता है? जवाब है हां, लेकिन कई हैं समस्या का विवरण संवीक्षा सत्यापन करना होगा।

वास्तविक समय प्रवाह गणना में डेटा का प्रवाह एक गतिशील डेटा तालिका के रूप में समझा जा सकता है

उपर्युक्त बंद लाइन और वास्तविक समय गणना मॉडल बैच वेतन वृद्धि गणना तंत्र अलग है, जब प्रत्येक एसक्यूएल भाषा समारोह और थोक प्रवाह गणना और गणना है, जो भी मात्रा गणना और मुख्य प्रवाह की गणना में अर्थ विज्ञान के एक बदलाव की आवश्यकता कंप्यूटिंग अंतर डेटा पूर्व, जो डेटा की गणना करता है असीमित लगातार प्रणाली। जब गणना ऊपर बंद लाइन डेटा की संख्या में SQL क्वेरी भूमिका पूरा हो गया है, उत्पादन, इस एसक्यूएल क्वेरी में एकत्र किया जाता के लिए सीमित है प्रवाह के लिए गणना मानचित्रण पूरा करने के लिए, गणना जब एक SQL क्वेरी, यह अंत नहीं है शुरू हो रहा है, क्योंकि निरंतर प्रवाह में डेटा, ऑफ़लाइन एसक्यूएल अर्थ विज्ञान के अनुसार, एसक्यूएल के अंत से पहले, गणना नहीं उत्पादन परिणाम है, यह स्पष्ट रूप से नहीं है वांछित प्रभाव का प्रवाह गणना, इसलिए एसक्यूएल स्ट्रीमिंग का सार प्रवाह गणना कार्यों की एक श्रृंखला को परिभाषित करना चाहिए, जबकि इन कार्यों को निष्पादित किया जाता है, जबकि गणना परिणामों का उत्पादन होता है।

ऑफलाइन प्रसंस्करण स्थिर एसक्यूएल डेटा तालिकाओं, एसक्यूएल प्रसंस्करण स्ट्रीमिंग डाटा प्रवाह, एसक्यूएल अर्थ विज्ञान (जैसे, योग, औसत, कनेक्शन डेटा तालिकाओं, आदि) में कार्य करता है पर डेटा स्ट्रीम उचित है। यह समस्या एक है कि समझ में आ जाने की आवश्यकता की गणना है रूपांतरण वैचारिक: ऑफ़लाइन एसक्यूएल स्थिर डेटा का एक और मेज पर स्थिर डेटा तालिका कन्वर्ट करने के लिए है, और वास्तविक समय डाटा प्रवाह गणना स्ट्रीमिंग, एक गतिशील डेटा तालिका के रूप में समझा जा सकता है (डेटा एनीमेशन तालिका से बढ़ रहा है) इस डाटा शीट के विभिन्न क्षणों एक भिन्न हो गया, पर अमल एसक्यूएल अलग परिणाम प्राप्त होता है, एक साथ एक फिल्म की तरह इन अलग-अलग परिणाम, एक स्लाइड शो की तरह, हम परिणामों के एक गतिशील तालिका मिल - स्ट्रीमिंग ऐसा करने के लिए एसक्यूएल एक और गतिशील डेटा तालिकाओं में एक गतिशील डेटा तालिकाओं कन्वर्ट करने के लिए है, इसलिए गणना धारा एसक्यूएल अर्थ विज्ञान समस्या वास्तविक समय धारा कंप्यूटिंग प्रणाली में हल किया जा करने के लिए समझने के लिए आसान है एक 'कैसे गतिशील डेटा तालिकाओं को लागू करने के लिए कम हो जाएगी गणना करें 'ऊपर

स्ट्रीमिंग एसक्यूएल इंजन अनुकूलन वर्तमान में तकनीकी सफलताओं की मुख्य दिशा है

कंप्यूटिंग प्रणाली स्ट्रीमिंग के उपयोग, वास्तविक समय आसानी, एसक्यूएल भाषा, उत्पादन प्रथाओं Netease धारा कंप्यूटिंग मंच सुस्ती भी इस सिद्धांत की पुष्टि हल करने के लिए इस्तेमाल किया जा सकता। उपयोगकर्ता नहीं रह गया है कंप्यूटिंग इंजन प्रोग्रामिंग इंटरफेस की एक किस्म सीखने की जरूरत है, अब डीबग करने की जरूरत है वितरित अभिकलन कार्यक्रम, अब अपने स्वयं के धारा कंप्यूटिंग प्रणाली को बनाए रखने की जरूरत है, सिर्फ एक लाइव स्ट्रीम कंप्यूटिंग मंच पर SQL को विस्थापित करने के लिए मूल बंद लाइन मंच पर चलाने की आवश्यकता है, हम जटिल वास्तविक समय गणना तर्क को पूरा कर सकते हैं।

ग्राहक के काम बहुत कम है, वास्तविक समय काम की धारा कंप्यूटिंग मंच बढ़ाया जा करने के लिए बाध्य किया जाता है, और अधिक कठिन हिस्सा कैसे वास्तविक गणना तर्क में SQL क्वेरी एक स्ट्रीमिंग एसक्यूएल गणना इंजन समर्थन, डेटाबेस इंजन के समान प्राप्त करने के लिए है भूमिका, और जैसा कि पहले चर्चा की, इस कम्प्यूटेशनल तर्क इंजन 'वृद्धिशील कंप्यूटिंग' मॉडल का पालन करना चाहिए। इस बीच, आदेश व्यावसायिक परिदृश्यों की एक विस्तृत विविधता के लिए वास्तविक समय गणना परिणाम बनाने के लिए, गणना इंजन भूमिकाओं बट की एक किस्म स्टोर करने के लिए सक्षम होने की जरूरत , इस तरह के ऑफ़लाइन संग्रह जैसे डेटा, संदेश कतार, के रूप में।

दोहरी 11 बड़े परदे सिर्फ बड़ा कंप्यूटिंग एक आवेदन परिदृश्य की वास्तविक समय स्ट्रीमिंग डेटा, वहाँ हो जाएगा और अधिक से अधिक इस तरह के अलावा वास्तविक समय कंप्यूटिंग पाठ में, छवियों, आवाज भी वास्तविक समय की गणना कर सकते, ऑनलाइन मशीन सीखने, नेटवर्किंग के रूप में वास्तविक समय कंप्यूटिंग परिदृश्यों, वास्तविक समय कंप्यूटिंग और अन्य वास्तविक समय डेटा और वास्तविक समय प्रवाह गणना में दृश्य के प्रकार के घातीय वृद्धि है, और वास्तविक समय गणना इंजन आगे कोई छोटी चुनौती का सामना करना पड़ेगा भी एसक्यूएल आधारित प्रवाह गणना के विकास में वर्णित किया जाता है, यह अधिक से अधिक प्रवाह में हो जाएगा इस तरह के उत्पादन ट्रिगर, बासी डाटा प्रोसेसिंग के रूप में विशिष्ट गुण, की गणना, डेटा खिड़की नियमों की एक किस्म में विभाजित है। एसक्यूएल इंजन स्वतः धारा के प्रवाह का अनुकूलन एक प्रमुख तकनीकी सफलता दिशा, मैं प्रौद्योगिकी, आवेदन की उन्नति के साथ वास्तविक समय प्रवाह गणना के भविष्य का मानना है गहराई से, अधिक व्यापक साथ आओ।

वास्तविक दुनिया में, डेटा को लगातार उत्पन्न और एकत्र किया जाता है और वास्तविक समय में गणना की जाती है

हम आंकड़े करते हैं, खनन उत्पादों के वाणिज्यिक मूल्य, आवश्यक समस्या डेटा। असली दुनिया, की समस्या है अक्सर के रूप में ऐसे उपयोगकर्ताओं के रूप में समय डेटा लगातार उत्पन्न, व्यापार, माउस क्लिक की एक श्रृंखला ब्राउज़ करें, होगा पृष्ठभूमि डेटा की एक श्रृंखला, मोबाइल फोन का उपयोग कार नेविगेशन, जीपीएस स्थान समय-समय पर अपडेट किया, लॉग डेटा उत्पन्न करने के लिए जारी रहेगा, उन,, समाचार फ़ीड ब्राउज़ गाने के लिए खोज करने के लिए निगरानी कैमरों क्लाउड संग्रहण, लाइव वीडियो के लिए और इतने दृश्य पर अपलोड कब्जा समय समाप्त हो गया छवियों, इसके पीछे उत्पन्न आंकड़े उत्तराधिकार में उत्पन्न होते हैं, और डेटा प्रवाह बनाने के लिए लगातार उत्पन्न होने वाले व्यवसाय डेटा वास्तविक समय में एकत्र किए जाते हैं।

दर्जी-निर्मित, वास्तविक-समय कंप्यूटिंग के हितों के अनुसार उत्पाद को उपयोगकर्ताओं की अधिक समझ बनाने के लिए

, प्रत्येक उत्पाद श्रेणी की बिक्री के अनुपात में, आदेश वृद्धि की प्रवृत्ति, सक्रिय उपयोगकर्ताओं भौगोलिक स्थिति Netease, Lahaina परीक्षण खरीद डबल 11, 618 समुद्र Amoy समारोह और अन्य गतिविधियों के दौरान, वहाँ एक Netease कई बड़े स्क्रीन वास्तविक समय वर्तमान दिनांक कुल बिक्री प्रदर्शित किया जाएगा, आदि , विभिन्न आयामों के बारे में जानकारी के लिए लगातार एक बिजली आपूर्तिकर्ता कार्निवल माहौल जोड़ने के लिए एक ही स्क्रीन पर पिटाई कर रहे हैं। प्रत्येक आदेश के लिए प्रत्येक उपयोगकर्ता बड़े परदे पर रीयल-टाइम अपडेट के प्रभाव। वास्तविक समय अनुप्रयोगों के इस दृश्य प्रभाव, अतिरिक्त होगा आसान बाज़ार परिचालन मार्गदर्शन करने के डेटा मूल्यों को खोजने के, व्यापार निर्णयों सहायता करते हैं।

वित्तीय जोखिम नियंत्रण एक और ठेठ वास्तविक समय कंप्यूटिंग परिदृश्यों। यह जोखिम संवेदनशील वित्तीय सेवा व्यवसाय है, केवल डेटा दृश्य कर सकते हैं के लिए पर्याप्त नहीं है, यह कंप्यूटिंग नियमों से मेल खाते में सक्षम प्रणाली जोखिम मॉडल से कुछ का उपयोग करने के लिए प्रवाह करने की जरूरत है डेटा, असामान्य घटनाओं के विशाल मात्रा में करने के लिए उपयोगकर्ता व्यवहार के वास्तविक समय विश्लेषण के लाभ, जोखिम का स्तर निर्धारित करने के लिए, और स्वचालित अलर्ट सूचना करना उचित जोखिम नियंत्रण उपायों बनाने के लिए,, व्यापार प्रक्रियाओं को बदलने। वित्तीय जोखिम नियंत्रण की वास्तविक समय गणना करके लाने तेजी से और अधिक सटीक, व्यापक कई अन्य इसी तरह के जोखिम नियंत्रण ऐसी घटना पर ही आधारित कंप्यूटिंग परिदृश्यों, वास्तविक समय कंप्यूटिंग का समाधान कर सकते हैं।

'बचत करने के समय गिनती' के लिए 'जाने से पहले बचें' से, वास्तविक समय कंप्यूटिंग अब 'बड़ी' डेटा से डर नहीं है

सबसे पहले, समग्र संरचना से, डेटा गणना, तीन चीजों से कम नहीं है: डेटा इनपुट → गणना → डेटा आउटपुट। उदाहरण के लिए डेटाबेस को पारंपरिक गणना मॉडल, पहले डेटा को डेटा तालिका में संग्रहीत किया जाता है, उपयोगकर्ता क्वेरी के कार्यान्वयन के माध्यम से डाटाबेस की गणना को ट्रिगर करने से, डेटा के वास्तविक समय कंप्यूटिंग परिदृश्यों में इस पूर्व-मौजूदा मॉडल की गणना के पूरा होने के बाद डाटाबेस का अंतिम आउटपुट काम नहीं करेगा, हम गणना करना चाहते हैं कि डेटा बहुत बड़ा है, एक गणना परिणाम इसमें शामिल स्रोत डेटा पिछले दिन को कवर डेटा हो सकता है, संभवत: अरबों डेटा रिकॉर्डों के सैकड़ों। यदि हर नए डेटा में वृद्धि होती है, तो सभी डेटा दोबारा पुन: परिकलित होते हैं, इसलिए ओवरहेड बहुत बड़ा है, अंतिम परिणाम होगा यह बहुत धीमा है और वास्तविक समय प्रभाव तक नहीं पहुंच सकता है। वास्तविक समय कंप्यूटिंग सिस्टम में प्रवेश करते समय डेटा की गणना करना अधिक उचित है, जिसे जरूरी पहले संग्रहीत करने की आवश्यकता नहीं है, और सीधे गणना में शामिल किया जा सकता है, और यहां परिकलन पिछले ऐतिहासिक डेटा गणना परिणामों में मौजूदा नए डेटा 'वृद्धिशील गणना' करते हैं, वही डेटा दोहराए गए गणना की गणना में शामिल नहीं होता है, और फिर व्यावसायिक उपयोग के परिणामों को बचाने के लिए, फिर डेटा संग्रहण पर दबाव बहुत छोटा होता है। उसी समय, "बड़ा" का अर्थ है कि डेटा संगामिति अधिक है, को प्रति सेकेंड लाखों नए डेटा की गणना करने की आवश्यकता हो सकती है, इसलिए गणना नहीं है स्टैंड-अलोन का सामना कर सकते हैं, इसलिए वास्तविक समय में बड़े डेटा को संकलित किया जा रहा है जो वितरित सिस्टम आर्किटेक्चर के अंतर्गत तकनीकी मुद्दों की एक श्रृंखला है।

डेवलपर के लिए, एक वितरित प्रोग्राम लिखने स्टैंड-अलोन लिखने से करने के लिए कार्यक्रम मुश्किल हो जाएगा, और एक वास्तविक समय वितरित अभिकलन कार्यक्रम, और अधिक कठिन हो जाएगा लिखें। सौभाग्य से, कुछ खुला स्रोत उद्योग प्रवाह गणना मदद करने के लिए बहुत काम को पूरा विकसित करने के लिए इंजन देखते हैं इन धाराओं के प्रवाह गणना इंजन कंप्यूटिंग कार्यों के विकास को पूरा उपयोग कर सकते हैं, वे अब कैसे कई कंप्यूटिंग नोड्स भर में कंप्यूटिंग कार्यों को वितरित करने के बारे में चिंतित होने की आवश्यकता हो सकती है, कंप्यूटिंग नोड्स और अन्य मुद्दों के बीच डाटा संचारित करने के लिए कैसे, केवल हम कम्प्यूटेशनल तर्क के विकास पर ध्यान केंद्रित करने की जरूरत है, कम्प्यूटिंग समांतरता के विभिन्न कम्प्यूटेशनल चरणों को नियंत्रित करें।

उदाहरण के तौर पर एक लेख में शब्दों की संख्या की गणना करना, एक वितरित कंप्यूटिंग प्रोग्राम की सामग्री में तीन भाग शामिल हो सकते हैं। सबसे पहले, कई कंप्यूटिंग नोड्स एक साथ एक-एक शब्दों में पाठ की प्रत्येक पंक्ति को विभाजित करने के लिए मिलकर काम करते हैं। दूसरा चरण दूसरे का उपयोग करना है कुछ कंप्यूटिंग नोड्स शब्दों की संख्या गिनती करने के लिए (डेटा की बड़ी राशि को देखते हुए कंप्यूटिंग नोड्स की अधिकता के साथ यहाँ करने के लिए की जरूरत है), एक तीसरे चरण कंप्यूटिंग नोड नदी के ऊपर नोड कलवारी अभिसारी भाग गिनती की गणना है कुल गिना जाता है। इस प्रकार एक साधारण परिदृश्य, विकसित करने के लिए आवश्यक कोड की मात्रा लगभग 200 लाइनों है। वास्तविक व्यापार परिदृश्य, कंप्यूटिंग नोड डेटा स्ट्रीम दूर तीन से अधिक, एक बहुत योग के आधार पर गणना के प्रकार की तुलना में अधिक जटिल है, यहां तक कि धारा कंप्यूटिंग इंजन के साथ, वितरित वास्तविक समय गणना कार्यक्रम के विकास अभी भी अधिक कठिन है। आगे देखो, भले ही विकसित की है, और डिबगिंग, रखरखाव और अन्य कंप्यूटिंग ढांचे के लिए समर्पित करने के लिए, एक बार कंप्यूटिंग परिवर्तन की जरूरत है बहुत समय लेने की जरूरत सभी काम फिर से पुनरावृति करने के लिए फिर से की जरूरत है, यह एक और अधिक दर्दनाक प्रक्रिया है। कैसे प्रवाह गणना प्रोग्राम लिखने के लिए आसान बनाने के लिए, एक वास्तविक समय के आधार है प्लेटफार्म चुनौती पूर्ण की जरूरत है।

और कैसे हल करने के लिए वास्तविक समय धारा कंप्यूटिंग सिस्टम समस्या को कम, कंप्यूटर विज्ञान के विकास की प्रक्रिया को देखने के बारे में नहीं सोचता, इसी तरह की समस्याओं का समाधान करने के लिए कैसे है। आशा है कि प्रोग्रामिंग आसान हो सकता है, इसलिए अधिक से अधिक उच्च स्तरीय प्रोग्रामिंग भाषा बाहर आविष्कार किया गया था , यह आशा की जाती है डेटा के कुछ आसानी से गणना की जा सकती है कि, और फिर वहाँ एक डेटाबेस हो जाएगा, और एसक्यूएल भाषा - क्वेरी भाषा संरचित; बड़ा डेटा युग के लिए, इंजन प्रोग्रामिंग लोगों को अभी भी बंद लाइन बैच कंप्यूटिंग टॉस जटिल गणना पर भरोसा, जब यह का सामना करना पड़ा समस्या, अंत में एसक्यूएल भाषा बंद लाइन एक वितरित अभिकलन प्रणाली के लिए लागू के माध्यम से, समस्या और अब अब के वास्तविक समय गणना का तेजी से विकास हल, अगर एसक्यूएल भाषा भी इस समस्या को हल करने के लिए इस्तेमाल किया जा सकता है? जवाब है हां, लेकिन कई हैं समस्या के विवरण की जांच की जानी चाहिए।

दोहरी 11 बड़े परदे सिर्फ बड़ा कंप्यूटिंग एक आवेदन परिदृश्य की वास्तविक समय स्ट्रीमिंग डेटा, वहाँ हो जाएगा और अधिक से अधिक इस तरह के अलावा वास्तविक समय कंप्यूटिंग पाठ में, छवियों, आवाज भी वास्तविक समय की गणना कर सकते, ऑनलाइन मशीन सीखने, नेटवर्किंग के रूप में वास्तविक समय कंप्यूटिंग परिदृश्यों, वास्तविक समय कंप्यूटिंग और अन्य वास्तविक समय डेटा और वास्तविक समय प्रवाह गणना में दृश्य के प्रकार के घातीय वृद्धि है, और वास्तविक समय गणना इंजन आगे कोई छोटी चुनौती का सामना करना पड़ेगा भी एसक्यूएल आधारित प्रवाह गणना के विकास में वर्णित किया जाता है, यह अधिक से अधिक प्रवाह में हो जाएगा इस तरह के उत्पादन ट्रिगर, बासी डाटा प्रोसेसिंग के रूप में विशिष्ट गुण, की गणना, डेटा खिड़की नियमों की एक किस्म में विभाजित है। एसक्यूएल इंजन स्वतः धारा के प्रवाह का अनुकूलन एक प्रमुख तकनीकी सफलता दिशा, मैं प्रौद्योगिकी, आवेदन की उन्नति के साथ वास्तविक समय प्रवाह गणना के भविष्य का मानना है यह एक गहरी और व्यापक लेता है।