Articles of अपाचे स्पार्क

स्पार्क: RDD से सभी संभव संयोजनों के ] उत्पादन करें

स्कार्क संग्रह में '.combinations' समारोह को कार्यान्वित करने के लिए क्या यह संभव है? /** Iterates over combinations. * * @return An Iterator which traverses the possible n-element combinations of this $coll. * @example `"abbbc".combinations(2) = Iterator(ab, ac, bb, bc)` */ उदाहरण के लिए मैं आरडीडी [एक्स] से आरडीडी [सूची [एक्स]] या आरडीडी [(एक्स, एक्स)] […]

क्या मैप पर चिंगारी का एकमात्र लाभ कैशिंग है?

मैं अपाचे स्पार्क के बारे में सीखना शुरू कर दिया है और ढांचे से बहुत प्रभावित हूं। यद्यपि एक चीज जो मुझे परेशान करती है, वह यह है कि सभी स्पार्क प्रस्तुतियों में वे आरडीडी के स्पार्क कैश के बारे में बात करते हैं और इसलिए एक ही डेटा की आवश्यकता होती है, जो कई […]

स्पार्क ट्रांसफॉर्मेशन क्या हैं जो घसीटना का कारण बनता है?

मुझे स्पार्क प्रलेखन प्रक्रियाओं में खोजने में परेशानी होती है जो एक फेरबदल और ऑपरेशन का कारण बनता है जो कि नहीं करता। इस सूची में, कौन सा एक फेरबदल का कारण बनता है और कौन नहीं करता है? मानचित्र और फिल्टर नहीं है हालांकि, मैं दूसरों के साथ निश्चित नहीं हूँ map(func) filter(func) flatMap(func) […]

लंबे आरडीडी वंश के कारण स्टैक ओवरफ्लो

मेरे पास एचडीएफएस में हजारों छोटी फाइलें हैं I फ़ाइलें (जो कि हजारों में फिर से होती है) की थोड़ी छोटी सबसेट को संसाधित करने की आवश्यकता है, फ़ाइल लिस्ट में फ़ाइलपथ की सूची होती है, जिसे संसाधित करने की आवश्यकता होती है। // fileList == list of filepaths in HDFS var masterRDD: org.apache.spark.rdd.RDD[(String, String)] […]

कुंजी-मूल्य जोड़ी को अपाचे स्पार्क के साथ एक कुंजी-सूची जोड़ी में कम करें

मैं एक स्पार्क आवेदन लिख रहा हूं और मैं एक कुंजी-मल्टीव्यू जोड़ी (K, [V1, V2, …, Vn]) में कुंजी-वैल्यू युग्ज (K, V1), (K, V2), …, (K, Vn) का एक सेट जोड़ना चाहता हूं (K, [V1, V2, …, Vn]) । मुझे लगता है कि मुझे ऐसा करने में सक्षम होना चाहिए जिससे कि कुछ स्वाद के […]

अपाचे स्पर्क एसक्यूएलटेन्टेक्स बनाम हाइव कन्टेन्टेक्स में अंतर क्या है?

अपाचे स्पार्क एसक्यूएलकॉन्टेक्स और हाइव कन्टेन्टेक्स के बीच अंतर क्या है? कुछ स्रोतों का कहना है कि चूंकि हाइवकॉन्टेक्स्ट एसक्यूएलटेन्टेक्स डेवलपर्स का एक सुपरसेट है, इसलिए हमेशा हाइव कन्टेन्टेक्स का इस्तेमाल करना चाहिए, जिसमें एसक्यूएलटेन्टेक्स की तुलना में अधिक सुविधाएं हैं। लेकिन प्रत्येक संदर्भों की मौजूदा एपीआई अधिकतर समान हैं। क्या परिदृश्य हैं जो SQLContext […]

स्पार्क में एक काम क्या है? स्पार्क कार्यकर्ता जार फ़ाइल को कैसे निष्पादित करता है?

Http://spark.apache.org/docs/0.8.0/cluster-overview.html पर कुछ दस्तावेज़ पढ़ने के बाद, मुझे कुछ सवाल है जो मैं स्पष्ट करना चाहता हूं। स्पार्क से यह उदाहरण लें: JavaSparkContext spark = new JavaSparkContext( new SparkConf().setJars("…").setSparkHome….); JavaRDD<String> file = spark.textFile("hdfs://…"); // step1 JavaRDD<String> words = file.flatMap(new FlatMapFunction<String, String>() { public Iterable<String> call(String s) { return Arrays.asList(s.split(" ")); } }); // step2 JavaPairRDD<String, […]

धागा अवधारणा समझ पर चिंगारी

मैं यह समझने की कोशिश कर रहा हूँ कि स्पार्क YARN क्लस्टर / क्लाइंट पर कैसे चलता है। मेरे मन में मेरे पास निम्न प्रश्न हैं क्या यह आवश्यक है कि चिंगारी यार्न क्लस्टर में सभी नोड्स पर स्थापित है? मुझे लगता है कि यह चाहिए क्योंकि क्लस्टर में कार्यकर्ता नोड्स एक कार्य को निष्पादित […]

मैं एडीके स्पार्क (स्कला) में आरडीडी की पुनरावृति कैसे करूं

मैं दो स्ट्रिंग ["फाइलनाम", "सामग्री"] युक्त एरे के एक गुच्छा के साथ आरडीडी को भरने के लिए निम्न कमांड का उपयोग करता हूं। अब मैं प्रत्येक घटनाओं और सामग्री के साथ कुछ करने के लिए उन सभी घटनाओं पर पुनरावृति करना चाहता हूं। val someRDD = sc.wholeTextFiles("hdfs://localhost:8020/user/cloudera/*") मुझे यह कैसे करना है पर कोई दस्तावेज़ीकरण […]

PySpark क्यों py4j.java_gateway पा सकते हैं?

मैंने स्पार्क स्थापित किया, एसबीटी विधानसभा में भाग लिया, और कोई समस्या नहीं के साथ बिन / पीसपार्क खोल सकता है। हालांकि, मैं ipython में pyspark मॉड्यूल लोड करने में समस्याओं में भाग रहा हूँ मुझे निम्न त्रुटि मिल रही है: In [1]: import pyspark ————————————————————————— ImportError Traceback (most recent call last) <ipython-input-1-c15ae3402d12> in <module>() […]

दिलचस्प पोस्ट
रीडायरेक्ट और नेविगेशन / अग्रेषित और क्या इस्तेमाल करने के दौरान क्या अंतर है? आईओएस 8 के तहत स्थानीय फाइलों को लोड नहीं कर रहा है जा स्ट्रॉन्क को JSON में परिवर्तित करना का उपयोग करने के लिए एक पासवर्ड पास करने की उम्मीद एसएसएच पायथन के लिए Exif हेरफेर लाइब्रेरी स्क्रीन के आकार के अनुसार जेपीएनएल की स्थिति और आकार बदलता है पेंडस में कार्टेसियन उत्पाद मैं एक बिटमैप ऑब्जेक्ट को एक गतिविधि से दूसरे में कैसे पारित कर सकता हूं? बाल नोड सूचकांक प्राप्त करें क्या टंकिनर में टेबल विजेट है? सी प्रीप्रोसेसर "लिनक्स" शब्द को निरंतर "1" के रूप में क्यों समझाता है? क्या इसका उपयोग करने के लिए सुरक्षित है KindOfClass: प्रकार निर्धारित करने के लिए एक NSString आवृत्ति के विरुद्ध? मैक ओएस एक्स में कोर डंप कैसे उत्पन्न करें? इंटरनेट एक्सप्लोरर में 'स्क्रिप्ट' टैग के लिए 'ऑनलोड' हैंडलर JQuery में अजाक्स-अनुरोधों के साथ फॉर्मडेटा ऑब्जेक्ट कैसे भेजें?