दिलचस्प पोस्ट
वीआईएम अक्षम स्वचालित न्यूलाइन फाइल का अंत निर्भरता रीसॉल्वर। सेटरॉल्वर और एचटीटीपी कॉन्फ़िगरेशन के बीच अंतर क्या है। WebAPI में निर्भरता रीसोलर इकाई फ़्रेमवर्क सरल जेनेरिक गेटबिइड है लेकिन इसमें अलग-अलग पीके नाम है एमएस एसक्यूएल का उपयोग करके अपडेट और ऑर्डर कैसे करें 'Java.lang.NoSuchMethodError के कारण: थ्रेड में मुख्य अपवाद "मुख्य"' उद्देश्य-सी घोषित @ प्रॉपर्टी गुण (गैर-रचनात्मक, कॉपी, मजबूत, कमजोर) java.lang.NoSuchField त्रुटि: org.apache.http.message.BasicLineFormatter.MASAPE जावा आवेदन में अनंत से INSTANCE विंडोज़ फ़ोन इम्यूलेटर शुरू नहीं हुआ (यूडीपी पोर्ट सेटअप नहीं कर सके) नकली वस्तुओं का उद्देश्य क्या है? "फ़ाइल के अंत में कोई नयालाइन नहीं" संकलक चेतावनी स्टार्टअप पर लॉन्च करने के लिए मैं एक प्रोग्राम कैसे सेट करूं? चलने वाली चींटी का निर्माण "पैकेज org.junit मौजूद नहीं है" देता है डुप्लिकेट कुंजी पर MySQL – अंतिम प्रविष्टि आईडी? Excel से एक VBA सरणी में अनन्य मानों को पॉप्युलेट करें JAVAFX / WebView / WebEngine FireBugLite या कुछ अन्य डीबगर?

Windows पर स्पार्क कैसे सेट अप करें?

मैं विंडोज पर अपाचे स्पर्क सेटअप करने की कोशिश कर रहा हूँ

थोड़ी खोज करने के बाद, मैं समझता हूं कि स्टैंडअलोन मोड मैं चाहता हूं। विंडो में अपाचे चिंगारी को चलाने के लिए मैं किन बाइनरी डाउनलोड करतो? स्पार्क डाउनलोड पृष्ठ पर मैं हूड और सीडीएच के साथ वितरण देखता हूं।

मेरे पास इसके वेब पर संदर्भ नहीं है। इस के लिए एक कदम गाइड द्वारा कदम अत्यधिक सराहना की है।

Solutions Collecting From Web of "Windows पर स्पार्क कैसे सेट अप करें?"

मुझे विंडोज पर सबसे आसान समाधान स्रोत से बनाने के लिए मिला है

आप इस गाइड का बहुत अधिक अनुसरण कर सकते हैं: http://spark.apache.org/docs/latest/building-spark.html

MAVEN_OPTS डाउनलोड और इंस्टॉल करें, और मार्गदर्शिका में निर्दिष्ट मूल्य पर MAVEN_OPTS सेट करें।

लेकिन अगर आप केवल स्पार्क के साथ खेल रहे हैं, और वास्तव में इसकी ज़रूरत नहीं है कि विंडोज़ को चलाने के लिए आपकी कोई भी विंडोज़ चल रही है, तो आपको विंडोज़ चलाने की ज़रूरत नहीं है, मैं आपको लिनक्स वर्चुअल मशीन पर स्पार्क स्थापित करने का जोरदार सुझाव देता हूं। संभवतः आरंभ करने का सबसे सरल तरीका क्लौडेरा या हॉर्टनवर्क्स द्वारा तैयार की गई छवियों को डाउनलोड करना है, और या तो स्पार्क के बंडल संस्करण का उपयोग करना है, या स्पार्क वेबसाइट से प्राप्त स्रोत या संकलित बिनियों से अपना स्वयं का स्थापित कर सकते हैं।

स्थानीय मोड में स्पार्क स्थापित करने के लिए चरण:

  1. जावा 7 या बाद के संस्करणों को स्थापित करें जावा इंस्टॉलेशन का परीक्षण करने के लिए, कमांड प्रॉम्प्ट टाइप java और एंटर दबाएं। अगर आपको एक संदेश प्राप्त होता है 'Java' is not recognized as an internal or external command. आपको अपने पर्यावरण चर, JAVA_HOME और PATH को कॉन्फ़िगर करने की आवश्यकता है जो कि JAVA_HOME PATH को इंगित करे।

  2. स्काला डाउनलोड और स्थापित करें

    SCALA_HOME को Control Panel\System and Security\System "एड सिस्टम सेटिंग्स" में सेट करें और पर्यावरण चर में %SCALA_HOME%\bin को PATH चर में जोड़ें।

  3. पायथन 2.6 या बाद के संस्करण से पायथन डाउनलोड लिंक स्थापित करें।

  4. एसबीटी डाउनलोड करें इसे स्थापित करें और SBT_HOME को एक वातावरण चर के रूप में <<SBT PATH>> रूप में सेट करें।
  5. होर्टनवर्क्स रेपो या जीआईटी रेपो से जीत winutils.exe डाउनलोड करें। चूंकि हमारे पास विंडोज़ पर एक स्थानीय winutils.exe स्थापना नहीं है, इसलिए हमें winutils.exe डाउनलोड winutils.exe और इसे एक निर्मित निर्देशिका में winutils.exe डाइरेक्टरी के तहत रखा जाएगा। पर्यावरण चर में HADOOP_HOME = <<Hadoop home directory>> सेट करें
  6. हम एक प्री-बिल्ड स्पार्क पैकेज का उपयोग करेंगे, इसलिए हर्डॉप स्पार्क डाउनलोड के लिए स्पार्क प्री- बिल्ड पैकेज का चयन करें। इसे डाउनलोड और निकालें

    SPARK_HOME सेट करें और पर्यावरण चर में PATH चर में %SPARK_HOME%\bin जोड़ें

  7. रन कमांड: spark-shell

  8. स्पार्ककॉन्टेक्स्ट वेब यूआई को देखने के लिए एक ब्राउज़र में http://localhost:4040/ खोलें

आप यहां से स्पार्क डाउनलोड कर सकते हैं:

http://spark.apache.org/downloads.html

मैं आपको यह संस्करण सुझाता हूं: हडोप 2 (एचडीपी 2, सीडीएच 5)

संस्करण 1.0.0 के बाद से। सीएमडी स्क्रिप्ट विंडो में स्पार्क चलाने के लिए है।

इसे 7zip या इसी तरह का उपयोग करके खोलें

शुरू करने के लिए आप /bin/spark-shell.cmd निष्पादित कर सकते हैं – स्थानीय [2]

अपने उदाहरण को कॉन्फ़िगर करने के लिए, आप इस लिंक का पालन कर सकते हैं: http://spark.apache.org/docs/latest/

आप स्पार्क सेटअप करने के लिए निम्नलिखित तरीकों का उपयोग कर सकते हैं:

  • स्रोत से बिल्डिंग
  • प्रीबिल्ट रिलीज़ का उपयोग करना

हालांकि स्रोत से स्पार्क बनाने के कई तरीके हैं
सबसे पहले मैंने एसबीटी के साथ स्पार्क स्रोत का निर्माण करने की कोशिश की, लेकिन इसके लिए आवश्यकता होती है। उन मुद्दों से बचने के लिए, मैंने पूर्व निर्मित रिहाई का इस्तेमाल किया।

स्रोत के बजाय, मैंने थाउप 2.x संस्करण के लिए प्रीबिल्ल्ट रिलीज़ डाउनलोड किया और इसे चलाया। इसके लिए आपको स्काला को पूर्वापेक्षा को स्थापित करना होगा।

मैंने यहां सभी चरणों का मिलान किया है:
विंडोज 7 पर अपाचे स्पार्क को स्टैंडअलोन मोड में कैसे चलाया जाता है

आशा है कि यह तुम्हारी मदद करेगा .. !!!

स्पार्क -2xx के साथ काम करने की कोशिश कर रहा हूं, स्पार्क स्रोत कोड का निर्माण मेरे लिए काम नहीं करता।

  1. इसलिए, हालांकि मैं हडोप का उपयोग नहीं करने जा रहा हूं, मैंने पहले से निर्मित स्पार्क को हाउप एम्बेडेड के साथ डाउनलोड किया है: spark-2.0.0-bin-hadoop2.7.tar.gz

  2. निकाली गई निर्देशिका पर प्वाइंट SPARK_HOME, फिर PATH जोड़ें: ;%SPARK_HOME%\bin;

  3. हॉर्टोनवर्क रिपॉजिटरी से निष्पादन योग्य Winutils डाउनलोड करें

  4. एक निर्देशिका बनाएँ जहां आप निष्पादन योग्य winutils.exe जगह है। उदाहरण के लिए, C: \ SparkDev \ x64 पर्यावरण चर %HADOOP_HOME% जोड़ें जो इस निर्देशिका को इंगित करता है, फिर %HADOOP_HOME%\bin को PATH में जोड़ें।

  5. कमांड लाइन का उपयोग करना, निर्देशिका बनाएं:

     mkdir C:\tmp\hive 
  6. आपके द्वारा डाउनलोड किए गए एक्जीक्यूटेबल का इस्तेमाल करके, आपने जो फ़ाइल निर्देशिका बनाई थी, उसे पूर्ण अनुमतियां जोड़ें, लेकिन यूनिक्सियन औपचारिकता का उपयोग करें:

     %HADOOP_HOME%\bin\winutils.exe chmod 777 /tmp/hive 
  7. निम्न कमांड लाइन टाइप करें:

     %SPARK_HOME%\bin\spark-shell 

स्काला कमांड लाइन इनपुट को स्वचालित रूप से दिखाया जाना चाहिए।

टिप्पणी: आपको स्कला को अलग से कॉन्फ़िगर करने की आवश्यकता नहीं है। यह भी निर्मित है

यहां सभी को पुनर्निर्माण किए बिना विंडोज में चलने के लिए फ़िक्स किए गए हैं – जैसे कि आपके पास MS-VS का नवीनतम संस्करण नहीं है (आपको एक Win32 C ++ कंपाइलर की आवश्यकता होगी, लेकिन आप एमएस वीएस सामुदायिक संस्करण मुफ्त में स्थापित कर सकते हैं।)

मैंने इसे स्पार्क 1.2.2 और महहा 0.10.2 के साथ ही नवंबर 2015 में नवीनतम संस्करणों के साथ करने की कोशिश की है। इस तथ्य सहित कई समस्याएं हैं कि स्कैला कोड एक बाश स्क्रिप्ट चलाने की कोशिश करता है (mahout / bin / महाउट) जो निश्चित रूप से काम नहीं करता है, एसबीआई लिपियों को खिड़कियों पर नहीं रखी गई है, और अगर हूओप स्थापित नहीं है तो जीतने वाले गायब हैं।

(1) स्कला स्थापित करें, फिर स्पार्क / हूउप / माहाउट को सी की जड़ में खोलें: उनके संबंधित उत्पाद नामों के तहत

(2) नाम बदलें \ mahout \ bin \ mahout to mahout.sh.was (हम इसकी आवश्यकता नहीं होगी)

(3) निम्न Win32 C ++ प्रोग्राम को संकलित करें और C: \ mahout \ bin \ mahout नामक फ़ाइल में निष्पादन योग्य की प्रतिलिपि बनाएँ (यह सही है – कोई .exe प्रत्यय, जैसे किसी Linux निष्पादन योग्य)

 #include "stdafx.h" #define BUFSIZE 4096 #define VARNAME TEXT("MAHOUT_CP") int _tmain(int argc, _TCHAR* argv[]) { DWORD dwLength; LPTSTR pszBuffer; pszBuffer = (LPTSTR)malloc(BUFSIZE*sizeof(TCHAR)); dwLength = GetEnvironmentVariable(VARNAME, pszBuffer, BUFSIZE); if (dwLength > 0) { _tprintf(TEXT("%s\n"), pszBuffer); return 0; } return 1; } 

(4) स्क्रिप्ट \ mahout \ bin \ mahout.bat बनाएँ और नीचे दी गई सामग्री में पेस्ट करें, हालांकि _CP वर्ग पथ में जार के सटीक नाम स्पार्क और महहट के संस्करणों पर निर्भर करेगा। आपके स्थापना के लिए कोई भी पथ अपडेट करें। उन में रिक्त स्थान के बिना 8.3 पथ का उपयोग करें। ध्यान दें कि आप यहां क्लासपाथों में वाइल्डकार्ड / एस्टेरिस्क का उपयोग नहीं कर सकते हैं।

 set SCALA_HOME=C:\Progra~2\scala set SPARK_HOME=C:\spark set HADOOP_HOME=C:\hadoop set MAHOUT_HOME=C:\mahout set SPARK_SCALA_VERSION=2.10 set MASTER=local[2] set MAHOUT_LOCAL=true set path=%SCALA_HOME%\bin;%SPARK_HOME%\bin;%PATH% cd /D %SPARK_HOME% set SPARK_CP=%SPARK_HOME%\conf\;%SPARK_HOME%\lib\xxx.jar;...other jars... set MAHOUT_CP=%MAHOUT_HOME%\lib\xxx.jar;...other jars...;%MAHOUT_HOME%\xxx.jar;...other jars...;%SPARK_CP%;%MAHOUT_HOME%\lib\spark\xxx.jar;%MAHOUT_HOME%\lib\hadoop\xxx.jar;%MAHOUT_HOME%\src\conf;%JAVA_HOME%\lib\tools.jar start "master0" "%JAVA_HOME%\bin\java" -cp "%SPARK_CP%" -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip localhost --port 7077 --webui-port 8082 >>out-master0.log 2>>out-master0.err start "worker1" "%JAVA_HOME%\bin\java" -cp "%SPARK_CP%" -Xms1g -Xmx1g org.apache.spark.deploy.worker.Worker spark://localhost:7077 --webui-port 8083 >>out-worker1.log 2>>out-worker1.err ...you may add more workers here... cd /D %MAHOUT_HOME% "%JAVA_HOME%\bin\java" -Xmx4g -classpath "%MAHOUT_CP%" "org.apache.mahout.sparkbindings.shell.Main" 

वैरिएबल MAHOUT_CP का नाम बदला नहीं जा सकता, क्योंकि इसे सी ++ कोड में संदर्भ दिया गया है।

बेशक आप टिप्पणी कर सकते हैं, जो स्पर्क मास्टर और कार्यकर्ता को लॉन्च करता है, क्योंकि महुआट स्पार्क को आवश्यकतानुसार चलाएगा; मैं इसे बैच की नौकरी में डालकर दिखाता हूं कि आप इसे कैसे लॉन्च करें अगर आप महोत्सव के बिना स्पार्क का इस्तेमाल करना चाहते हैं।

(5) निम्नलिखित ट्यूटोरियल शुरू करने के लिए एक अच्छी जगह है:

 https://mahout.apache.org/users/sparkbindings/play-with-shell.html 

आप महावत स्पार्क आवृत्ति को यहां ला सकते हैं:

 "C:\Program Files (x86)\Google\Chrome\Application\chrome" --disable-web-security http://localhost:4040 

यहां विंडोज़ 10 पर स्पार्क स्थापित करने के लिए सात चरणों का है और इसे अजगर से चलाएं:

चरण 1: स्पार्क 2.2.0 टायर (टेप आर्काइव) जीज़ फाइल को इस लिंक से डाउनलोड करें – https://spark.apache.org/downloads.html । इसे खोलना और अनज़िप किए गए फ़ोल्डर को वांछित फ़ोल्डर में प्रतिलिपि बनाएँ। स्पार्क-2.2.0-बिन-हैलोप 2.7 फ़ोल्डर को चिंगारी में बदल दें।

चिंगार फ़ोल्डर के लिए पथ सी: \ उपयोगकर्ता \ डेस्कटॉप \ ए \ स्पार्क होना चाहिए

चरण 2: hardoop 2.7.3 tar gz फ़ाइल को इस लिंक से एक ही फ़ोल्डर एफ पर डाउनलोड करें – https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7 .3.tar.gz इसे अनझिप करें और अनझिप किए गए फ़ोल्डर को उसी फ़ोल्डर में कॉपी करें। Hadoop-2.7.3.tar से हडप के फ़ोल्डर नाम का नाम बदलें। हाउप फ़ोल्डर के लिए पथ को सी: \ उपयोगकर्ता \ डेस्कटॉप \ ए \ थाप करें

चरण 3: एक नया नोटपैड पाठ फ़ाइल बनाएं। इस रिक्त नोटपैड फ़ाइल को winutils.exe के रूप में सहेजें (प्रकार के रूप में सहेजें: सभी फ़ाइलें)। स्पाइन में अपने बिन फ़ोल्डर में इस ओ KB winutils.exe फ़ाइल की प्रतिलिपि बनाएँ – सी: \ उपयोगकर्ता \ डेस्कटॉप \ ए \ स्पार्क \ बिन

चरण 4: अब, हमें इन फ़ोल्डरों को सिस्टम एन्वायरमेंट में जोड़ना होगा।

4 ए: एक सिस्टम चर बनाएँ (उपयोगकर्ता चर के रूप में नहीं उपयोगकर्ता चर के रूप में सिस्टम चर के सभी गुणों को प्राप्त होगा) चर नाम: SPARK_HOME चर मान: C: \ Users \ Desktop \ A \ spark

पथ सिस्टम चर खोजें और संपादित करें पर क्लिक करें। आप कई पथ देखेंगे। किसी भी पथ को हटाएं न। इस वैरिएबल वैल्यू को जोड़ें -; सी: \ यूज़र्स \ डेस्कटॉप \ ए \ स्पार्क \ बिन

4 बी: एक सिस्टम चर बनाएँ

परिवर्तनीय नाम: HADOOP_HOME चर मूल्य: सी: \ उपयोगकर्ता \ डेस्कटॉप \ ए \ थाप

पथ सिस्टम चर खोजें और संपादित करें पर क्लिक करें। इस वैरिएबल वैल्यू को जोड़ें -; सी: \ यूज़र्स \ डेस्कटॉप \ ए \ हैडॉप \ बिन

4 सी: एक सिस्टम वैरिएबल वैरिएबल नाम बनाएँ: JAVA_HOME खोज जावा में खिड़कियों में। राइट क्लिक करें और खुले फ़ाइल स्थान पर क्लिक करें आपको फिर से किसी भी जावा फाइल पर राइट क्लिक करना होगा और खुले फाइल स्थान पर क्लिक करना होगा। आप इस फ़ोल्डर के पथ का उपयोग करेंगे। या आप सी के लिए खोज सकते हैं: \ प्रोग्राम फ़ाइलें \ जावा सिस्टम पर स्थापित मेरा जावा संस्करण है jre1.8.0_131। परिवर्तनीय मूल्य: C: \ Program Files \ Java \ jre1.8.0_131 \ bin

पथ सिस्टम चर खोजें और संपादित करें पर क्लिक करें। इस परिवर्तनीय मान को जोड़ें -; C: \ Program Files \ Java \ jre1.8.0_131 \ bin

चरण 5: कमांड प्रॉम्प्ट खोलें और अपने स्पार्क बिन फ़ोल्डर (टाइप सीडी सी: \ उपयोगकर्ता \ डेस्कटॉप \ ए \ स्पार्क \ बिन) पर जाएं। प्रकार चिंगारी-खोल

 C:\Users\Desktop\A\spark\bin>spark-shell 

इसमें समय लग सकता है और कुछ चेतावनियां दे सकती हैं अंत में, यह संस्करण 2.2.0 स्पार्क करने के लिए आपका स्वागत दिखाएगा

चरण 6: बाहर निकलें () टाइप करें या कमांड प्रॉम्प्ट को पुनरारंभ करें और फिर स्पार्क बिन फ़ोल्डर पर जाएं। प्रकार का प्रकार:

 C:\Users\Desktop\A\spark\bin>pyspark 

यह कुछ चेतावनियां और त्रुटियों को दिखाएगा, लेकिन अनदेखा करेगा। यह काम करता हैं।

चरण 7: आपका डाउनलोड पूरा हो गया है। अगर आप सीधे अजगर खोल से चिंगारी को चलाने के लिए चाहते हैं तो: अपने अजगर फ़ोल्डर और प्रकार में स्क्रिप्ट पर जाएं

 pip install findspark 

कमांड प्रॉम्प्ट में

अजगर खोल में

 import findspark findspark.init() 

आवश्यक मॉड्यूल आयात करें

 from pyspark import SparkContext from pyspark import SparkConf 

यदि आप खोज इंजन को आयात करने और इसे आरंभ करने के लिए कदमों को छोड़ना चाहते हैं, तो कृपया अजगर खोल में पाइस्पर्क आयात करने की प्रक्रिया का पालन करें

यहां किसी भी अजगर कंसोल से चलाने के लिए एक सरल न्यूनतम स्क्रिप्ट है ऐसा लगता है कि आपने स्पार्क पुस्तकालयों को निकाला है जिन्हें आपने सी: \ अपाचे \ स्पार्क-1.6.1 में डाउनलोड किया है।

यह कुछ भी निर्माण किए बिना विंडोज में काम करता है और ऐसी समस्याओं को हल करता है जहां स्पार्क पुनरावर्ती नमकीन बनाना के बारे में शिकायत करेगा

 import sys import os spark_home = 'C:\Apache\spark-1.6.1' sys.path.insert(0, os.path.join(spark_home, 'python')) sys.path.insert(0, os.path.join(spark_home, 'python\lib\pyspark.zip')) sys.path.insert(0, os.path.join(spark_home, 'python\lib\py4j-0.9-src.zip')) # Start a spark context: sc = pyspark.SparkContext() # lines = sc.textFile(os.path.join(spark_home, "README.md") pythonLines = lines.filter(lambda line: "Python" in line) pythonLines.first() 

ऐनी मेनन (thx!) की मार्गदर्शिका ने विंडोज 10 पर मेरे लिए लगभग काम किया था, मुझे सिर्फ जीआईटी (वर्तमान में हूओप-2.8.1) से नए Winutils.exe प्राप्त करना था: https://github.com/steveloughran/winutils