Articles of स्क्रीन स्क्रैपिंग

अजगर के भीतर एक जावास्क्रिप्ट लिंक पर क्लिक करें?

मैं अजगर के मशीनीकृत मॉड्यूल का उपयोग कर एक साइट को नेविगेट कर रहा हूं और अगले पृष्ठ के लिए जावास्क्रिप्ट लिंक पर क्लिक करने में परेशानी कर रहा हूं। मैंने थोड़ा सा पढ़ा और लोगों को सुझाव दिया कि मुझे अजगर-स्पाइडरमैन और डोमफोर्म्स की ज़रूरत है मैं उन्हें स्थापित करने में कामयाब रहा, मुझे […]

सी # में उत्पन्न सृजन देखें (AJAX / JavaScript के बाद)

कोड से एक ब्राउज़र को खोलने के बिना सी # एप्लिकेशन से एक वेब पेज के जनरेटेड स्रोत को देखने का कोई तरीका है (सभी एजेएक्स कॉल और जावास्क्रिप्ट डीओएम जोड़तोड़ के बाद कोड लिया गया है)? वेबआरव्यूस्ट या वेबक्लाइंट ऑब्जेक्ट का उपयोग करके प्रारंभिक पेज को ठीक करना ठीक काम करता है, लेकिन यदि […]

स्क्रीन स्क्रैपिंग: "HTTP त्रुटि 403: रोबोट्सटीपीटी द्वारा अस्वीकृत अनुरोध" के आसपास हो रहा है

क्या निम्नलिखित के आसपास पाने का कोई तरीका है? httperror_seek_wrapper: HTTP Error 403: request disallowed by robots.txt क्या इस साइट के मालिक (बार्नेसेंडनोबले डॉट कॉम) से संपर्क करने का एकमात्र तरीका है .. मैं एक ऐसी साइट का निर्माण कर रहा हूं जो उन्हें अधिक बिक्री लाएगा, यह सुनिश्चित नहीं है कि वे एक निश्चित […]

हेडलेस, लिनक्स पर स्क्रिप्टिंग फ़ायरफ़ॉक्स / वेबकिट?

मैं कुछ वेब इंटरैक्शन्स को स्वचालित करने की कोशिश कर रहा हूं, अर्थात् एक सुरक्षित वेबसाइट से फ़ाइलों का आवधिक डाउनलोड। यह मूल रूप से अपना उपयोगकर्ता नाम / पासवर्ड दर्ज करना और उपयुक्त यूआरएल पर नेविगेट करना शामिल है। मैंने अजगर में सरल स्क्रिप्टिंग की कोशिश की, और अधिक परिष्कृत स्क्रीप्टिंग के बाद, केवल […]

file_get_contents () मुझे 403 निषिद्ध करें

मेरे पास एक साझीदार है जिसने मेरे लिए कुछ सामग्री तैयार की है। मैं अपने ब्राउज़र के साथ पृष्ठ का उपयोग कर सकता हूं, लेकिन जब file_get_contents कोशिश कर रहा हूं, मुझे 403 forbidden I मैंने stream_context_create का उपयोग करने की कोशिश की है, लेकिन यह मदद नहीं कर रहा है – यह हो सकता […]

HTML जावा से पाठ निष्कर्षण

मैं एक प्रोग्राम पर काम कर रहा हूं जो HTML पृष्ठों को डाउनलोड करता है और फिर कुछ जानकारी का चयन करता है और इसे किसी दूसरी फ़ाइल में लिखता है। मैं उन सूचनाओं को निकालना चाहता हूं जो पैराग्राफ टैग के बीच में है, लेकिन मैं केवल अनुच्छेद की एक पंक्ति प्राप्त कर सकता […]

अनंत स्क्रॉलिंग के साथ वेबसाइटों को परिमार्जन करें

मैंने कई स्क्रेपर्स लिखे हैं लेकिन मुझे वाकई यकीन नहीं है कि अनंत स्क्रॉलर्स को कैसे संभालना है। इन दिनों सबसे वेबसाइट आदि, फेसबुक, Pinterest अनन्त scrollers है।

अजगर में सही वर्णसेट के साथ किसी भी (!) वेबपृष्ठ को कैसे डाउनलोड करें?

मुसीबत जब अजगर का उपयोग कर किसी वेबपेज को स्क्रीन-स्क्रैप करना होता है तो उसे पृष्ठ के वर्ण एन्कोडिंग को पता होना चाहिए। अगर आपको अपने आउटपुट से गलत एन्कोडिंग वर्ण मिलते हैं तो गड़बड़ हो जाएगी। लोग आमतौर पर एन्कोडिंग का पता लगाने के लिए कुछ मूल तकनीक का उपयोग करते हैं। वे या […]

फ़ॉर्म डेटा सबमिट करने और प्रमाणित करने के लिए अजगर और मैकेनिक का उपयोग करना

मैं वेबसाइट Reddit.com पर लॉगिन सबमिट करना चाहता हूं, पृष्ठ के किसी विशेष क्षेत्र पर जाएं, और एक टिप्पणी सबमिट करें। मुझे नहीं पता कि इस कोड में क्या गलत है, लेकिन यह काम नहीं कर रहा है कि Reddit साइट पर कोई भी बदलाव नहीं दिखाई देता है। import mechanize import cookielib def main(): […]

नोकोगिरि, ओपन-यूरी और यूनिकोड वर्ण

मैं एक वेबपेज पर शीर्षक टैग की सामग्री को पकड़ने के लिए नोकोगीरी और ओपन-यूरी का उपयोग कर रहा हूं, लेकिन जोर से अक्षर के साथ परेशानी हो रही है इनमें से निपटने का सबसे अच्छा तरीका क्या है? यहां मैं क्या कर रहा हूं: require 'open-uri' require 'nokogiri' doc = Nokogiri::HTML(open(link)) title = doc.at_css("title") […]

दिलचस्प पोस्ट
Matplotlib में, अंजीर का मतलब क्या होता है। एडी_एस्यूबप्लॉट (111)? Windows पर Aptana Studio 3.6 को स्थापित नहीं किया जा सकता वर्ग विकल्प का क्या मतलब है? पायथन पार्स सीएसवी सही ढंग से जावा EE के लिए एक्लिप्स में मैं JBoss AS / WildFly सर्वर कैसे स्थापित करूं? scanf ("% * s") और scanf ("% * d") स्वरूप पहचानकर्ता क्या है? एसएमटीपी सर्वर स्थापित किए बिना मेल भेज रहा है एंड्रॉइड ग्रेडले बिल्ड त्रुटि: (9, 0) ग्रैडल डीएसएल विधि नहीं मिली: 'कंपाइल ()' कैसे सी + + अपवाद फेंक प्रतिबिंब के साथ एक निजी क्षेत्र खोजें? रेल 3.1.0 ActionView :: खाका :: त्रुटि (application.css precompiled नहीं है) गेटर्स और सेटर्स का उपयोग करने के लिए अजगर का तरीका क्या है? Istringstream, ostringstream और stringstream के बीच अंतर क्या है? / क्यों प्रत्येक मामले में स्ट्रिंग स्ट्रीम का उपयोग नहीं करें? कमांडलाइन पर क्लासपाथ में जार (javac या apt) उच्छृंखल: ट्रैक किए गए फ़ाइल में परिवर्तनों को अनदेखा कैसे करें