Hadoop में Pseudo Distributed Mode क्या है? | Pseudo Distributed Mode in Hadoop in Hindi


Hadoop में Pseudo Distributed Mode क्या है? (हिंदी में)

Pseudo Distributed Mode, Hadoop की एक ऐसी configuration है जिसमें Hadoop के सभी डिमन्स (Daemons) जैसे NameNode, DataNode, ResourceManager और NodeManager एक ही मशीन पर अलग-अलग JVM processes में run करते हैं। यह सेटअप पूरी तरह से distributed नहीं होता लेकिन Hadoop distributed environment के समान व्यवहार करता है। इस मोड का उपयोग मुख्यतः Hadoop की testing, learning और debugging के लिए किया जाता है।

Hadoop के अलग-अलग Operating Modes क्या हैं?

Hadoop तीन प्रमुख मोड में काम करता है:

  • Standalone (Local) Mode
  • Pseudo Distributed Mode
  • Fully Distributed Mode (Cluster Mode)

Pseudo Distributed Mode की आवश्यकता क्यों है?

इस मोड का उपयोग मुख्यतः इन उद्देश्यों के लिए किया जाता है:

  • Testing और Debugging: Distributed environment को simulate करने के लिए।
  • Learning: Hadoop के concepts समझने और सीखने के लिए।
  • Development: Hadoop applications की development के दौरान परीक्षण करने के लिए।

Pseudo Distributed Mode को Configure करने की प्रक्रिया

Hadoop को Pseudo Distributed Mode में सेट करने के लिए निम्न चरण होते हैं:

  1. Java Installation: Java JDK Install करना।
  2. Hadoop Installation: Hadoop को डाउनलोड करके Install करना।
  3. Hadoop Environment Setup: `.bashrc` फ़ाइल में Hadoop environment variables सेट करना।
  4. Configuration Files Setup: Hadoop की core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml फ़ाइलों को configure करना।
  5. SSH Configuration: Password-less SSH setup करना।
  6. Hadoop Daemons Start करना: Hadoop के सभी daemons start करना।

Pseudo Distributed Mode की Configuration Files

Configuration File Purpose (उद्देश्य)
core-site.xml Hadoop core configurations जैसे HDFS के default FS path को सेट करता है।
hdfs-site.xml HDFS configurations जैसे replication factor और NameNode/DataNode directories को सेट करता है।
mapred-site.xml MapReduce framework configurations को सेट करता है।
yarn-site.xml ResourceManager और NodeManager configurations को सेट करता है।

Pseudo Distributed Mode में Hadoop Daemons शुरू करना

सभी daemons शुरू करने के लिए निम्न कमांड्स का उपयोग होता है:


# HDFS के Daemons शुरू करना
start-dfs.sh

# YARN के Daemons शुरू करना
start-yarn.sh

# Daemons को चेक करना
jps

jps command से running daemons की लिस्ट:

  • NameNode
  • DataNode
  • ResourceManager
  • NodeManager
  • SecondaryNameNode

Pseudo Distributed Mode के फायदे (Benefits)

  • Testing और debugging के लिए बहुत उपयोगी।
  • कम लागत में distributed environment simulate करने में मदद करता है।
  • Hadoop सीखने और समझने के लिए अच्छा विकल्प।

Pseudo Distributed Mode की सीमाएं (Limitations)

  • Production environment के लिए उपयुक्त नहीं।
  • Limited resource availability होती है क्योंकि सभी daemons एक ही मशीन पर रन होते हैं।
  • Performance पूरी तरह distributed environment से कम होती है।

Standalone, Pseudo Distributed और Fully Distributed Modes की तुलना (Comparison)

Mode Nodes की संख्या Testing के लिए उपयोग Production उपयोग
Standalone एक node, एक JVM बहुत छोटे परीक्षण के लिए उपयुक्त नहीं
Pseudo Distributed एक node, multiple JVMs Testing, debugging और development के लिए उपयोगी Production के लिए उपयुक्त नहीं
Fully Distributed Multiple nodes Testing और Production दोनों के लिए उपयुक्त Production के लिए आदर्श

निष्कर्ष (Conclusion)

Pseudo Distributed Mode Hadoop की एक उपयोगी configuration है जो learning, testing और development के लिए उपयोगी होती है। इस मोड से distributed environment का अनुभव मिलता है, लेकिन इसे production use के लिए recommend नहीं किया जाता। सही प्रकार से configuration करने से Hadoop concepts और functionalities को बेहतर समझा जा सकता है।

Related Post

Comments

Comments