🧠 LLM Working Overview - Transformer और Tokens का उपयोग (हिंदी में)

🔍 LLM क्या है?

LLM एक ऐसा deep learning model है जिसे अरबों शब्दों पर train किया जाता है ताकि यह context को समझ सके और इंसान जैसे जवाब दे सके।

• Chatbots
• Text Summarization
• Code Generation
• Question Answering

⚙️ Transformer Architecture

Transformer architecture ही LLM की नींव है। इसमें दो मुख्य हिस्से होते हैं:

• Encoder: Input को समझता है (Translation जैसे tasks में)
• Decoder: Output generate करता है (Text generation के लिए)

LLMs में आमतौर पर केवल Decoder use किया जाता है।

🔤 Tokens क्या होते हैं?

Model को पूरा वाक्य एक साथ समझ नहीं आता, उसे पहले Tokens में तोड़ा जाता है।

उदाहरण: “भारत महान है” → ["भारत", "महान", "है"]

हर token को एक number (embedding) में बदला जाता है ताकि model उसे mathematical रूप से प्रोसेस कर सके।

🚀 Self Attention Mechanism

Transformer का core idea है - Self Attention। इसमें model input के हर शब्द पर ध्यान देता है और तय करता है कि कौन-से शब्द सबसे ज़रूरी हैं।

Output(word) = Attention(Query, Key, Value)