⚙️ Gradient Descent Method - AI Optimization हिंदी में

🔰 Gradient Descent क्या है?

Gradient Descent एक iterative method है जो loss function के slope को follow करते हुए minimum की ओर बढ़ता है। इसका उपयोग neural networks, regression, classification आदि सभी AI models में होता है।

📌 1. Gradient Descent का Formula

नए weight को इस तरह update किया जाता है:

w = w - α * ∇L(w)

जहाँ,
- w = current weight
- α = learning rate
- ∇L(w) = gradient of loss function with respect to w

इससे model error को धीरे-धीरे कम किया जाता है।

📌 2. Types of Gradient Descent

• Batch Gradient Descent: पूरा dataset एक साथ process करता है।
• Stochastic Gradient Descent (SGD): एक data point के हिसाब से update करता है।
• Mini-batch Gradient Descent: छोटे-छोटे data chunks के साथ training करता है।

📌 3. Learning Rate

Learning rate (α) बहुत महत्वपूर्ण parameter है:

• अगर α बहुत छोटा हो → training बहुत slow होगी।
• अगर α बहुत बड़ा हो → model overshoot कर सकता है।

Learning rate को tune करना model training में एक important task है।

📌 4. Gradient Descent का Visualization

Gradient Descent को visualize करने के लिए हम एक parabola function का उदाहरण ले सकते हैं:

import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-10, 10, 100)
y = x**2

plt.plot(x, y)
plt.title("Gradient Descent Visualization")
plt.xlabel("Weights")
plt.ylabel("Loss")
plt.grid(True)
plt.show()

यह graph दिखाता है कि loss minimum की ओर कैसे जाता है।