robots.txt जनरेटर

robots.txt एक टेक्स्ट फ़ाइल है जो किसी वेबसाइट की रूट में रखी जाती है और सर्च इंजन क्रॉलर को बताती है कि किन पेजों को क्रॉल करना है या अनदेखा करना है।

नहीं। robots.txt केवल क्रॉलिंग नियंत्रित करती है — यदि अन्य साइटों से लिंक हों तो पेज फिर भी सर्च परिणामों में दिख सकते हैं। पूरी तरह हटाने के लिए noindex मेटा टैग का उपयोग करें।

robots.txt में हर कंपनी के घोषित क्रॉलर का नाम लिखें — GPTBot, ClaudeBot, PerplexityBot इत्यादि — और उन पर Disallow लगाएँ। एक नया तरीक़ा Content-Signal है, जिसमें उद्देश्य के अनुसार अनुमति एक ही पंक्ति में बताई जाती है, जैसे search=yes, ai-train=no। पर याद रखें कि robots.txt केवल उन क्रॉलरों के लिए अनुरोध है जो उसे मानने का चुनाव करते हैं, तकनीकी रोक नहीं; जो चीज़ सचमुच नहीं ली जानी चाहिए, उसे लॉगिन के पीछे रखें।

हाँ — केवल एक पंक्ति Disallow: / पूरी साइट को क्रॉलिंग से बाहर कर देती है। परीक्षण सर्वर की robots.txt को उसी पंक्ति के साथ लाइव पर चढ़ा देना सचमुच आम दुर्घटना है। हर तैनाती के तुरंत बाद ब्राउज़र में robots.txt खोलकर देखें और अपने अहम पन्नों को Google Search Console के robots.txt परीक्षक से जाँचें। इंडेक्स से हटने के बाद वापसी में कुछ दिनों से कुछ हफ़्तों तक लग जाते हैं, फ़ाइल ठीक करने के काफ़ी बाद तक।