Generator robots.txt

robots.txt adalah file teks yang ditempatkan di root situs web yang memberi tahu crawler mesin pencari halaman mana yang boleh di-crawl atau diabaikan.

Tidak. robots.txt hanya mengontrol crawling — halaman mungkin masih muncul di hasil pencarian jika ditautkan dari situs lain. Gunakan meta tag noindex untuk penghapusan sepenuhnya.

Di robots.txt, sebutkan nama perayap yang diumumkan tiap perusahaan — GPTBot, ClaudeBot, PerplexityBot, dan seterusnya — lalu beri Disallow. Pendekatan yang lebih baru, Content-Signal, memungkinkan Anda menyatakan izin menurut tujuan dalam satu baris, misalnya search=yes, ai-train=no. Ingat bahwa robots.txt hanyalah permintaan yang dihormati perayap yang memang memilih menaatinya, bukan pemblokiran teknis; apa pun yang benar-benar tidak boleh diambil harus berada di balik login.

Bisa — satu baris berbunyi Disallow: / menyingkirkan seluruh situs dari perayapan. Mengunggah robots.txt milik server uji ke produksi tanpa menghapus baris itu benar-benar kecelakaan yang sering terjadi. Bukalah robots.txt di peramban tepat setelah setiap penerapan dan uji halaman-halaman penting Anda dengan penguji robots.txt di Google Search Console. Pulih dari terlepasnya indeks butuh berhari-hari hingga berminggu-minggu, jauh setelah berkasnya diperbaiki.