สร้าง robots.txt

robots.txt เป็นไฟล์ข้อความที่วางไว้ที่รากของเว็บไซต์เพื่อบอกโรบอตค้นหาว่าหน้าใดควรรวบรวมข้อมูลหรือข้ามไป

ไม่ robots.txt ควบคุมเฉพาะการรวบรวมข้อมูล หน้าเว็บอาจยังปรากฏในผลค้นหาหากมีลิงก์จากเว็บอื่น ใช้แท็ก meta noindex เพื่อลบออกอย่างสมบูรณ์

ในไฟล์ robots.txt ให้ระบุชื่อบ็อตที่แต่ละบริษัทประกาศไว้ เช่น GPTBot, ClaudeBot, PerplexityBot แล้วตั้ง Disallow ให้บ็อตเหล่านั้น แนวทางที่ใหม่กว่าคือ Content-Signal ซึ่งประกาศสิทธิ์ตามวัตถุประสงค์ได้ในบรรทัดเดียว เช่น search=yes, ai-train=no แต่พึงจำว่า robots.txt เป็นเพียงคำร้องขอที่บ็อตซึ่งยินยอมปฏิบัติตามเท่านั้นจะเคารพ ไม่ใช่การปิดกั้นเชิงเทคนิค สิ่งที่ห้ามถูกนำไปจริง ๆ จึงควรอยู่หลังระบบล็อกอิน

ได้ เพียงบรรทัดเดียวที่เขียนว่า Disallow: / ก็ตัดทั้งเว็บออกจากการรวบรวมข้อมูล การนำไฟล์ robots.txt ของเซิร์ฟเวอร์ทดสอบขึ้นเว็บจริงโดยลืมลบบรรทัดนั้นเป็นอุบัติเหตุที่เกิดขึ้นบ่อยจริง ๆ ให้เปิด robots.txt ด้วยเบราว์เซอร์ทันทีหลังการปรับใช้ทุกครั้ง และนำหน้าสำคัญ ๆ ไปตรวจกับเครื่องมือทดสอบ robots.txt ใน Google Search Console เพราะการกู้กลับหลังหลุดจากดัชนีต้องใช้เวลาหลายวันถึงหลายสัปดาห์ แม้จะแก้ไฟล์แล้วก็ตาม