Tạo robots.txt

robots.txt là tệp văn bản đặt ở gốc website, cho trình thu thập dữ liệu biết trang nào nên thu thập hoặc bỏ qua.

Không. robots.txt chỉ kiểm soát việc thu thập — trang vẫn có thể xuất hiện nếu được liên kết từ trang khác. Dùng thẻ meta noindex để loại bỏ hoàn toàn.

Trong robots.txt, hãy nêu tên trình thu thập mà từng công ty công bố — GPTBot, ClaudeBot, PerplexityBot và tương tự — rồi đặt Disallow cho chúng. Cách mới hơn là Content-Signal, cho phép khai báo quyền theo mục đích chỉ trong một dòng, chẳng hạn search=yes, ai-train=no. Hãy nhớ robots.txt chỉ là lời đề nghị mà các trình thu thập tự nguyện tuân theo, không phải rào chặn kỹ thuật; thứ gì thật sự không được lấy thì phải nằm sau đăng nhập.

Có — chỉ một dòng Disallow: / là toàn bộ trang bị loại khỏi quá trình thu thập. Việc đẩy nguyên tệp robots.txt của máy chủ thử nghiệm lên bản chính mà quên xóa dòng đó là tai nạn thật sự phổ biến. Hãy mở robots.txt bằng trình duyệt ngay sau mỗi lần triển khai và cho các trang trọng yếu chạy qua công cụ kiểm tra robots.txt của Google Search Console. Hồi phục sau khi bị loại khỏi chỉ mục mất vài ngày đến vài tuần, rất lâu sau khi tệp đã được sửa.