robots.txt 생성기

robots.txt는 웹사이트 루트에 위치하여 검색 엔진 크롤러에게 어떤 페이지를 크롤링하거나 무시해야 하는지 알려주는 텍스트 파일입니다.

아닙니다. robots.txt는 크롤링만 제어하며, 다른 사이트에서 링크된 경우 여전히 검색 결과에 나타날 수 있습니다. 완전한 차단에는 noindex 메타 태그를 사용하세요.

robots.txt에서 GPTBot, ClaudeBot, PerplexityBot처럼 각 업체가 공개한 크롤러 이름을 지정해 Disallow를 걸면 됩니다. 최근에는 Content-Signal 방식으로 search=yes, ai-train=no처럼 용도별 허용 여부를 한 줄로 밝히는 방법도 쓰입니다. 다만 robots.txt는 규칙을 지키겠다고 선언한 크롤러에게만 유효한 요청이지 기술적 차단이 아니므로, 반드시 막아야 할 내용이라면 로그인 뒤에 두어야 합니다.

네, Disallow: / 한 줄이면 사이트 전체가 크롤링에서 제외됩니다. 개발 서버에 걸어 둔 이 설정을 지우지 않고 그대로 배포하는 사고가 실제로 자주 일어납니다. 배포 직후 robots.txt를 브라우저로 직접 열어 확인하고, 구글 서치 콘솔의 robots.txt 테스터로 주요 페이지가 허용되는지 점검하세요. 색인에서 빠진 뒤 되돌리는 데는 며칠에서 몇 주가 걸립니다.