오픈타임 용어집
robots.txt란?
로봇 배제 표준 파일
robots.txt는 사이트 루트에 두는 텍스트 파일로, 검색엔진과 AI 크롤러에게 어떤 경로를 수집해도 되는지 알려 주는 규칙을 담습니다.
한 줄 정의
robots.txt는 사이트 루트에 두는 텍스트 파일로, 검색엔진과 AI 크롤러에게 어떤 경로를 수집해도 되는지 알려 주는 규칙을 담습니다.
robots.txt에 대해 알아 둘 점은?
- · 1994년에 만들어진 관례로, 2022년 RFC 9309로 표준화됐습니다.
- · 수집을 막는 규칙일 뿐 색인 제외를 보장하지 않습니다. 색인을 막으려면 noindex를 씁니다.
- · 사이트맵 주소를 함께 적어 두면 크롤러가 찾기 쉽습니다.
자주 묻는 질문
robots.txt에 대해 자주 묻는 질문
robots.txt로 막으면 검색에서 사라지나요?
반드시 그렇지는 않습니다. 다른 곳에서 링크된 주소는 내용 없이 색인될 수 있어, 검색에서 빼려면 noindex를 써야 합니다.
AI 크롤러만 막을 수 있나요?
가능합니다. GPTBot·ClaudeBot처럼 봇 이름(User-agent)별로 규칙을 따로 적으면 됩니다. 다만 검색용 봇까지 막으면 AI 인용 기회가 줄어듭니다.