오픈타임 용어집

AI 크롤러란?
AI Crawler (GPTBot·ClaudeBot 등)

AI 크롤러는 AI 회사가 학습이나 실시간 검색을 위해 웹 페이지를 수집하는 봇으로, OpenAI의 GPTBot·OAI-SearchBot, Anthropic의 ClaudeBot, PerplexityBot 등이 있습니다.

한 줄 정의

AI 크롤러는 AI 회사가 학습이나 실시간 검색을 위해 웹 페이지를 수집하는 봇으로, OpenAI의 GPTBot·OAI-SearchBot, Anthropic의 ClaudeBot, PerplexityBot 등이 있습니다.

AI 크롤러에 대해 알아 둘 점은?

  • · robots.txt나 CDN·방화벽 설정에서 이 봇들을 막으면 AI 검색이 페이지를 읽지 못할 수 있습니다.
  • · 학습용 봇과 검색용 봇이 따로 있는 회사가 있어, 막을 때도 구분해서 정해야 합니다.
  • · 봇 이름을 흉내 낸 요청으로 받은 차단 응답은 실제 차단의 증거가 아닐 수 있어 서버 로그로 확인합니다.
더 읽기: AI 크롤러 허용 가이드 · robots.txt · AI 검색 기술 세팅
용어집: 오픈타임 SEO·GEO 용어집 전체 보기
자주 묻는 질문

AI 크롤러에 대해 자주 묻는 질문

AI 크롤러를 막으면 어떻게 되나요?
검색용 AI 봇을 막으면 해당 AI 검색이 페이지를 읽지 못해 인용될 기회가 줄어듭니다. 학습만 막고 검색은 허용하는 식으로 나눠 정할 수 있습니다.
우리 사이트가 AI 크롤러를 막고 있는지 어떻게 아나요?
robots.txt 규칙과 CDN·방화벽의 봇 차단 설정을 확인하고, 서버 접속 기록에 해당 봇의 방문이 남는지 봅니다.