AI 크롤러 차단하는 법 2026 — robots.txt에 GPTBot·ClaudeBot·Google-Extended 적는 순서

내가 쓴 글이 어느새 AI 답변 속에 들어가 있는 걸 보면 기분이 묘하죠. 그래서 robots.txt를 열긴 열었는데, 봇 이름이 열댓 개씩 돌아다니니 뭘 어디에 적어야 할지 막막해지거든요.

결론부터 말하면 봇 이름을 다 적기 전에 학습봇과 검색봇부터 갈라야 해요. 학습용 봇은 막고 검색용 봇은 열어 두는 게 기본이고, 봇 이름을 뭉뚱그려 전부 막으면 AI 답변에서 빠지는 대신 검색 유입까지 스스로 끊게 되거든요. 다만 회사마다 봇을 나눠 둔 방식이 조금씩 다르고, robots.txt가 지켜지는 범위에도 한계가 있어서 순서대로 짚어 볼게요.

AI 크롤러 차단, robots.txt에 무엇부터 적을까요

가장 먼저 적을 것은 학습 쪽 토큰 세 개예요. OpenAI의 GPTBot, Anthropic의 ClaudeBot, 구글의 Google-Extended가 여기에 해당해요. 이 셋을 막으면 세 회사에 학습 목적 수집을 하지 말라는 요청을 남기게 되고, 검색 노출 쪽은 건드리지 않아요. 다만 Google-Extended는 학습만이 아니라 그라운딩까지 함께 관리하는 토큰이라, 이 차이는 아래 표 뒤에서 따로 짚을게요.

그다음이 검색·인용용 봇을 어떻게 할지 정하는 단계예요. OAI-SearchBot을 막으면 ChatGPT 검색 답변에 사이트가 표시되지 않고, Claude-SearchBot을 막으면 검색용 색인에서 빠져요. 여기는 사람마다 답이 갈리는 자리라, 아래에서 각 봇이 무슨 일을 하는지 보고 나서 정하시는 편이 좋아요.

학습봇과 검색봇을 갈라야 유입이 안 끊겨요

이 글에서 가장 중요한 대목이에요. 같은 회사의 봇이라도 하는 일이 나뉘어 있고, 공식 문서가 그 차이를 직접 설명해요.

OpenAI 문서는 첫 문단부터 이 점을 못 박아요. OAI-SearchBot과 GPTBot의 robots.txt 태그를 따로 두어 사이트 운영자가 관리할 수 있게 했고, 각 설정은 서로 독립이라고 적혀 있어요. 원문이 든 예시가 그대로 답이에요. 검색 결과에 나오려고 OAI-SearchBot은 허용하면서, 크롤된 콘텐츠가 학습에 쓰이지 않도록 GPTBot은 차단하는 조합이에요.

구글 쪽은 더 분명해요. 구글 문서는 Google-Extended에 대해 사이트의 구글 검색 포함 여부에 영향을 주지 않고 구글 검색의 순위 신호로도 쓰이지 않는다고 적어요. 검색 노출을 좌우하는 토큰은 Googlebot이고, 이쪽 크롤 설정이 구글 검색과 이미지, 비디오, 뉴스, 디스커버에 영향을 준다고 같은 문서가 안내해요. 즉 Google-Extended를 막는 일과 검색에서 사라지는 일은 서로 다른 층이에요.

회사별 봇 이름과 하는 일

세 회사가 공식 문서에서 밝힌 내용만 추렸어요. 표의 마지막 칸은 그 봇을 막았을 때 어떻게 된다고 각 문서가 적었는지예요.

표에서 두 가지만 더 짚을게요. Google-Extended는 별도의 HTTP 요청 user-agent 문자열이 없어요. 구글 문서는 크롤 자체는 기존 구글 user-agent 문자열로 이뤄지고 robots.txt의 토큰은 제어용으로만 쓰인다고 밝혀요. 서버 로그에서 이 이름을 찾다가 안 보인다고 당황할 일이 아니라는 뜻이에요.

또 하나는 Google-Extended가 학습만 가리키지 않는다는 점이에요. 구글 문서는 이 토큰이 Gemini 앱과 Vertex AI API의 다음 세대 모델 학습, 그리고 그라운딩까지 관리한다고 적어요. 그라운딩은 프롬프트 시점에 구글 검색 색인의 콘텐츠를 모델에 넣어 사실성과 관련성을 높이는 동작이라고 같은 문서가 괄호로 설명해요.

그대로 복사해 쓰는 robots.txt 세 가지

상황을 세 가지로 나눠 뒀어요. 각 회사 문서에 적힌 토큰만 썼고, 없는 이름은 넣지 않았어요.

첫째, 학습만 막고 검색은 전부 열어 두는 조합이에요. 대부분의 블로그와 회사 사이트에 맞는 기본값이에요.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

둘째, AI 서비스 쪽 노출을 통째로 정리하고 싶을 때예요. 검색 답변에서 빠지는 것을 감수하는 선택이라, 유입 구조를 먼저 보고 결정하세요.

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: Google-Extended
Disallow: /

셋째, 차단이 아니라 속도만 늦추고 싶을 때예요. Anthropic 지원문서는 크롤 활동을 제한하려고 비표준 확장인 Crawl-delay를 지원한다고 밝히면서 아래 형태를 예로 들어요.

User-agent: ClaudeBot
Crawl-delay: 1

파일 안에서 줄 순서는 중요하지 않아요

제목에 '순서'를 적어 두긴 했지만, 정작 파일 안의 줄 순서는 결과를 바꾸지 않아요. 구글 스펙 문서가 robots.txt 안에서 그룹이 놓인 순서는 무관하다고 직접 적거든요. GPTBot 그룹을 맨 위에 두든 맨 아래에 두든 구글 기준으로는 판정이 같아요.

대신 진짜로 순서가 걸리는 규칙이 따로 있어요. 구글 스펙 문서는 특정 크롤러에 유효한 그룹이 하나뿐이라고 밝혀요. 크롤러의 user-agent와 일치하는 것 중 가장 구체적인 그룹을 찾아 그것만 따르고 나머지 그룹은 무시한다는 설명이에요.

여기서 초보자가 가장 많이 걸려 넘어지는 대목이 나와요. 같은 문서는 구글 크롤러를 기준으로 user-agent별 그룹과 전체 그룹(*)이 합쳐지지 않는다고 적어요. 그래서 User-agent: * 아래 적어 둔 공통 규칙은 구글 봇 그룹을 따로 만드는 순간 그 그룹에는 적용되지 않아요. 다른 회사 봇이 같은 방식으로 읽는다는 보장은 문서에 없고, 구글 문서 자신도 크롤러마다 규칙 해석이 다를 수 있다고 적어요. 그러니 관리자 폴더 차단처럼 별표 그룹에만 적어 둔 공통 규칙이 있다면, 봇별 그룹을 새로 만들 때 그 그룹에도 다시 적어 두는 편이 안전해요.

정리하면 적을 때 지켜야 할 순서는 이래요. 첫째, 학습봇과 검색봇을 갈라요. 둘째, 봇마다 그룹을 따로 만들어요. 셋째, 별표 그룹에만 있던 공통 규칙이 필요하면 각 봇 그룹에도 다시 적어요. 파일 안 줄 순서를 고민할 시간에 이 세 가지를 확인하는 편이 실속 있어요.

여기까지가 내 도메인에서 할 수 있는 일이에요. 남의 플랫폼에 올려 둔 사진과 글은 층이 아예 달라서, SNS 사진 AI 학습 거부, 끌 수 있는 것과 못 끄는 것 2026에서 그쪽 경계를 따로 정리해 뒀어요.

붙여넣기 전 자가진단 여섯 가지

한 줄씩 확인하면서 내려가시면 돼요. 실제로 사고가 나는 자리만 골랐어요.

1. User-agent: *에 Disallow: /를 걸어 두진 않았나요 학습봇만 막으려다 검색 크롤러까지 닫는 가장 흔한 실수예요.
2. Googlebot을 학습봇 목록에 섞어 두진 않았나요 이름이 비슷해 보여도 이건 검색 색인용이에요.
3. 서브도메인마다 파일을 올렸나요 구글 스펙 문서는 규칙이 파일이 올라간 호스트와 프로토콜, 포트에만 적용된다고 적어요. Anthropic 문서도 제외하려는 서브도메인마다 작업해 달라고 안내해요.
4. 파일 위치가 최상위 디렉터리인가요 하위 폴더에 둔 robots.txt는 읽히지 않아요.
5. 별표 그룹의 공통 규칙을 봇 그룹에도 복사했나요 앞 절에서 본 미결합 함정이에요.
6. 바꾼 뒤 바로 결과를 기대하고 있진 않나요 반영에는 시간이 걸려요. 구글 스펙 문서는 robots.txt 내용을 대체로 하루까지 캐시하고 갱신이 어려운 상황에서는 더 오래 캐시할 수도 있다고 적어요. OpenAI 문서는 검색 결과에 한해 robots.txt 갱신 후 시스템 조정까지 약 하루가 걸릴 수 있다고 안내하고요.

티스토리·네이버·브런치는 어디까지 되나요

여기서 갈라야 할 것은 '내 파일을 내가 고칠 수 있느냐'예요. 워드프레스나 직접 만든 사이트라면 위 내용을 그대로 쓰면 되지만, 남의 플랫폼 위에 글을 올리는 경우는 사정이 달라요. 구글 문서도 CMS를 쓰면 robots.txt를 직접 편집할 필요가 없거나 편집하지 못할 수 있고, 대신 CMS가 검색 설정 화면 같은 다른 장치를 제공할 수 있다고 안내해요.

그래서 실제 파일을 받아 봤어요. 아래는 2026년 7월 31일에 각 주소에서 직접 내려받은 내용이에요.

티스토리는 블로그 주소 세 곳을 확인했는데 세 파일의 내용이 글자 그대로 같았어요. 방명록과 관리, 검색 경로를 막는 User-agent: * 그룹 하나와 bingbot에 Crawl-delay를 주는 그룹 하나가 전부였고, AI 관련 토큰은 하나도 없었어요. 확인한 세 주소가 모두 같은 파일을 내려주는 상태라, 글쓴이가 이 내용을 바꿀 수 있는지는 티스토리 고객센터에서 확인하셔야 해요.

네이버 블로그는 정반대였어요. blog.naver.com의 robots.txt에는 AI 학습과 검색 증강 생성 목적의 봇 접근을 금지한다는 영문 주석이 달려 있고, 그 아래로 GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot, Claude-SearchBot을 비롯한 토큰이 각각 Disallow: /와 함께 적혀 있었어요. 브런치도 # AI training crawlers라는 주석 아래 GPTBot과 ClaudeBot, Google-Extended를 포함한 목록을 한 그룹으로 묶어 사이트 전체를 막아 두고 있었고요.

플랫폼을 쓰신다면 순서가 이렇게 바뀌어요. 먼저 내 블로그 주소 뒤에 /robots.txt를 붙여 지금 어떤 파일이 내려오는지 보세요. 그다음 그 파일에 AI 토큰이 있는지 확인하고, 없다면 편집이 가능한지를 해당 서비스 고객센터에서 찾아보는 순서예요. 여기서 안 되는 것으로 확인되면 남는 선택지는 공개 범위를 좁히거나 발행처를 옮기는 쪽이에요.

robots.txt가 해주지 않는 것

이 절을 안 읽고 파일만 올리면 기대가 어긋나요. 구글 문서는 robots.txt의 지시가 크롤러의 행동을 강제할 수 없고 따를지는 크롤러에 달려 있다고 명시해요. Googlebot을 비롯한 점잖은 크롤러는 지키지만 다른 크롤러는 안 지킬 수도 있다는 서술이 같은 자리에 붙어 있어요. 그래서 정보를 확실히 지켜야 한다면 서버에서 비밀번호를 거는 편이 낫다고 그 문서가 권해요.

구글과 Anthropic은 자기 문서에서 robots.txt를 지킨다고 직접 밝혀요. 구글 문서는 공용 크롤러가 자동으로 크롤할 때 항상 robots.txt 규칙을 따른다고 적고, Anthropic 지원문서도 자사 봇이 robots.txt의 업계 표준 지시를 지켜 크롤 금지 신호를 존중한다고 적어요. 다만 이건 두 회사가 밝힌 방침이고, 문서에 이름이 없는 수집기까지 보장하는 말은 아니에요. OpenAI 문서에는 그런 선언 문장 대신, OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않고 GPTBot 차단은 콘텐츠를 학습에 쓰지 말라는 표시가 된다는 결과 설명이 적혀 있어요.

시간 방향도 봐야 해요. Anthropic 문서가 쓴 표현은 '앞으로의 자료'였어요. 사이트가 ClaudeBot 접근을 제한하면 향후 자료를 학습 데이터셋에서 빼라는 신호가 된다는 문장이라, 이미 수집된 것을 되돌린다는 서술은 아니에요. 지금 파일을 올리는 일은 앞으로 들어올 요청에 대한 조치예요.

IP 차단으로 대신하려는 시도도 권하지 않아요. Anthropic 지원문서는 봇이 오는 IP를 막는 방식이 제대로 동작하지 않거나 제외 상태를 계속 보장하지 못할 수 있다고 적어요. 이유가 재미있는데, IP를 막으면 그쪽에서 robots.txt 자체를 읽지 못하게 되기 때문이에요.

로그로 확인할 때도 조심할 게 있어요. 구글 문서는 HTTP user-agent 문자열이 위조될 수 있다는 주의를 따로 달아 뒀어요. 로그에 GPTBot이라고 찍혔다고 그게 반드시 OpenAI에서 온 요청이라는 뜻은 아니에요.

마지막으로 층을 하나 더 짚을게요. 내 사이트를 잠그는 일과, 내가 대화창에 붙여 넣은 자료가 어떻게 되는지는 서로 다른 문제예요. 후자는 ChatGPT에 개인정보·회사 기밀 넣어도 될까? AI 챗봇 안전 사용 가이드 2026에서 기준을 정리해 뒀어요.

함께 보면 좋은 글

• SNS 사진 AI 학습 거부, 끌 수 있는 것과 못 끄는 것 2026 내 도메인이 아니라 남의 플랫폼에 올린 게시물 쪽 경계를 다뤘어요.
• AI 이미지 저작권·상업적 이용 가이드 2026 수집을 막는 쪽과 반대로, 만들어진 결과물을 쓸 때의 권리 관계를 정리했어요.