AI 학습 차단을 robots.txt 한 곳에서 여러 AI 회사에 한 번에 알리는 공통 신호가 생깁니다. 2026년 10월 30일 오픈AI, 구글, 마이크로소프트가 국제인터넷표준화기구(IETF)에서 논의 중인 이 신호를 지원하겠다고 발표했습니다. 다만 실제 적용은 회사마다 몇 달에서 내년까지 걸리고, 학습을 막는 것과 AI 답변에 내 글이 인용되는 것은 별개의 문제입니다.
지금까지는 AI 학습을 막고 싶으면 회사별 크롤러 이름을 하나하나 찾아 robots.txt에 따로 적어야 했습니다. 이번 발표는 그 일을 한 줄로 줄이자는 것입니다.
이 글은 블로그나 회사 홈페이지를 운영하면서 AI 검색(GEO)도 신경 쓰는 비개발자를 기준으로 씁니다. 무엇이 발표됐는지, 회사별로 언제 적용되는지, 막으면 무엇을 잃는지, 지금 해야 할 일이 있는지 순서대로 정리했습니다.
01 무엇이 발표됐나요?
웹사이트의 robots.txt 파일에 공통 신호(정책 토큰) 하나를 적으면, 이 신호를 지원하는 AI 회사들이 그 사이트 콘텐츠를 생성형 AI 모델 학습에 쓰지 않겠다는 약속입니다. robots.txt는 사이트 주소 뒤에 /robots.txt를 붙이면 보이는 파일로, 어떤 로봇이 어디까지 들어와도 되는지 적어 두는 안내문입니다.
이 신호는 IETF의 AI Preferences 작업 그룹에서 나온 초안을 바탕으로 합니다. 더버지 보도에 따르면 초안은 앤트로픽의 표준 담당자 케빈 켈리가 제안했습니다. 회사별 입장은 이렇습니다.
| 회사 | 발표 내용 | 적용 시점 |
|---|---|---|
| 오픈AI | robots.txt의 공통 신호를 존중하겠다고 발표. 기존 크롤러별 설정도 계속 지킴 | 앞으로 몇 달 안 |
| 구글 | 공통 신호로 학습을 거부하면 Google-Extended를 막은 것으로 해석 | 2027년 목표 |
| 마이크로소프트 | 학습 신호에 더해 AI 답변 활용(그라운딩) 설정을 페이지 단위로 따로 제공 | 2027년 2월 1일부터 반영 |
| 앤트로픽 | 초안 제안 회사. 더버지 보도 기준 이미 적용 | 적용 중 (보도 기준) |
| 메타 | 지지 의사는 밝혔지만 준수 여부는 밝히지 않음 | 미정 |
표를 옆으로 밀어서 보실 수 있습니다.
중요한 점은 이것이 법이 아니라 회사들의 자발적인 약속이라는 것입니다. 신호를 지원하지 않는 회사의 크롤러에는 효과가 없습니다.
02 기존 방식과 무엇이 달라지나요?
달라지는 것은 적는 곳의 개수입니다. 지금은 회사마다 크롤러 이름이 달라서, 학습을 막으려면 이름을 하나씩 알고 각각 규칙을 써야 했습니다. 새 방식은 공통 이름 하나에 규칙을 한 번 쓰면 지원하는 회사 전체에 전달됩니다.
마이크로소프트가 공개한 안내 문서에는 다음 형식이 예시로 나와 있습니다. 초안 단계라 최종 표기는 바뀔 수 있으니, 실제로 적용할 때는 각 회사 공식 문서를 다시 확인하세요.
User-Agent: __usage_ai-trainingDisallow: /
기존 방식이 사라지는 것은 아닙니다. 오픈AI와 구글 모두 회사별 설정(예: 구글의 Google-Extended)이 계속 작동한다고 밝혔습니다. 그래서 공통 신호로 전체 방향을 정하고, 특정 회사만 다르게 처리하고 싶을 때 회사별 설정을 덧붙이는 식으로 쓸 수 있습니다.
- 공통 신호: 지원하는 여러 AI 회사에 한 번에 학습 거부를 전달
- 회사별 설정: 특정 회사만 허용하거나 막는 세부 조정
- 둘 다 없으면: 기본값은 허용 (마이크로소프트 안내 기준)
03 학습을 막으면 AI 검색에서도 사라지나요?
회사마다 다르고, 여기가 이번 발표에서 가장 조심해서 봐야 할 부분입니다. 학습은 AI 모델을 만들 때 내 글을 재료로 쓰는 것이고, 그라운딩은 AI가 답변을 만들 때 내 글을 찾아 근거로 붙이는 것입니다. GEO, 즉 AI 답변에 내 글이 인용되게 하는 일은 대부분 그라운딩 쪽입니다.
| 구분 | 구글 | 마이크로소프트 |
|---|---|---|
| 학습 거부의 범위 | Google-Extended 차단과 같게 처리. Google-Extended는 제미나이 모델 학습과 제미나이 앱의 그라운딩 활용을 함께 다룸 | 학습만 해당. 그라운딩은 별도 설정 |
| AI 답변 노출 | Google-Extended를 허용한 사이트가 제미나이 앱 답변과 클릭 대상이 될 수 있다고 안내 | 그라운딩을 막으면 AI 답변 노출이 크게 줄어든다고 경고 |
| 일반 검색 | Google-Extended는 구글 검색 포함 여부와 순위에 영향 없음 | 빙 검색 결과 노출과 무관 |
표를 옆으로 밀어서 보실 수 있습니다.
정리하면, 일반 검색 순위는 지켜지지만 구글에서는 학습을 막는 순간 제미나이 앱 답변에 인용될 기회도 함께 줄어들 수 있습니다. AI 검색 노출이 목적이라면 학습 거부를 걸기 전에 이 차이를 먼저 따져봐야 합니다.
마이크로소프트는 "허용이든 거부든 어떤 선택도 노출, 트래픽, 수익을 보장하지 않는다"고 분명히 적었습니다. 허용한다고 인용이 보장되는 것은 아닙니다.
04 블로그·사이트 운영자는 지금 무엇을 해야 하나요?
대부분은 지금 당장 할 일이 없습니다. 아무것도 적지 않으면 기본값은 허용이고, 공통 신호를 실제로 읽기 시작하는 시점도 회사마다 아직 남아 있습니다. 상황별로 나누면 이렇습니다.
| 내 상황 | 권하는 행동 |
|---|---|
| AI 답변에 내 글이 인용되길 원함 (GEO) | 아무것도 막지 않기. robots.txt에 AI 관련 차단 규칙이 남아 있는지만 점검 |
| 학습만 막고 AI 답변 노출은 유지하고 싶음 | 회사별로 다르게 설정. 마이크로소프트는 학습 거부와 그라운딩 허용을 따로 고를 수 있음. 구글은 학습 거부가 제미나이 앱 노출에도 영향을 줄 수 있음 |
| 유료 콘텐츠라 모든 AI 활용을 막고 싶음 | 공통 신호가 적용되는 시점에 맞춰 robots.txt에 학습 거부 추가. 마이크로소프트는 페이지별 그라운딩 거부도 추가 |
| 빙에서 NoArchive·NoCache를 써 왔음 | 2027년 3월 1일 전까지 새 설정으로 옮기기. 그 뒤로는 기존 태그를 학습·그라운딩 거부로 읽지 않음 |
표를 옆으로 밀어서 보실 수 있습니다.
내 robots.txt 확인하는 법
- 브라우저 주소창에
내사이트주소/robots.txt를 입력합니다. - GPTBot, Google-Extended, CCBot처럼 AI 회사 크롤러 이름 아래에
Disallow: /가 있는지 봅니다. - 있다면 의도한 설정인지 확인합니다. 예전에 템플릿이나 플러그인이 자동으로 넣어 둔 경우도 있습니다.
05 노슈니 사이트는 어떻게 하고 있나요?
저는 막지 않습니다. 이 블로그를 쓰는 이유 자체가 AI 강의와 컨설팅을 찾는 분들이 검색과 AI 답변에서 노슈니를 만나게 하는 것이기 때문입니다. 현재 noshooni.com의 robots.txt는 모든 로봇에게 전체 접근을 허용하고, 사이트맵 위치만 알려 두고 있습니다.
대신 AI가 글을 정확히 읽어 갈 수 있도록 구조 쪽에 힘을 씁니다. 글마다 질문형 소제목과 첫 문장 결론, 자주 묻는 질문, 출처 링크를 넣고, AI 검색용 사이트 요약 파일(llms.txt)과 RSS 피드도 두었습니다. 막을지 말지보다 읽혔을 때 제대로 인용되는지가 GEO에서는 더 큰 차이를 만듭니다.
홍보용 페이지는 열어 두고, 고객 자료실이나 유료 강의 페이지처럼 성격이 다른 경로만 따로 막는 방식이 현실적입니다. 경로 단위 설정은 공통 신호에서도 지원됩니다.
자주 묻는 질문
robots.txt에 AI 학습 차단을 넣으면 구글 검색 순위가 떨어지나요?
구글은 Google-Extended가 구글 검색 포함 여부와 순위에 영향을 주지 않는다고 안내합니다. 마이크로소프트도 새 설정이 빙 검색 결과 노출과 무관하다고 밝혔습니다. 다만 구글에서는 학습 거부가 제미나이 앱 답변 노출에 영향을 줄 수 있습니다.
지금 공통 신호를 넣으면 바로 적용되나요?
회사마다 다릅니다. 더버지 보도 기준 앤트로픽은 이미 적용했고, 오픈AI는 앞으로 몇 달 안, 구글은 2027년, 마이크로소프트는 2027년 2월 1일부터 크롤링하면서 반영합니다. 미리 넣어 두는 것은 가능하지만 초안 단계라 표기가 바뀔 수 있습니다.
이미 GPTBot이나 Google-Extended를 따로 막아 두었다면 어떻게 되나요?
그대로 작동합니다. 오픈AI와 구글 모두 회사별 설정을 계속 지킨다고 밝혔습니다. 공통 신호는 기존 설정을 대체하는 것이 아니라 한 번에 적을 수 있는 방법이 하나 더 생기는 것입니다.
이 신호를 지키지 않는 AI 회사도 있나요?
있을 수 있습니다. 법적 의무가 아니라 자발적 약속이라, 지원을 밝히지 않은 회사의 크롤러에는 효과가 없습니다. 메타는 지지 의사만 밝히고 준수 여부는 밝히지 않았습니다.
마치며
이번 발표의 핵심은 AI 학습 거부를 한 번에 표시할 수 있게 됐다는 편의성입니다. 하지만 블로그로 브랜드를 알리는 입장에서는 무엇을 막을지보다 무엇을 잃는지를 먼저 봐야 합니다. 특히 구글에서는 학습 거부와 제미나이 앱 노출이 묶여 있습니다.
AI 답변에 내 글이 나오길 바란다면 지금은 막지 말고, 글을 AI가 인용하기 좋은 구조로 다듬는 데 시간을 쓰는 편이 낫습니다.
클로드 코드로 만든 웹사이트, 깃허브 페이지에 올리고 도메인 연결하는 전체 과정
robots.txt와 사이트맵을 둘 내 사이트를 직접 만들어 올리는 과정을 정리했습니다.
발표 내용과 제공 범위(플랜·지역·언어)는 이후 바뀔 수 있습니다. 최신 정보는 공식 문서에서 확인하세요.