robots.txt 한 줄로 AI 학습 거부: Google·Microsoft·OpenAI·Anthropic이 같은 신호를 지원한다

핵심 요약

2026년 10월 30일, Google·Microsoft·Anthropic·OpenAI 네 회사가 웹사이트 운영자가 robots.txt 항목 하나로 생성형 AI 학습용 수집을 거부할 수 있게 하는 공용 신호를 지원하겠다고 발표했습니다. SiliconANGLE이 같은 날 네 회사의 발표를 묶어 보도했고, Google은 Search Central 블로그에 별도 공지를 올렸습니다.

• 지금은 AI 학습 수집을 막으려면 AI 회사마다, 같은 회사라도 크롤러마다 robots.txt 항목을 따로 적어야 합니다. 새 신호는 이것을 한 항목으로 줄이는 것이 목표입니다.
• 네 회사는 이 방식을 robots.txt의 표준 형식(Robots Exclusion Protocol)에 넣으려 하고, 초안을 IETF에 이미 제출했습니다.
• 적용 시점은 회사마다 다릅니다. SiliconANGLE에 따르면 OpenAI와 Microsoft는 "앞으로 몇 달 안에", Google은 내년(2027년) 중에 지원할 계획입니다.
• Google은 이 신호로 학습을 거부하면서 Google-Extended를 따로 적지 않은 사이트를 Google-Extended 차단과 같은 것으로 보겠다고 밝혔습니다.
• 아직 지금 바로 적용한다고 밝힌 회사는 없습니다. 발표된 것은 지원 계획과 초안입니다.

무엇이 바뀌나: 항목 여러 개에서 한 개로

robots.txt는 사이트가 크롤러를 제어하는 데 이미 쓰는 파일입니다. SiliconANGLE 설명대로라면 AI 학습용 수집기를 막을 때도 지금은 이 파일을 씁니다.

문제는 번거로움입니다. SiliconANGLE은 학습용 수집을 막으려면 AI 회사마다 항목을 따로 추가해야 하고, 한 회사가 수집기를 여러 개 쓰면 그 수집기마다 또 항목이 필요하다고 설명했습니다. 필자가 보기에는 새 AI 회사가 생길 때마다 운영자가 목록을 다시 챙겨야 하는 구조입니다.

새 신호는 이 목록 관리를 한 줄로 바꾸려는 시도입니다. 생성형 AI 모델의 학습 데이터를 모으는 수집기 전체를 항목 하나로 막는다는 개념입니다.

범위의 경계: "비생성형" 모델은 빠진다

SiliconANGLE에 따르면 이 설정은 "비생성형 작업만 수행하는" 모델에는 적용되지 않습니다. 생성형 모델의 학습이 대상이고, 비생성형 작업만 하는 모델은 이 신호의 범위 밖이라는 뜻입니다. 필자 해석으로는 운영자 입장에서 모든 AI 활용 거부가 아니라 생성형 AI 학습 거부로 읽는 편이 맞습니다.

회사별로 무엇을 약속했나

발표의 큰 줄기는 같지만 세부는 회사마다 다릅니다. 확인된 내용만 표로 정리했습니다.

Microsoft: 학습과 "답변용 접근"을 나눴다

Microsoft는 학습 거부와 별개로 "AI Grounding"이라는 설정을 내놓겠다고 했습니다. SiliconANGLE 설명에 따르면 이것은 학습 데이터 수집이 아니라, AI 모델이 사용자 질문에 답하려고 웹페이지를 불러오는 경우를 다룹니다. 운영자는 이 설정으로 Microsoft 서비스가 그런 요청을 보내지 않게 할 수 있습니다.

범위도 넓습니다. Microsoft 기술로 프롬프트를 처리하는 서드파티 AI 도구까지 이 설정이 적용된다고 SiliconANGLE은 전했습니다. AI Grounding의 출시 시점은 기사에 나오지 않습니다.

OpenAI: 비슷한 제어 기능을 예고

SiliconANGLE에 따르면 OpenAI도 Microsoft와 비슷한 제어 기능을 제공할 계획이고, 공용 신호 지원은 Microsoft와 마찬가지로 앞으로 몇 달 안에 넣을 예정입니다. 구체적인 날짜는 기사에 없습니다.

Meta: 지지하지만 약속은 안 했다

Meta는 이 기술의 취지에는 지지를 밝혔지만 구현은 약속하지 않았다고 SiliconANGLE은 보도했습니다.

Google의 해석 규칙: Google-Extended와의 관계

Google Search Central 블로그 공지(2026년 10월 30일, John Mueller 작성)는 다른 회사 발표보다 운영 규칙이 구체적입니다.

• 이 신호는 IETF AIPREF 워킹그룹의 작업을 바탕으로 합니다. 공지가 링크한 초안 이름은 draft-kelley-aipref-training-preference-signal입니다.
• 사이트 운영자는 robots.txt의 공용 "정책 토큰(policy token)"으로 참여 회사 전체에 AI 학습 선호를 밝힐 수 있습니다.
• 정책 토큰으로 학습을 거부하고 Google-Extended를 따로 적지 않은 사이트는 Google-Extended를 차단한 것과 같이 처리할 계획입니다.
• Google-Extended 같은 회사별 제어 수단은 공용 신호와 함께 계속 작동합니다.
• Google-Extended를 명시적으로 허용한 사이트는 Gemini 앱의 그라운딩 응답에 계속 나오고 그 응답에서 클릭을 받을 수 있습니다.
• Google은 다른 AI 회사들과 함께 2027년에 이 제어를 지원하는 것을 목표로 하고, 진행 상황을 공유하겠다고 했습니다.

정리하면 우선순위가 있습니다. 회사별 지시(Google-Extended)를 명시했다면 그것이 기준이고, 명시하지 않았다면 공용 신호의 거부가 Google-Extended 차단으로 번역됩니다. 학습은 막되 Gemini 답변 노출은 유지하고 싶은 운영자에게는 이 구분이 중요합니다.

EU AI법과의 연결

Google은 이 방식이 EU AI법에 따른 범용 AI(GPAI) 모델 제공자 행동 강령과 맞는다고 설명했습니다. 이 강령은 robots.txt를 출판사가 기계가 읽을 수 있는 선호를 표현하는 주요 수단으로 인정합니다. 필자 해석으로는, 유럽에서 이 강령을 따라야 하는 회사들 입장에서 공용 신호가 강령에 맞추는 수단도 될 수 있습니다.

표준화는 어디까지 왔나

초안 제출은 표준 확정이 아닙니다. 필자 의견으로는 초안이 검토 중에 바뀔 수 있으니, 운영자는 공용 신호를 추가해 두더라도 기존 회사별 항목은 그대로 두는 편이 안전합니다. Google도 회사별 제어가 공용 신호와 함께 계속 작동한다고 밝혔습니다.

필자의 시각

여기부터는 개인적인 해석입니다.

이번 발표에서 가장 실질적인 변화는 기술이 아니라 관리 비용입니다. robots.txt 문법 자체는 새롭지 않습니다. 달라지는 건 새 AI 수집기가 나올 때마다 목록을 갱신하는 일을 운영자가 떠안지 않아도 된다는 점입니다. 작은 블로그나 개인 사이트일수록 이 차이가 큽니다.

다만 이 신호는 앞으로의 수집에 대한 의사 표시입니다. 이미 모아 둔 데이터나 이미 학습된 모델에 대해 무엇을 하겠다는 말은 이번 발표에서 찾지 못했습니다. robots.txt는 원래 강제 수단이 아니라 지켜 주기를 요청하는 약속이라는 점도 그대로입니다.

두 번째로 눈여겨볼 지점은 Microsoft의 AI Grounding입니다. 학습과 실시간 답변용 접근을 나눈 것은, 사이트 운영자가 학습에는 쓰지 말되 답변에 인용되는 건 괜찮다는 선택을 할 수 있게 한다는 뜻입니다. Google도 Google-Extended 허용 시 Gemini 그라운딩 노출이 유지된다고 밝혀, 두 회사가 같은 방향의 구분을 하고 있습니다. 검색 유입이 AI 답변으로 옮겨 가는 상황에서 운영자에게 필요한 건 전부 막기나 전부 열기보다 이런 세분화라고 봅니다.

마지막으로 Meta의 빈자리입니다. 네 회사가 같은 신호를 따라도 Meta가 구현하지 않으면, 운영자는 여전히 Meta용 항목을 따로 챙겨야 합니다. 한 줄로 끝내는 방식이 실제로 성립하려면 참여 회사 목록이 더 길어져야 합니다.

참고

• Google Search Central 블로그: Supporting a shared AI training control for websites
• SiliconANGLE: Google, Anthropic and others to support new AI crawling opt-out standard