⚡ 결론 직답: 구글, MS, OpenAI, Anthropic은 웹사이트의 AI 학습 활용 여부를 결정하는 새로운 robots.txt 표준인 '__usage_ai-training' 도입에 합의하며, 이를 통해 복잡한 크롤러별 거부 설정을 단일화할 계획입니다.
📌 3줄 핵심 요약
- Anthropic, OpenAI, Google, Microsoft는 robots.txt의 '__usage_ai-training' 토큰을 통해 AI 모델 학습 거부 의사를 전달하는 단일 신호 체계 도입에 합의했습니다.
- Anthropic은 이미 도입을 시작했으며, OpenAI는 수개월 내, Microsoft는 2027년 2월 1일, Google은 2027년 중 적용을 목표로 하고 있습니다.
- 이번 표준은 학습 활용 방식에 대한 선호도를 나타낼 뿐 기존 데이터나 크롤링 자체를 차단하지 못하며, 구글의 경우 Gemini 인용까지 제한될 가능성이 있습니다.
📅 데이터 기준일: 2026-11-19 | 원문 출처 기반 심층 리포트
안녕하세요, 딥러너 (DeepLearner)입니다.
1부: AI 학습 거부를 위한 통합 신호: 주요 테크 기업의 robots.txt 표준 도입 합의#
최근 인공지능(AI) 산업의 급격한 발전과 함께 웹 콘텐츠의 저작권 및 학습 데이터 활용 문제가 뜨거운 감자로 떠오르고 있습니다. 이러한 흐름 속에서 Google, Microsoft, OpenAI, 그리고 Anthropic이라는 글로벌 테크 거인들이 뜻을 모았습니다. 이들은 웹사이트의 콘텐츠가 AI 모델 학습에 사용될 수 있는지 여부를 알릴 수 있는 'robots.txt' 내의 단일화된 그룹을 공동의 'opt-out(거부)' 신호로 인정하고 준수하기로 합의했습니다. 이는 웹사이트 운영자들이 자신의 데이터를 AI 학습으로부터 보호하기 위해 사용할 수 있는 새로운 표준을 마련했다는 점에서 매우 의미 있는 진전입니다.
그동안 웹마스터(Webmaster)들은 자사의 콘텐츠가 AI 학습에 쓰이는 것을 막기 위해 매우 번거로운 과정을 거쳐야 했습니다. 각 AI 기업이 운영하는 크롤러(Crawler)마다 개별적인 규칙을 작성해야 했고, 때로는 동일한 기업이 운영하는 여러 종류의 크러롤러를 위해 각각의 설정을 일일이 지정해야 하는 '규칙의 파편화' 문제를 겪어왔기 때문입니다. 이번 합의를 통한 공유 신호(shared signal)는 이러한 복잡한 과정을 단 하나의 항목으로 대체하여, 모든 참여 기업이 동일한 방식으로 읽어들일 수 있도록 설계되었습니다. 이는 과도한 업무에 시달리던 웹마스터들에게는 분명 실질적인 진보라고 할 수 있습니다.
하지만 이번 합의의 내용을 들여다보면, 우리가 기대하는 것보다 그 범위가 다소 제한적이라는 점을 유의해야 합니다. 이번에 도입되는 새로운 라인은 봇(Bot)의 접근(Crawling) 자체를 차단하는 것이 아니라, 수집된 콘텐츠가 '어떻기 사용될 것인가'에 대한 선호도를 나타내는 방식입니다. 즉, 기본 설정은 여전히 '학습 허용'에 가깝습니다. 또한, 이 규칙은 아직 공식적으로 승인된 표준(Standard) 단계에 도달하지 않았으며, 이미 과거에 수집(Scraping)되어 학습에 사용된 데이터에 대해서는 아무런 소급 적용 효력을 갖지 못한다는 한계가 있습니다. 현재 이 4대 주요 기업 중 아직 이 약속을 완전히 이행하고 있는 곳은 없다는 점도 주목해야 할 대목입니다.
기업별 도입 일정 또한 차이가 있습니다. Anthropic은 이미 이 새로운 방식의 구현에 착수했으며, OpenAI는 향후 몇 달 내에 도입할 것을 약속했습니다. Microsoft는 2027년 2월 1일부터 적용을 시작할 예정이며, Google 역시 2027년을 목표로 삼고 있습니다. 한편, Meta의 경우 이번 움직임에 대해 지지(Supportive)하는 입장은 밝히고 있으나, 아직 구체적인 도입 시기에 대해서는 확정적인 약속을 하지 않은 상태입니다.
이 기술적 메커니즘의 뿌리는 Anthropic의 Kevin Kelley가 발표한 'Internet-Draft'에 닿아 있습니다. 그는 IETF(Internet Engineering Task Force, 인터넷 기술 표준화 기구)의 노력 중 하나로 이 메커니즘을 제안했으며, 구체적으로는 일반적인 robots.txt 그룹의 'User-Agent' 라인에
__usage_ai-training이라는 정책 토큰을 삽입하는 방식을 사용합니다.마지막으로, 무엇을 '학습(Training)'으로 정의할 것인가에 대해서도 세부적인 논의가 진행 중입니다. IETF의 AI Preferences(AIPREF) 워킹 그룹은 학습을 '생성형 모델의 학습된 파라미터(Parameters)를 변경하는 과정'으로 정의하고 있으며, 여기에는 분류(Classification)나 순위 지정(Ranking)만을 목적으로 하는 모델은 제외됩니다. 반면, OpenAI는 자신이 준수할 범위를 '기초 생성형 AI 학습(foundational generative AI training)'이라고 표현했는데, 이는 앞서 언급한 IETF의 정의보다 다소 좁은 의미로 해석될 여지가 있어 향후 구체적인 적용 범위에 대한 주목이 필요합니다.
2부: '__usage_ai-training' 토큰의 작동 원리와 IETF 초안의 기술적 메커니즘#
이번에 발표된 새로운 robots.txt 규칙을 두고 많은 이들이 '표준(Standard)'이라는 용어를 사용하고 있지만, 엄밀히 말하면 아직 시기상조일 수 있습니다. 현재 IETF(Internet Engineering Task Force)의 자체 트래커에 따르면, 해당 문서는 아직 IETF의 공식적인 승인을 받지 않은 '개별 초안(individual draft)' 상태이며, 공식적인 법적·기술적 지위도 갖지 못하고 있습니다. 만약 이 초안이 적절히 수정되거나 갱신되지 않는다면, 2027년 5월 3일을 기점으로 효력이 소멸될 운명에 처해 있습니다. 따라서 현재의 움직임은 확정된 표준이라기보다는, 거대 테크 기업들이 모여 만들어가는 하나의 기술적 실험에 가깝다고 볼 수 있습니다.
현재 주요 AI 기업들의 도입 현황을 살펴보면 기업마다 속도 차이가 뚜렷하게 나타납니다. 4대 주요 AI 플레이어 중 유일하게 Anthropic만이 이미 구현을 시작했다고 밝혔으며, OpenAI는 향후 몇 달 내에 이 신호를 적용하는 것을 목표로 하고 있으나 구체적인 날짜는 아직 공개하지 않았습니다. 반면, Microsoft는 2027년 2월 1일부터 크롤링을 시작할 때 이 공유된 선호도를 준수할 예정이며, Google 역시 2027년 내 도입을 목표로 삼고 있습니다. 이처럼 기업마다 적용 시점이 제각각이라는 점은 이 기술이 완전히 정착되기까지 상당한 시간이 필요함을 시사합니다.
특히 주목해야 할 점은 각 기업이 이 새로운 토큰을 자사의 기존 제어 시스템과 통합하는 방식이 서로 다르다는 것입니다. 이는 웹마스터들에게 예상치 못한 부작용을 불러올 수 있는 핵심적인 기술적 쟁점입니다.
- Google의 통합 제어 및 Gemini 연동 리스크: Google은 웹사이트 운영자가 별도의 'Google-Extended' 설정을 지정하지 않고 공유 토큰만 사용하여 거부(opt-out) 의사를 밝힐 경우, 이를 'Google-Extended'를 허용하지 않은 것과 동일하게 취급할 계획입니다. 문제는 'Google-Extended'가 Gemini Apps에서의 근거 자료(grounding) 활용 여부까지 결정한다는 점입니다. Search Engine Journal은 현재 Google의 문서상으로는 학습 중단과 인용 중단을 분리할 방법이 없다고 지적하며, 학습을 막으려다 Gemini 답변 내에서의 인용(citations)과 클릭 유입까지 모두 잃게 될 위험성을 경고했습니다.
- Microsoft의 세분화된 권한 관리 방식: Microsoft는 Google과는 상반된 접근 방식을 취합니다. 이들은 공유된 라인을 학습(training) 목적으로는 채택하되, 페이지 수준에서 별도의 'AI Grounding preference'를 도입합니다. 여기에는 'DisallowExtended' 옵션이 포함되어 있어, 자사의 제품인 Copilot에는 콘텐츠를 노출시키면서도, 타 기업에 판매하는 기업용 그라운딩(ground로 하는 grounding) 서비스에서는 콘텐츠를 제외할 수 있는 정교한 제어를 가능하게 합니다.
- Meta의 불확실한 입장과 상업적 갈등: 4대 기업에는 포함되지 않은 Meta의 경우, 이 움직임에 대해 다소 모호한 태도를 보이고 있습니다. Meta의 커뮤니케이션 부사장인 Andy Stone은 이 공통 신호를 "중요한 단계(an important step)"라고 평가하며 긍정적인 뉘앙스를 풍겼으나, SiliconANGLE의 보도에 따르면 Meta는 아직 이를 준수하겠다는 확약은 하지 않은 상태입니다. 특히 Meta는 최근 비즈니스 계정과 연결된 웹사이트를 크롤링할 수 있는 상업적 약관을 11월 20일로 연기했는데, 이는 학습 목적의 사용을 삭제하라는 반발에 부딪혀 약관을 수정한 결과로, 여전히 복잡한 이해관계가 얽혀 있음을 보여줍니다.
- 토큰의 기술적 본질과 크롤링 제한의 한계: 이번 초안의 핵심은 이 토큰이 '크롤링 행위 자체를 금지하는 지시어(directive for crawling behavior)'가 아니라는 점입니다. 즉, 봇이 모든 페이지를 계속 가져가는 것을 막지는 못하며, 단지 학습 목적으로만 콘텐츠를 수집하는 크롤러가 사용 불가능한 페이지를 건너뛸 수 있도록 허용하는 역할에 그칩니다. 따라서 기존의 개별 봇 규칙(per-bot rules)은 여전히 필요하며, OpenAI, Google, Anthropic 모두 기존의 제어 방식이 사라지는 것은 아니라고 강조합니다. Microsoft는 이를 가장 명확하게 표현했는데, "이 설정은 콘텐츠의 사용(use of content)을 규정하는 것이지, 크롤링 접근 권한(crawl access)을 규정하는 것이 아니다"라고 못 박았습니다.
결국 이번 합의는 AI 학습 데이터 활용에 대한 '거부권'을 행사하는 혁신적인 도구처럼 보이지만, 실상은 데이터 수집 자체를 막는 방패라기보다는 데이터의 '사용 용도'를 정의하는 가이드라인에 가깝습니다. News/Media Alliance의 Sam Quigley는 지난달 Mercury News와의 인터뷰에서, 학습 목적의 사용이 명시적으로 금지되지 않은 채 삭제된 현 상황에 대해 "여전히 (학습 데이터로의 활용 가능성이) 테이블 위에 놓여 있을 수 있다(It's still potentially on the table)"며 경계심을 늦추지 않았습니다. AI 데이터 스크래핑으로부터 탈피하려는 시도가 단순한 희망 사항에 그칠지, 아니면 올바른 방향으로 나아가는 첫걸음이 될지는 향후 이 기술적 메커니즘이 어떻게 정착되느냐에 달려 있습니다.
3부: 기업별 구현 차이와 표준화 과정의 한계점 및 향후 전망#
이번에 발표된 통합 robots.txt 표준은 거대 AI 기업들이 데이터 활용에 있어 일종의 약속을 했다는 점에서 큰 의미가 있지만, 그 이면에는 여전히 해결해야 할 복잡한 과제들이 산재해 있습니다. 무엇보다 이번 약속은 기업들의 '자발적 참여'에 기반하고 있다는 점이 가장 큰 변수입니다. 각 기업마다 이 표준을 해석하고 이행하는 방식이 제각각이며, 데이터 노출 정도에 따라 기업별로도 이해관계가 극명하게 갈리고 있기 때문입니다.
실제로 데이터 저작권과 관련된 법적 분쟁의 역사는 매우 치열합니다. 2023년 12월, 뉴욕타임스(The New York Times)는 OpenAI와 Microsoft를 상대로 소송을 제기했으며, 현재 두 기업은 '공정 이용(fair use)' 원칙을 내세워 방어하고 있습니다. 또한, 이번 표준 초안을 작성한 엔지니어가 소속된 Anthropic은 학습에 사용된 저작권 침해 도서 문제와 관련하여 저자들에게 15억 달러($1.5 billion)를 지급하기로 합의한 전례가 있습니다. Google 역시 2025년, Rolling Stone의 소유주인 Penske Media로부터 'AI Overviews' 기능과 관련해 소송을 당하며 강력한 압박을 받고 있습니다.
더 큰 문제는 이 표준의 실효성이 크롤러가 스스로 준수할 것을 전제로 한다는 점입니다. 이번 표준 초안은 개별적인 사적 계약이 이 표준보다 우선할 수 있도록 허기 때문에, 표준의 구속력이 약해질 우려가 있습니다. 실제로 2025년, Cloudflare는 Perplexity가 차단된 사이트를 스크래핑하기 위해 크롤러의 정체를 의도적으로 숨겼다고 비난했으며, Perplexity 측은 이러한 혐의를 부인하며 논란이 일기도 했습니다.
특히 Microsoft의 입지는 이번 논의에서 가장 모순적이고 난처한 위치에 있습니다. 2024년, Microsoft의 AI 책임자인 Mustafa Suleyman은 공개된 웹 콘텐츠를 학습을 위한 '프리웨어(freeware)'라고 표현하며, 오직 명시적으로 거부하는 사이트만 제외하겠다고 언급했습니다. 이는 이번 표준이 공식화하려는 '거부 의사 표시'를 오히려 예외적인 상황으로 치부한 발언이었습니다. 더욱 충격적인 것은, 뉴욕타임스 소송 과정에서 공개된 내부 문건입니다. 2023년 Microsoft의 이사인 Brent Hecht는 내부 메모에서 AI 스크래핑을 두고 "인류 역사상 가장 큰 노동력 절도(the largest theft of labor in human history)"가 될 수 있다고 경고한 사실이 드러났습니다.
현재 시장의 흐름은 정중한 요청보다는 '강제 집행'과 '수익화' 쪽으로 급격히 기울고 있습니다. Cloudflare는 2025년 7월부터 신규 고객에 대해 AI 크롤러를 기본적으로 차단하도록 설정했으며, 참여 사이트들이 크롤링 횟수당 비용을 청구할 수 있는 기능도 제공하고 있습니다. Google 또한 이번 공유 토큰 방식이 EU의 범용 AI 행동 강령(code of practice for general-purpose AI)과 일치한다고 밝혔는데, 이는 규제 당국이 단순한 선의를 넘어 기업들을 압박하고 있음을 시사합니다. 만약 robots.txt를 완전히 무시하는 봇들이 나타난다면, 웹사이트 운영자들은 로그인 벽(login walls)이나 IP 속한도 제한(IP rate limiting)과 같은 더 강력한 기술적 수단을 동원해야 할 것입니다.
결론적으로, 거대 AI 기업들이 읽기로 합의한 이 한 줄의 코드는 정직한 크롤러와 웹사이트 운영자들에게 분명한 진전입니다. 하지만 이는 '잠금장치'가 아닌 '요청'에 불과하며, 오직 미래를 향해 있을 뿐입니다. 무엇보다 출판사들이 수년간 싸워온 '정당한 대가 지불'에 대한 구체적인 해결책은 이번 합의에 포함되지 않았다는 점이 가장 큰 한계로 남습니다.
한눈에 보는 핵심 비교 분석#
| 비교 항목 | 기존 방식 (As-is) | 신규 표준 도입 (To-be) | 핵심 차이점 |
|---|---|---|---|
| 준수 방식 | 기업별 개별적 해석 및 자율적 적용 | 통합된 표준 토큰(Shared Token) 도입 | 표준화된 machine-readable 신호 제공 |
| 데이터 권리 | 무단 스크래핑 및 '프리웨어'식 접근 논란 | 명시적 거부(Opt-out) 의사 공식화 | 웹사이트 운영자의 거부권 명문화 |
| 수익화 모델 | 대가 없는 데이터 수집 및 법적 분쟁 지속 | Cloudflare 등을 통한 크롤링 비용 청구 가능성 | 단순 요청을 넘어선 수익화 모델 모색 |
| 규제 및 강제성 | 기업의 자율적 의지에 의존 | EU AI 행동 강령 등 규제와 정렬 | 규제 당국의 압박에 따른 준수 강제성 강화 |
독자 체크리스트 및 자주 묻는 질문 (FAQ)#
🔍 웹사이트 운영자 체크리스트#
- [ ] robots.txt 업데이트 확인: 새로운 통합 표준 토큰이 본인 사이트의 크롤링 정책에 반영되었는지 확인했는가?
- [ ] 크롤러 정체 모니터링: Cloudflare 등에서 보고되는 '정체를 숨긴 크롤러'의 침입 흔적이 있는지 점검했는가?
- [ ] 수익화 전략 검토: AI 크롤링에 대해 'per crawl' 방식의 과금이나 로그인 벽(Login wall) 도입을 고려하고 있는가?
❓ 자주 묻는 질문 (FAQ)#
Q1. 이번 합의로 AI 기업들의 데이터 수집이 완전히 차단되나요? A1. 아닙니다. 이번 합의는 일종의 '요청(request)'이지 '잠금장치(lock)'가 아닙니다. 기업들이 이 표준을 읽기로 약속했지만, 이를 무시하는 봇들에 대해서는 여전히 IP 제한이나 로그인 벽 같은 강력한 기술적 대응이 필요합니다.Q2. 기업들이 데이터를 가져가는 것에 대해 비용을 받을 수 있는 방법이 있나요? A2. 현재로서는 이번 표준 자체에 직접적인 결제 기능은 포함되어 있지 않습니다. 다만, Cloudflare와 같은 서비스 제공업체를 통해 AI 크롤러에게 크롤링 횟수당 비용을 청구할 수 있는 환경이 조성되고 있는 추세입니다.
딥러너 (DeepLearner)이었습니다.
💬 기술 토론 및 피드백 0
건전하고 유익한 토론을 지향합니다아직 등록된 의견이 없습니다.
이 아티클에 관한 궁금한 점이나 추가 팁을 첫 번째로 남겨보세요!
기술 토론에 참여하시려면 로그인해 주세요.
로그인 후 댓글 작성