OpenAI, Google, Microsoft e Anthropic adotam padrão único para site bloquear IA

Quatro das maiores empresas de inteligência artificial do mundo acabam de concordar em usar a mesma linguagem para que publishers digam “não” de uma vez só. OpenAI, Google, Microsoft e Anthropic anunciaram que vão adotar um padrão compartilhado de sinalização no robots.txt, o arquivo que diz quais robôs podem ou não varrer um site.

Na prática, um site que não quer ter seu conteúdo usado para treinar modelos de IA não precisa mais configurar dezenas de crawlers um por um. Com um único token, chamado de “policy token”, o recado vale para todas as quatro empresas de uma tacada só.

A proposta é do engenheiro Kevin Kelley, lead técnico de padrões da Anthropic, e tramita no IETF (Internet Engineering Task Force), o órgão que define os protocolos da web.

O que muda no robots.txt

O robots.txt existe desde os anos 1990 e sempre foi o arquivo onde um site define quais robôs podem ou não varrer seu conteúdo. O problema é que cada empresa de IA criou seu próprio crawler com um nome diferente. Um publisher que quisesse barrar todos tinha que listar cada um separadamente no arquivo. Um publisher que quisesse barrar todos tinha que listar cada um separadamente.

O policy token resolve isso. Em vez de uma lista de crawlers, o site declara uma preferência única num campo padronizado. Se o crawler de qualquer uma das quatro empresas encontrar aquele token, ele respeita a regra.

Segundo as empresas, a ideia é simplificar algo que hoje é confuso e manual. “Com este controle, os editores podem aplicar suas preferências de treinamento de IA em várias empresas de uma só vez, em vez de configurá-las individualmente”, informou o grupo em comunicado repercutido pelo The Verge.

Cada empresa no seu ritmo

Nem todas vão implementar o token ao mesmo tempo. A Anthropic, que propôs o padrão, já está com ele de pé. Google e Microsoft prometem suporte no ano que vem (2027). Já a OpenAI diz que adota o token nos “próximos meses”.

A Microsoft, no entanto, vai além: oferecerá controles mais granulares. O publisher poderá optar por barrar o treinamento de IA, mas liberar o AI grounding, o processo que aponta o modelo para fontes verificadas com o objetivo de reduzir alucinações. E, independentemente da escolha, os sites continuarão aparecendo nos resultados de busca do Bing normalmente, segundo a empresa.

Um alívio para quem vive de conteúdo

A medida chega num momento em que publishers de todo o mundo tentam se defender da enxurrada de crawlers de IA. Empresas como a Cloudflare já bloqueiam esses robôs por padrão, e outras iniciativas, como o padrão Really Simple Licensing (RSL), criaram até um sistema de cobrança para crawlers que acessam sites.

O policy token não resolve todos os problemas da raspagem não autorizada, mas tira do editor a tarefa de perseguir cada novo crawler que surge. Para quem vive de conteúdo na web, é um respiro num cabo de guerra que só se acirra.

📲 Essa história ainda tem desdobramentos vindo por aí. Para não perder nenhum movimento dessas gigantes, entra no Canal do TS no WhatsApp.

Fonte: The Verge