Google, Microsoft, OpenAI y Anthropic acuerdan una señal común para que los sitios web eviten el entrenamiento de IA con sus contenidos

¿Qué es y cómo funciona?

La herramienta se apoya en robots.txt, un archivo de texto que casi todos los sitios publican en su raíz para indicar a los programas automáticos qué secciones pueden recorrer. La novedad es un identificador compartido, `__usage_ai-training`, que no corresponde a un rastreador específico, sino a un uso: el entrenamiento de IA.

Con solo dos líneas, un sitio puede declarar su preferencia:

``` User-Agent: __usage_ai-training Disallow: / ```

También es posible excluir solo algunas carpetas y permitir otras, por ejemplo, una sala de prensa. Un detalle técnico relevante es que la regla general `User-Agent: *`, usada por muchos sitios, no activa esta preferencia: el identificador debe escribirse de forma explícita.

El origen: un borrador ante la IETF

La propuesta figura en el borrador “Machine-Readable Training Preference Signal”, presentado el 30 de octubre por Kevin Kelley, ingeniero de Anthropic, ante el Grupo de Trabajo de Ingeniería de Internet (IETF), organismo que define muchos de los estándares de la red. Se trata de un documento individual que, según la propia IETF, todavía no tiene respaldo formal ni carácter de estándar, y que vence en mayo de 2027 si no se actualiza.

El texto se basa en la definición de “entrenamiento de IA” del grupo de trabajo AIPREF de la IETF: el uso de un contenido para modificar los parámetros aprendidos de un modelo generativo. El borrador aclara que la señal no es una orden sobre el rastreo y no introduce nuevas reglas de sintaxis.

Un calendario distinto para cada empresa

La adopción no será simultánea. Según reportes de medios especializados, Anthropic ya comenzó a aplicarla en su rastreador ClaudeBot, mientras OpenAI anunció que lo hará en los próximos meses, sin fecha precisa. Google prevé incorporarla en 2027.

Microsoft fue la más específica. En su blog oficial de Bing indicó que las nuevas preferencias empezarán a regir el 1 de febrero de 2027, a medida que las páginas sean rastreadas de nuevo. Además, separó el entrenamiento del llamado grounding, el proceso por el que un asistente consulta páginas para fundamentar sus respuestas en tiempo real; esta segunda preferencia se configurará página por página y no desde robots.txt.

Alcances y límites

La señal solo regula el entrenamiento. No afecta la indexación ni la posición de un sitio en los buscadores, de modo que bloquear el entrenamiento no implica desaparecer de Google o Bing. Tampoco tiene efecto retroactivo sobre contenidos ya recopilados ni prevé compensaciones económicas.

Su cumplimiento depende de la voluntad de cada empresa, pues robots.txt es un mecanismo de carácter voluntario. Voces del sector creativo han advertido que el modelo de exclusión voluntaria traslada a los editores la carga de proteger su trabajo, y en la lista de discusión de la IETF se ha cuestionado si prácticas como el ajuste fino de modelos quedan cubiertas.

¿Qué significa para Colombia?

Para medios de comunicación, universidades, entidades públicas y empresas colombianas con presencia digital, el cambio simplifica una decisión que hasta ahora exigía conocer y bloquear rastreadores por separado.

Los especialistas recomiendan, mientras la adopción se completa, mantener las reglas existentes para cada empresa y añadir la nueva instrucción compartida.

Preguntas y respuestas de contexto

¿En qué consiste el acuerdo entre Google, Microsoft, OpenAI y Anthropic?

Las cuatro compañías respaldarán una señal común en el archivo robots.txt para que los creadores de contenido puedan decidir si sus sitios web se utilizan o no para entrenar modelos de inteligencia artificial.

¿Cómo pueden los sitios web activar esta restricción?

Deben incluir el identificador específico `__usage_ai-training` en su archivo robots.txt; es importante notar que la regla general no activa esta preferencia automáticamente.

¿Cuándo entrará en vigencia este nuevo estándar?

La adopción será escalonada: Anthropic ya la aplica, OpenAI lo hará en los próximos meses, y tanto Google como Microsoft prevén su implementación total para el año 2027.