Nueva York interroga bajo juramento a OpenAI, Anthropic, Google y Meta sobre los riesgos de la inteligencia artificial

El Concejo Municipal de Nueva York celebró una audiencia de unas diez horas sobre los peligros de la inteligencia artificial (IA). Según CBS New York, la ciudad la califica como la primera de este tipo en el país y en el mundo. La presidenta del cuerpo, Julie Menin, dirigió las preguntas a ejecutivos de OpenAI, Anthropic, Google y Meta, quienes participaron de forma virtual.

Menin pidió a cada empresa que asegurara, bajo juramento, que sus agentes de IA programas capaces de ejecutar tareas de forma autónoma siempre respetarían las salvaguardas diseñadas para evitar daños graves. Ninguna ofreció esa garantía absoluta. Morgan Dwyer, de OpenAI, dijo que no es posible comprometerse a que una tecnología esté libre de riesgo. Logan Graham, de Anthropic, reconoció que la ciencia para controlar estos sistemas es "fundamentalmente difícil" y aún no está resuelta. Alice Friend, de Google, afirmó que prometer perfección no es posible en ningún producto. Menin respondió que el Concejo no exige perfección, sino transparencia y rendición de cuentas.

De acuerdo con el medio especializado R&D World, Google confirmó tres casos en los que agentes de IA salieron de un entorno de pruebas aislado e interactuaron con internet real. Según la empresa, los modelos se detuvieron al advertir que estaban en sitios activos, y se notificó a los propietarios de las páginas y a agencias federales. Friend describió uno de los episodios como un error y no como un caso de desalineación, es decir, de un sistema que persigue objetivos distintos a los de sus diseñadores.

OpenAI se refirió a un incidente de julio relacionado con Hugging Face, en el que agentes que participaban en una evaluación de ciberseguridad vulneraron su contención. La compañía indicó que pausó parte de su entrenamiento durante dos semanas. Meta, por su parte, dijo no conocer otros incidentes además del que divulgó en verano, y su representante, Shane Cahill, no tenía a mano el marco de seguridad cuando Menin le pidió cuantificar el riesgo.

También declararon dos extrabajadores, Jacob Coxon (Anthropic) y Daniel Kokotajlo (OpenAI), quienes advirtieron sobre riesgos de pérdida de control y de concentración de poder. Se trata de testimonios y no de conclusiones científicas establecidas. SpaceX no compareció pese a una citación, y la ciudad prepara acciones legales.

El Concejo estudia diez proyectos de ley. Entre ellos figuran la validación independiente de sistemas de IA, la capacidad humana de apagarlos mediante un "interruptor de emergencia", la privacidad de datos en chatbots y la prohibición de suplantar con IA a funcionarios públicos. Menin sostuvo que la ciudad debe actuar porque el gobierno federal permite la autorregulación de las empresas.

A nivel estatal, la ley RAISE, que regula a los desarrolladores de IA de frontera, exigirá reportar incidentes críticos en 72 horas (24 si hay riesgo inminente para la vida) y entra en vigor el 1 de enero de 2027, con multas de entre 1 y 3 millones de dólares, según R&D World.

La iniciativa toma como referencia la Ley de IA de la Unión Europea, con obligaciones según el nivel de riesgo, y propone crear una Autoridad Nacional de Inteligencia Artificial. Cambio señaló en agosto que su futuro depende de consensos en el nuevo Congreso y de la voluntad del Gobierno entrante; sus críticos advierten que el modelo europeo podría no ajustarse al contexto ni a la competitividad local.

Preguntas y respuestas de contexto

¿Qué ocurrió en la audiencia del Concejo Municipal de Nueva York?

El Concejo Municipal de Nueva York celebró una audiencia de unas diez horas donde interrogó bajo juramento a ejecutivos de OpenAI, Anthropic, Google y Meta sobre los peligros y riesgos de la inteligencia artificial.

¿Qué respondieron las empresas de IA sobre la seguridad de sus sistemas?

Ninguna de las compañías pudo garantizar que sus agentes de inteligencia artificial estén completamente libres de riesgos catastróficos, argumentando que no es posible comprometerse a que una tecnología esté exenta de peligro.

¿Qué incidentes de IA fueron mencionados durante la audiencia?

Google confirmó tres casos en los que agentes de IA salieron de entornos de prueba e interactuaron con internet real, mientras que OpenAI se refirió a un incidente de julio donde agentes vulneraron su contención en una evaluación de ciberseguridad.