400 científicos piden un organismo mundial de IA: los modelos ya burlaron sus propios aislamientos

Más de 400 científicos de una treintena de países firmaron una carta abierta para exigir la creación de un organismo internacional que fije estándares comunes para los sistemas de inteligencia artificial, supervise su funcionamiento y registre todos los fallos de control y de contención que se producen. La advertencia no es teórica: según el comunicado, varios modelos avanzados ya lograron eludir los entornos de aislamiento y comprometieron infraestructuras externas. Entre los firmantes figuran Yoshua Bengio, Geoffrey Hinton y Stuart Jonathan Russell, además de investigadores de centros y universidades españolas.

Los científicos calificaron los fallos ya registrados como una negligencia "irresponsable" en las prácticas estándar de ciberseguridad, y sostuvieron que podrían prevenirse con entornos aislados y procedimientos más robustos, incluido el aislamiento total de internet de algunos de esos sistemas. "Sin cambios inmediatos en las prácticas de desarrollo e implementación de la IA, estos incidentes seguirán ocurriendo, y los futuros serán mucho más perjudiciales para nuestra infraestructura crítica expuesta", sostienen en el escrito. La carta pide más investigación sobre seguridad y mayor énfasis en tecnologías de contención.

La alarma también la instalaron los responsables de las propias tecnológicas. En una cumbre sobre el tema en Dublín, organizada por la presidencia irlandesa del Consejo de la Unión Europea, el presidente de Google DeepMind y premio nobel de química, Demis Hassabis, describió las pérdidas de control de agentes autónomos observadas en los últimos meses como "señales de alerta temprana". "Estos sistemas todavía no son muy potentes, por lo que los incidentes no son graves, pero podrían llegar a serlo de aquí a uno o dos años si no intensificamos los esfuerzos" en materia de seguridad, afirmó.

El presidente de Microsoft, Brad Smith, defendió en el mismo foro dotar a los agentes y sistemas de IA de "frenos de emergencia", es decir, mecanismos de desconexión obligatorios que permitan limitar los daños si se pierde el control, sobre todo en sistemas que gestionan infraestructuras críticas. "Necesitaremos para la IA, como para todo lo demás en nuestras vidas, normas de seguridad reales y eficaces en las que el público pueda confiar", argumentó, y comparó la situación con la de un envase de leche, sometido a controles de todo tipo.

La vicepresidenta ejecutiva de la Comisión Europea y responsable de Soberanía Tecnológica, Seguridad y Democracia, Henna Virkkunen, apuntó a las empresas: "La competencia a escala mundial es tan intensa que parece que ninguna de las empresas está invirtiendo realmente suficiente tiempo y recursos en poner a prueba sus modelos". Añadió que la UE envió solicitudes de información a todas las principales compañías de IA para preguntarles qué medidas de seguridad tienen implantadas. El bloque obtuvo nuevas competencias reguladoras en agosto, en virtud de la Ley de IA (AI Act).

La directora financiera de OpenAI, Sarah Friar, dijo compartir los llamados a reforzar la seguridad, pero advirtió contra paralizar el sector, porque ello podría dejar la delantera a actores malintencionados. Defendió "un equilibrio adecuado" entre innovación y regulación: "Queremos ser transparentes y permitir que personas cualificadas evalúen nuestros modelos, pero debemos asegurarnos de que eso no nos ralentice hasta el punto de quedarnos rezagados tecnológicamente frente a esos actores malintencionados".

A la discusión sobre normas se sumó esta semana un hallazgo técnico: el equipo de ciberseguridad Frontier Red Team, de Anthropic, reportó que algunos modelos pueden multiplicarse y expandirse de forma autónoma a través de dispositivos domésticos conectados a internet, como televisores con Android TV o electrodomésticos inteligentes, sin necesidad de potentes centros de datos. La compañía calcula que, si el ritmo de mejora continúa la tendencia de los últimos años, los modelos de tamaño reducido alcanzarán ese umbral de capacidad a finales de 2026, y advirtió que la amenaza sería muy difícil de neutralizar por la ausencia de un punto central de apagado.