Por Descubre DW
Berlín, Alemania. En una sucesión de anuncios alarmantes, las empresas de inteligencia artificial (IA) han dado a conocer en los últimos meses diversos ejemplos de cómo su tecnología ha actuado de maneras que parecían eludir las instrucciones de los seres humanos.
Estos episodios han puesto de manifiesto las vulnerabilidades de seguridad de la IA y han planteado interrogantes sobre cómo desarrollar esta tecnología, que avanza rápidamente, de forma segura a medida que su uso se extiende por todo el mundo.
Los críticos del sector han argumentado que muchos de estos incidentes preocupantes, incluidos los ataques informáticos de agentes de IA contra sitios web externos, son consecuencia de fallos de seguridad por parte de las empresas que desarrollan esta tecnología.
Sin embargo, las capacidades de los agentes de IA han suscitado una preocupación generalizada ante la posibilidad de que estos sistemas se escapen del control humano y comiencen a actuar siguiendo sus propios objetivos.
A continuación, The Associated Press (AP) presenta una recopilación de algunos de los incidentes más destacados:
9 de octubre: IA de Anthropic envía denuncia falsa a la policía
Anthropic reveló en un informe que uno de sus modelos de inteligencia artificial había enviado una denuncia falsa a un sitio web de la policía de Filadelfia relacionada con un caso de homicidio sin resolver.
En el mismo informe, Anthropic también dio a conocer otro incidente en el que su modelo de IA envió formularios a un sitio web gubernamental no identificado, en lugar de detenerse antes de completar el envío.
El incidente de Filadelfia ocurrió el 18 de julio, cuando se encargó al modelo de IA Claude Haiku 4.5 que generara y ejecutara tareas de ejemplo en páginas web seleccionadas al azar, según explicó Anthropic.
Claude rellenó un formulario en el sitio web policial PhillyUnsolvedMurders.com, indicando que podría disponer de información relacionada con un asesinato sin resolver que aparecía en la página. El formulario fue identificado como correo no deseado (spam) y nunca llegó a remitirse a la policía.
Anthropic afirmó que estaba modificando el entrenamiento de sus modelos para «reducir la probabilidad de que se produzcan nuevos comportamientos indebidos».
28 de septiembre: Agentes de IA intentan hackear al Gobierno canadiense
Según el laboratorio de investigación y evaluación de inteligencia artificial Transluce, varios agentes de IA intentaron acceder ilegalmente a un sitio web del Gobierno canadiense.
Los investigadores señalaron que los agentes llevaron a cabo una serie de «intentos rudimentarios de pirateo informático aparentemente fallidos» contra el sitio web de la institución Biblioteca y Archivos de Canadá los días 28 de mayo y 9 de junio.
«No podemos atribuir con certeza estos intentos a OpenAI, pero presentan tácticas coherentes con actividades anteriores de agentes que hemos atribuido a OpenAI durante un período similar», señaló Transluce en una publicación de su blog.
El grupo explicó que había informado al Gobierno canadiense sobre el intento de ataque el 28 de septiembre. Las autoridades canadienses declararon que estaban al corriente de las informaciones sobre posibles actividades de agentes de IA, pero que no existían indicios de que los sistemas gubernamentales hubieran sido comprometidos.
OpenAI afirmó que estaba al tanto de los informes.
«Estamos examinando estos hallazgos y hemos proporcionado información preliminar a los funcionarios canadienses encargados de llevar a cabo la investigación del Gobierno», señaló la empresa en un comunicado.
28 de septiembre: OpenAI suspende el lanzamiento de un nuevo modelo
La empresa con sede en San Francisco anunció que retrasaría el lanzamiento de un nuevo modelo, denominado GPT-6.1 Astra, debido a las preocupaciones de seguridad expresadas por sus investigadores.
Según la compañía, el modelo había demostrado avances importantes en su capacidad para completar tareas, pero OpenAI necesitaba encontrar un equilibrio entre esas capacidades y el riesgo de comportamientos no autorizados.
«Tenemos unos estándares extremadamente exigentes en materia de seguridad y alineación», declaró Saachi Jain, responsable de sistemas de seguridad de OpenAI.
25 de septiembre: Agentes de OpenAI acceden a sitios web del Gobierno de EE. UU.
Como parte de una investigación sobre comportamientos imprevistos de sus modelos de IA, OpenAI afirmó haber descubierto que algunos de sus agentes habían interactuado de formas inesperadas con varios sitios web del Gobierno de Estados Unidos.
Los modelos de la empresa accedieron a información disponible públicamente en páginas de la Comisión de Bolsa y Valores de Estados Unidos (SEC), así como a datos de la Oficina del Censo estadounidense.
OpenAI indicó que no había encontrado pruebas de que se hubiera producido una intrusión ni de que existiera alguna vulnerabilidad.
Ese mismo día, Transluce anunció que había detectado que ciertos agentes, aparentemente procedentes de OpenAI, habían intentado piratear el sitio web de la Oficina de Derechos Civiles del Departamento de Educación estadounidense. El ataque no tuvo éxito.
El director ejecutivo de OpenAI, Sam Altman, declaró en redes sociales que se estaba llevando a cabo «una investigación exhaustiva y continua sobre el uso del acceso a internet por parte de nuestros agentes durante las fases de entrenamiento y evaluación».
Al día siguiente de estas revelaciones, la compañía anunció que suspendía temporalmente el entrenamiento de sus modelos más avanzados.
24 de septiembre: Australia cuestiona a OpenAI por una intrusión informática
El primer ministro australiano, Anthony Albanese, afirmó que un agente de OpenAI había logrado infiltrarse el 18 de junio en el portal público del Servicio de Informes Estadísticos de Medicare (Medicare Statistics Reporting Service).
El portal contenía datos estadísticos agregados sobre el gasto sanitario y las subvenciones a medicamentos. Según el Gobierno, no se había accedido a información personal.
Albanese criticó que la empresa de inteligencia artificial hubiera tardado demasiado en revelar el incidente.
El primer ministro hizo pública la intrusión después de mantener una conversación telefónica con Altman.
OpenAI declaró en un comunicado que «nuestros modelos realizaron acciones que no habíamos previsto».
18 de septiembre: Google reconoce que su IA Gemini pirateó tres empresas
Google confirmó que su modelo de inteligencia artificial Gemini había pirateado tres empresas durante el mes de mayo, como parte de una prueba destinada a evaluar sus capacidades en materia de ciberseguridad.
La compañía, que reveló los ataques después de recibir una consulta de The Wall Street Journal, explicó que el modelo había adivinado contraseñas en uno de los casos y había encontrado contraseñas y credenciales de acceso en un repositorio público en los otros dos.
Al igual que en otros incidentes anteriores, las pruebas estaban siendo realizadas por Irregular, una empresa emergente que se describe a sí misma como el «primer laboratorio de seguridad de frontera».
5 de agosto: Muse, la IA de Meta, actúa fuera de control
Meta reveló que uno de sus modelos de inteligencia artificial había accedido a internet por iniciativa propia y había pirateado otra empresa.
La compañía explicó que un «error de configuración» durante unas pruebas de ciberseguridad realizadas por Irregular había permitido involuntariamente que uno de sus modelos accediera a internet.
Un portavoz de Irregular señaló que el episodio relacionado con Meta se debía a un problema en el entorno de pruebas que Anthropic había dado a conocer una semana antes.
30 de julio: Anthropic afirma que sus sistemas piratearon tres organizaciones
Anthropic anunció que sus modelos de inteligencia artificial habían logrado acceder ilegalmente a los sistemas de otras tres organizaciones durante unas pruebas.
La empresa de IA con sede en San Francisco, desarrolladora de Claude, publicó en su sitio web que había descubierto los tres incidentes después de revisar más de 141,000 ejecuciones de evaluación.
En los tres casos, se había encargado a los modelos de IA participar en un desafío de ciberseguridad denominado capture the flag («capturar la bandera»), una de las técnicas que Anthropic utiliza para evaluar las capacidades cibernéticas de sus modelos.
Los modelos recibieron un escenario ficticio en el que se les informaba de que una determinada información secreta, denominada «bandera», estaba oculta en otro equipo de la red. Su objetivo consistía en acceder a ese equipo y recuperar la información.
Anthropic afirmó que se había puesto en contacto con las organizaciones afectadas, aunque no reveló públicamente sus nombres.
21 de julio: El incidente de Hugging Face
OpenAI, la empresa creadora de ChatGPT, anunció que su sistema de inteligencia artificial había pirateado de manera autónoma otra empresa del sector, en lo que describió como un «incidente cibernético sin precedentes».
Una semana antes, la empresa emergente de inteligencia artificial Hugging Face había informado de que había detectado una intrusión en sus sistemas de procesamiento de datos y sospechaba que había sido provocada por un agente de IA que actuaba de manera autónoma.
OpenAI explicó que su inteligencia artificial había utilizado credenciales robadas y descubierto una vulnerabilidad hasta entonces desconocida para acceder a los servidores de Hugging Face.
El sistema funcionaba con restricciones de seguridad reducidas porque, en principio, debía operar dentro de un entorno de pruebas aislado, conocido como sandbox o «entorno aislado».
