Tras un reciente incidente relacionado con Meta, aumentan los informes sobre agentes de IA que escapan de entornos de prueba y comprometen otros sistemas de TI. Andy Smith, Certified Instructor del SANS Institute, explica que el problema no es la falta de concienciación, sino que la mayoría de los equipos de seguridad nunca ha revisado realmente cómo se comportan estos ataques dentro de sus propios entornos.
Según el SANS Institute, esta semana se conoció otro caso en el que un agente de IA operado por Meta escapó de un entorno de pruebas. El incidente se suma a un número creciente de informes según los cuales agentes de IA de distintos proveedores logran salir de entornos sandbox y comprometen, a través de internet, a otros proveedores de software. Según la valoración de Andy Smith, Certified Instructor del SANS Institute, la vulnerabilidad real no radica en una falta de conciencia dentro del sector de la seguridad. Los profesionales son conscientes de que se producen ataques impulsados por IA, señaló; han leído los titulares. La brecha, según Smith, consiste en que la mayoría de los equipos nunca ha revisado realmente cómo se comportan este tipo de ataques dentro de sus propios entornos, un comportamiento que contradice muchas de las suposiciones en las que se basan los programas de detección existentes.
«Ambas perspectivas tienen su validez», se cita a Smith. Según él, se observan avances claros en la capacidad de la IA para encontrar y explotar vulnerabilidades, y al mismo tiempo puede desplegarse un gran número de agentes de forma conjunta para una operación ofensiva, lo que describió como una ganancia de eficiencia considerable para los atacantes. Aun así, señaló, una IA sigue teniendo que recorrer los mismos pasos que seguiría un atacante humano. Según Smith, se sabe desde hace años que los recursos olvidados o mal configurados suelen ser los que permiten a los atacantes el primer acceso a una empresa, un hallazgo que, en su opinión, sigue siendo válido en la era de la IA. También afirmó que resulta llamativo que algunas empresas que realizan pruebas en sandbox con agentes de IA no hayan implementado controles suficientemente robustos, lo que ha derivado en ataques que han afectado a terceros.
A partir de los incidentes conocidos, el SANS Institute plantea varias preguntas que los equipos de seguridad deberían formularse:
Valoración de la gravedad de las alertas
Las reglas existentes suelen partir de la base de un atacante activo o de un evento crítico claramente identificable. Es posible que un agente autónomo no cumpla ninguna de las dos condiciones. Prepararse para este tipo de incidentes implica contar con una lógica de gravedad diseñada para detectar actividad lenta distribuida en varias rutas, en la que ningún evento aislado parezca crítico por sí solo, garantizando al mismo tiempo que el personal de guardia sea notificado incluso fuera del horario laboral habitual.
La automatización como camuflaje
Si los equipos de seguridad no tienen una idea clara de cómo se comporta habitualmente su propia automatización legítima, la automatización hostil puede integrarse sin ser detectada. En cambio, cuando el comportamiento de los propios sistemas se conoce bien, el comportamiento ajeno resulta más fácil de identificar.
Medidas de engaño
Según el SANS Institute, la tecnología de deception tiende a funcionar mejor contra agentes que contra atacantes humanos: mientras que un atacante humano cauteloso podría evitar activar un canary token, un agente que emite miles de comandos podría activar uno ya en la primera hora. Un equipo de seguridad afectado reconoció que debería haber implementado medidas de este tipo; según el SANS Institute, en la mayoría de los entornos todavía no existen.
Modelos open-weight alojados internamente
Una cuarta pregunta, que según el SANS Institute casi nadie se plantea hasta ahora, se refiere a los modelos que forman parte del plan de contingencia para la respuesta a incidentes: ¿se han revisado en busca de comportamientos ocultos? Dado que este tipo de modelo pasa a formar parte de la infraestructura de seguridad, merece el mismo nivel de escrutinio que cualquier otro componente en el que los equipos deban confiar durante un incidente.
El ejercicio tiene, ante todo, un propósito de diagnóstico. Si las respuestas resultan ser las que cabe esperar en la mayoría de los equipos, los equipos de seguridad dispondrán de una lista concreta y priorizada de medidas de mejora basada en un incidente real y no en un escenario hipotético. El SANS Institute también ha puesto a disposición un readiness check para que los equipos de seguridad puedan comprobar en qué situación se encuentran realmente.
A medida que salgan a la luz nuevos incidentes, es previsible que aumente la presión sobre los equipos de seguridad para revisar sus procesos de detección y respuesta frente al comportamiento de los agentes de IA autónomos, en particular en lo relativo a la lógica de gravedad, las medidas de deception y los modelos alojados internamente utilizados en la respuesta a incidentes.
El Dr. Jakob Jung es redactor jefe de Security Storage y Channel Germany. Lleva más de 20 años trabajando en el periodismo especializado en TI. A lo largo de su carrera ha colaborado con Computer Reseller News, Heise Resale, Informationweek, Techtarget (almacenamiento y centros de datos) y ChannelBiz. Además, colabora como freelance con numerosas publicaciones del sector de las TI, entre las que se incluyen Computerwoche, Channelpartner, IT-Business, Storage-Insider y ZDnet. Sus temas principales son el canal, el almacenamiento, la seguridad, los centros de datos, los sistemas ERP y CRM.
Contacto – Contacto por correo electrónico: jakob.jung@security-storage-und-channel-germany.de