Las decisiones erróneas de la IA representan una amenaza mayor para las empresas que los ciberataques clásicos. Artículo de opinión de Assaf Keren, director de seguridad de Qualtrics.
Las empresas utilizan la inteligencia artificial para tomar decisiones operativas, desde la comunicación con clientes hasta la gestión del talento. Pero cuanto más autónoma actúa la IA, más graves son las consecuencias de los datos de entrada defectuosos o manipulados. El experto en seguridad Assaf Keren, director de seguridad (CSO) de Qualtrics, analiza por qué los conceptos tradicionales de seguridad informática están llegando a sus límites y qué deben hacer las empresas ahora.
La pérdida de contexto como fallo del sistema
La inteligencia artificial ya no es una herramienta experimental. En todo el mundo, los sistemas de IA gestionan tareas diarias con consecuencias inmediatas para las personas: responden consultas de clientes, evalúan el riesgo de abandono de empleados o canalizan las inquietudes de los pacientes hacia el personal médico. Siempre que estos sistemas operen con datos correctamente estructurados, ofrecen resultados precisos y escalables. Pero ahí radica el problema central de la seguridad moderna de la IA.
Si el contexto es defectuoso —manipulado, sesgado o simplemente incompleto—, la IA produce resultados incorrectos con la misma aparente confianza que los correctos. Y lo hace a una velocidad que supera sistemáticamente la capacidad de supervisión humana. Las consecuencias las sufren clientes, empleados y, en última instancia, las propias empresas. Este es precisamente el escenario que Assaf Keren, director de seguridad de Qualtrics, describe como el riesgo de seguridad más subestimado de la era de la IA.
Datos sin supervisión: un riesgo estructural
Algunos escenarios concretos ilustran la magnitud del problema: un agente de IA comparte información sensible con la persona equivocada porque los controles de acceso se basan en parámetros desactualizados. Un chatbot genera una recomendación incorrecta porque los datos de retroalimentación subyacentes han sido corrompidos sistemáticamente. Un sistema de análisis atribuye erróneamente el feedback de un empleado a otra persona, con consecuencias directas sobre decisiones de carrera.
El riesgo se amplifica por los patrones de uso: según Qualtrics, solo el 20 por ciento de los empleados utiliza soluciones de IA aprobadas por la empresa. El resto recurre a herramientas externas no supervisadas, tomando decisiones basadas en estas entradas de maneras que no pueden rastrearse ni asegurarse. Al mismo tiempo, encuestas entre consumidores revelan que más de la mitad señala el uso indebido de datos personales como su mayor preocupación cuando las empresas implementan IA.
Por qué fallan los conceptos clásicos de seguridad
Cifrado, controles de acceso, verificaciones de cumplimiento: el conjunto de herramientas establecido de seguridad informática fue creado para un mundo en el que los datos permanecían estáticos en los sistemas y los seres humanos tomaban las decisiones resultantes. Ese mundo ya no existe.
Hoy, los sistemas de IA actúan de forma autónoma. Toman decisiones en tiempo real, basándose en entradas de datos dinámicas, sin que ningún ser humano revise cada caso individual. Esto tiene implicaciones fundamentales para los responsables de seguridad: el foco se desplaza de la protección de datos almacenados a garantizar la integridad de los datos que los sistemas de IA utilizan en el momento del procesamiento.
Cuatro preguntas estratégicas para los responsables de seguridad
Keren propone medir la madurez organizacional con cuatro preguntas concretas:
- ¿Qué decisiones empresariales influye la plataforma? Observar únicamente las integraciones técnicas es insuficiente. Lo que importa es la visibilidad de extremo a extremo, desde la entrada de datos hasta la acción desencadenada, incluyendo todos los pasos automatizados intermedios.
- ¿Cómo se garantiza la autenticidad de los datos entrantes? Los canales de entrada abiertos requieren especialmente una imagen clara de cómo es el comportamiento normal dentro del programa de retroalimentación, porque solo sobre esa base pueden detectarse anomalías.
- ¿Se ha cuantificado el daño empresarial potencial? Los riesgos de seguridad deben evaluarse en términos empresariales, no solo técnicos. Las decisiones tomadas sobre la base de datos manipulados tienen consecuencias financieras, legales y reputacionales concretas.
- ¿Con qué rapidez pueden identificarse y abordarse las anomalías? Cuanto más autónoma actúa la IA, más corta es la ventana entre una entrada defectuosa y una decisión errónea. Los sistemas de monitoreo deben ser capaces de detectar anomalías en tiempo real y permitir intervenciones específicas antes de que los problemas se propaguen por toda la organización.
La seguridad como base de la confianza
Keren lo expresa con contundencia: en la era de la IA, la seguridad ya no es una condición técnica secundaria, sino el requisito fundamental para tomar decisiones fiables. Permite a las organizaciones combinar velocidad con fiabilidad, actuar con determinación sin amplificar los errores.
Si la IA construye confianza o la erosiona no lo determina la potencia de procesamiento ni la calidad del modelo, sino la calidad de los datos que alimentan los sistemas y los procesos que garantizan esa calidad. Para los responsables de seguridad, esto significa redefinir su función: de guardianes de datos a arquitectos de procesos de decisión de IA confiables.
Assaf Keren es director de seguridad (CSO) de Qualtrics desde 2024, responsable de la seguridad global del producto y el cumplimiento normativo. Anteriormente ocupó el cargo de CISO en PayPal.
El Dr. Jakob Jung es redactor jefe de Security Storage y Channel Germany. Lleva más de 20 años trabajando en el periodismo especializado en TI. A lo largo de su carrera ha colaborado con Computer Reseller News, Heise Resale, Informationweek, Techtarget (almacenamiento y centros de datos) y ChannelBiz. Además, colabora como freelance con numerosas publicaciones del sector de las TI, entre las que se incluyen Computerwoche, Channelpartner, IT-Business, Storage-Insider y ZDnet. Sus temas principales son el canal, el almacenamiento, la seguridad, los centros de datos, los sistemas ERP y CRM.
Contacto – Contacto por correo electrónico: jakob.jung@security-storage-und-channel-germany.de