La tecnología moderna dista mucho de ser infalible, como demuestran, por ejemplo, las numerosas vulnerabilidades que siguen apareciendo. Aunque diseñar sistemas que sean seguros por diseño es una buena práctica de probada eficacia, hacerlo puede desviar recursos de otras áreas, como el diseño de la experiencia del usuario (UX), la optimización del rendimiento y la interoperabilidad con otras soluciones y servicios.

Así, la seguridad suele quedar relegada a un segundo plano, cumpliendo sólo unos requisitos mínimos de conformidad. Esta situación es especialmente preocupante cuando se trata de datos sensibles, ya que requieren una protección acorde con su importancia. Hoy en día, los riesgos de unas medidas de seguridad inadecuadas son cada vez más evidentes en los sistemas de inteligencia artificial y aprendizaje automático (IA/AM), en los que los datos son la base misma de su funcionalidad.

¿Qué es el envenenamiento de datos?

Los modelos de IA/AM se construyen a partir de conjuntos de datos básicos que se actualizan continuamente mediante aprendizaje supervisado y no supervisado. El aprendizaje automático es una de las principales vías que posibilitan la IA, y el ML permite el aprendizaje profundo, entre otras cosas, para desarrollar las numerosas capacidades de la IA. Cuanto más diversos y fiables sean los datos, más precisos y útiles serán los resultados del modelo. Por lo tanto, durante el entrenamiento, estos modelos necesitan acceder a grandes cantidades de datos.

Por otro lado, la dependencia de grandes cantidades de datos conlleva riesgos, ya que los conjuntos de datos no verificados o poco contrastados aumentan la probabilidad de obtener resultados poco fiables. Se sabe que la IA generativa, especialmente los grandes modelos lingüísticos (LLM) y sus derivados en forma de asistentes de IA, son especialmente vulnerables a los ataques que manipulan los modelos con fines maliciosos.

Una de las amenazas más insidiosas es el envenenamiento de datos (o bases de datos), en el que los adversarios intentan alterar el comportamiento del modelo y hacer que genere resultados incorrectos, sesgados o incluso dañinos. Las consecuencias de esta manipulación pueden extenderse a todas las aplicaciones, minando la confianza e introduciendo riesgos sistémicos tanto para las personas como para las organizaciones.

Tipos de envenenamiento de datos

Existen varios tipos de ataques de envenenamiento de datos, como por ejemplo

  • Inyección de datos: Los atacantes inyectan puntos de datos maliciosos en los datos de entrenamiento para hacer que un modelo de IA altere su comportamiento. Un buen ejemplo de esto es cuando los usuarios en línea alteraron lentamente el bot Tay de Twitter para publicar tweets ofensivos.
  • Ataques internos: Al igual que con las amenazas internas habituales, los empleados podrían hacer un uso indebido de su acceso para alterar el conjunto de entrenamiento de un modelo, cambiándolo pieza por pieza para modificar su comportamiento. Los ataques internos son especialmente insidiosos porque se aprovechan del acceso legítimo.
  • Inyección de disparadores: Este ataque inyecta datos en el conjunto de entrenamiento del modelo de IA para crear un disparador. Esto permite a los atacantes burlar la seguridad de un modelo y manipular su salida en situaciones acordes con el desencadenante establecido. El reto a la hora de detectar este ataque es que el desencadenante puede ser difícil de detectar, así como que la amenaza permanece latente hasta que se activa el desencadenante.
  • Ataque a la cadena de suministro: Los efectos de estos ataques pueden ser especialmente graves. Como los modelos de IA suelen utilizar componentes de terceros, las vulnerabilidades introducidas durante el proceso de la cadena de suministro pueden acabar comprometiendo la seguridad del modelo y dejarlo abierto a la explotación.

A medida que los modelos de IA se integran profundamente en los sistemas empresariales y de consumo, sirviendo como asistentes o potenciadores de la productividad, los ataques dirigidos a estos sistemas se están convirtiendo en una preocupación significativa.

Aunque es posible que los modelos de IA empresariales no compartan datos con terceros, siguen engullendo datos internos para mejorar sus resultados. Para ello, necesitan acceder a un tesoro de información confidencial, lo que los convierte en objetivos de gran valor. Los riesgos aumentan aún más en el caso de los modelos de consumo, que suelen compartir con terceros las indicaciones de los usuarios, normalmente repletas de datos sensibles.

eset-ai-native-prevention

¿Cómo proteger el desarrollo de ML/AI?

Las estrategias preventivas para los modelos ML/AI requieren la concienciación tanto de los desarrolladores como de los usuarios. Las estrategias clave incluyen

  • Comprobaciones y auditorías constantes: Es importante comprobar y validar continuamente la integridad de los conjuntos de datos que alimentan los modelos de IA/ML para evitar que la manipulación malintencionada o los datos sesgados los pongan en peligro.
  • Centrarse en la seguridad: Los propios desarrolladores de IA pueden acabar en el punto de mira de los atacantes, por lo que contar con una configuración de seguridad que pueda proporcionar un enfoque de prevención en primer lugar para minimizar la superficie de ataque con prevención proactiva, detección temprana y comprobaciones de seguridad sistémicas es imprescindible para un desarrollo seguro.
  • Formación adversaria: Como ya se ha mencionado, los modelos suelen ser supervisados por profesionales para guiar su aprendizaje. El mismo enfoque puede utilizarse para enseñar a los modelos la diferencia entre puntos de datos maliciosos y válidos, lo que en última instancia ayuda a frustrar los ataques de envenenamiento.
  • Cero confianza y gestión de accesos: Para defenderse de las amenazas internas y externas, utilice una solución de seguridad que pueda supervisar el acceso no autorizado a los datos principales de un modelo. De este modo, es más fácil detectar y prevenir comportamientos sospechosos. Además, con la confianza cero no se confía en nadie por defecto, por lo que se requieren múltiples verificaciones antes de conceder el acceso.

Seguridad por diseño

Construir plataformas de IA/ML que sean seguras por diseño no sólo es beneficioso, sino imprescindible. Al igual que la desinformación puede influir en las personas para que adopten comportamientos perjudiciales y extremos, un modelo de IA envenenado también puede conducir a resultados perjudiciales.

A medida que el mundo se centra cada vez más en los riesgos potenciales asociados al desarrollo de la IA, los creadores de plataformas deben preguntarse si han hecho lo suficiente para proteger la integridad de sus modelos. Abordar los sesgos, las imprecisiones y las vulnerabilidades antes de que puedan causar daños debe ser una prioridad central en el desarrollo.

A medida que la inteligencia artificial se integre más en nuestras vidas, la seguridad de los sistemas de IA será cada vez más importante. Las empresas, los desarrolladores y los responsables políticos también deben colaborar para garantizar que los sistemas de IA sean resistentes a los ataques. De este modo, podremos liberar el potencial de la IA sin sacrificar la seguridad, la privacidad y la confianza.

Un ejemplo notable de pensamiento preventivo orientado a la seguridad es el Compromiso de Seguridad por Diseñode CISA , que la propia ESET también ha firmado y que invita a los fabricantes de software a integrar medidas de seguridad robustas en el ciclo de vida de desarrollo del software.