Todo el mundo habla de ChatGPT, Bard y la IA generativa y tanto los directivos de las empresas como los de TI están entusiasmados con el potencial disruptivo de la tecnología en áreas como la atención al cliente y el desarrollo de software, pero también son cada vez más conscientes de algunas desventajas y riesgos potenciales que hay que tener en cuenta.

Para que las organizaciones aprovechen el potencial de los grandes modelos lingüísticos (LLM, por sus siglas en inglés), también deben ser capaces de gestionar los riesgos ocultos que, de lo contrario, podrían erosionar el valor empresarial de la tecnología.

¿Qué pasa con los LLM?

ChatGPT y otras herramientas de IA generativa funcionan con LLM. Funcionan utilizando redes neuronales artificiales para procesar enormes cantidades de datos de texto. Tras aprender los patrones entre las palabras y cómo se utilizan en su contexto, el modelo es capaz de interactuar en lenguaje natural con los usuarios. De hecho, una de las principales razones del destacado éxito de ChatGPT es su capacidad para contar chistes, componer poemas y, en general, comunicarse de una forma difícil de distinguir de un humano real.

LECTURA RELACIONADA: Writing like a boss with ChatGPT: How to get better at spotting phishing scams

Los modelos de IA generativa potenciados por LLM, tal y como se utilizan en chatbots como ChatGPT, funcionan como motores de búsqueda sobrealimentados, utilizando los datos con los que han sido entrenados para responder a preguntas y completar tareas con un lenguaje similar al humano. Tanto si se trata de modelos disponibles públicamente como de modelos propios utilizados internamente en una organización, la IA generativa basada en LLM puede exponer a las empresas a ciertos riesgos de seguridad y privacidad.

5 de los principales riesgos de LLM

1. Compartir datos sensibles

Los chatbots basados en LLM no son buenos guardando secretos, ni olvidándolos. Esto significa que cualquier dato que introduzcas puede ser absorbido por el modelo y puesto a disposición de otros o, al menos, utilizado para entrenar futuros modelos LLM. Los trabajadores de Samsung lo descubrieron a su costa cuando compartieron información confidencial con ChatGPT mientras lo utilizaban para tareas relacionadas con el trabajo. En teoría, el código y las grabaciones de las reuniones que introdujeron en la herramienta podrían ser de dominio público (o al menos almacenarse para su uso futuro, como señaló recientemente el Centro Nacional de Ciberseguridad del Reino Unido). A principios de este año, analizamos más detenidamente cómo las organizaciones pueden evitar poner en peligro sus datos cuando utilizan LLM.

2. Problemas de derechos de autor

Los LLM se forman con grandes cantidades de datos. Pero esa información a menudo se extrae de Internet sin el permiso explícito del propietario del contenido. Esto puede plantear problemas de derechos de autor si la utilizas. Sin embargo, puede ser difícil encontrar la fuente original de datos de formación específicos, lo que dificulta la resolución de estos problemas.

3. Código inseguro

Los desarrolladores recurren cada vez más a ChatGPT y herramientas similares para acelerar la comercialización. En teoría, puede ayudar generando fragmentos de código e incluso programas de software completos de forma rápida y eficaz. Sin embargo, los expertos en seguridad advierten de que también puede generar vulnerabilidades. Esto es especialmente preocupante si el desarrollador carece de conocimientos suficientes para saber qué errores debe buscar. Si el código defectuoso se cuela posteriormente en la producción, podría tener un grave impacto en la reputación y requerir tiempo y dinero para solucionarlo.

4. Hackear el propio LLM

El acceso no autorizado y la manipulación de los LLM puede proporcionar una serie de opciones para realizar actividades maliciosas, como conseguir que el modelo divulgue información sensible a través de ataques de inyección de comandos o realice otras acciones que se supone que están bloqueadas. Otros ataques podrían implicar la explotación de vulnerabilidades de falsificación de peticiones del lado del servidor (SSRF) en servidores LLM, lo que permitiría a los atacantes extraer recursos internos. Los actores de amenazas podrían incluso encontrar una forma de interactuar con sistemas y recursos confidenciales, simplemente enviando comandos maliciosos a través de avisos en lenguaje natural.

Como ejemplo, ChatGPT tuvo que ser desconectado en marzo tras el descubrimiento de una vulnerabilidad que exponía los títulos de los historiales de conversación de algunos usuarios a otros usuarios. Con el fin de concienciar sobre las vulnerabilidades de las aplicaciones LLM, la Fundación OWASP publicó recientemente una lista de 10 lagunas de seguridad críticas observadas habitualmente en estas aplicaciones.

5. Una violación de datos en el proveedor de IA

Siempre existe la posibilidad de que una empresa que desarrolla modelos de IA sufra una brecha de seguridad, lo que permitiría a los piratas informáticos, por ejemplo, robar datos de entrenamiento que podrían incluir información confidencial de propiedad. Lo mismo ocurre con las filtraciones de datos, como cuando Google filtró inadvertidamente chats privados de Bard en sus resultados de búsqueda.

¿Qué hacer?

Si tu organización está dispuesta a aprovechar el potencial de la IA generativa para obtener ventajas competitivas, hay algunas cosas que deberías hacer primero para mitigar algunos de estos riesgos:

  • Cifra y anonimiza los datos: Cifrar los datos antes de compartirlos con los LLM para mantenerlos a salvo de miradas indiscretas, y/o considerar técnicas de anonimización para proteger la privacidad de los individuos que podrían ser identificados en los conjuntos de datos. El saneamiento de datos puede lograr el mismo fin eliminando detalles sensibles de los datos de entrenamiento antes de introducirlos en el modelo.
  • Incorpora controles de acceso mejorados: Las contraseñas seguras, la autenticación multifactor (MFA) y las políticas de privilegio mínimo ayudarán a garantizar que solo las personas autorizadas tengan acceso al modelo de IA generativa y a los sistemas back-end.
  • Haz auditorías de seguridad periódicas: Esto puede ayudar a descubrir vulnerabilidades en sus sistemas de TI que pueden afectar al LLM y a los modelos de IA generativa en los que se basa.
  • Practica planes de respuesta a incidentes: Un plan de IR sólido y bien ensayado ayudará a tu organización a responder rápidamente para contener, remediar y recuperarse de cualquier brecha.
  • Investiga a fondo a los proveedores de LLM: Al igual que con cualquier proveedor, es importante asegurarse de que la empresa que proporciona el LLM sigue las mejores prácticas del sector en materia de seguridad y privacidad de datos. Asegúrate de que se informa claramente sobre dónde se procesan y almacenan los datos de los usuarios y si se utilizan para entrenar el modelo. ¿Cuánto tiempo se conservan? ¿Se comparten con terceros? ¿Puede el usuario optar por que sus datos no se utilicen para el entrenamiento?
  • Asegúrate de que los desarrolladores siguen unas directrices de seguridad estrictas: Si los desarrolladores están utilizando LLMs para generar código, asegúrate de que se adhieren a la política, tales como pruebas de seguridad y revisión por pares, para mitigar el riesgo de que los errores se cuelen en la producción.

La buena noticia es que no hace falta reinventar la rueda. La mayoría de los consejos anteriores son buenas prácticas de seguridad de eficacia probada. Puede que haya que actualizarlos o adaptarlos al mundo de la IA, pero la lógica subyacente debería resultar familiar a la mayoría de los equipos de seguridad.