Todos estão falando sobre ChatGPT, Bard e IA generativa, e os executivos de negócios e de TI estão entusiasmados com o potencial disruptivo da tecnologia em áreas como atendimento ao cliente e desenvolvimento de software, mas também estão cada vez mais cientes de algumas possíveis desvantagens e riscos que precisam ser considerados.

Para que as organizações aproveitem o potencial dos modelos de linguagem de grande porte (LLMs), elas também devem ser capazes de gerenciar os riscos ocultos que, de outra forma, poderiam corroer o valor comercial da tecnologia.

E quanto ao LLM?

O ChatGPT e outras ferramentas de IA generativa trabalham com LLMs. Eles funcionam usando redes neurais artificiais para processar grandes quantidades de dados de texto. Depois de aprender os padrões entre as palavras e como elas são usadas no contexto, o modelo é capaz de interagir em linguagem natural com os usuários. De fato, um dos principais motivos do sucesso extraordinário do ChatGPT é sua capacidade de contar piadas, compor poemas e, em geral, comunicar-se de uma forma difícil de distinguir de um ser humano real.

Os modelos de IA generativa com LLM, como os usados em chatbots como o ChatGPT, funcionam como mecanismos de pesquisa superalimentados, usando os dados nos quais foram treinados para responder a perguntas e concluir tarefas com linguagem semelhante à humana. Sejam modelos disponíveis publicamente ou modelos proprietários usados internamente em uma organização, a IA generativa baseada em LLM pode expor as empresas a determinados riscos de segurança e privacidade.

Os 5 principais riscos do LLM

1. compartilhamento de dados confidenciais

Os chatbots baseados em LLM não são bons em guardar segredos ou esquecê-los. Isso significa que qualquer dado que você inserir pode ser absorvido pelo modelo e disponibilizado para outras pessoas ou, pelo menos, usado para treinar futuros modelos LLM. Os funcionários da Samsung descobriram isso a seu custo quando compartilharam informações confidenciais com o ChatGPT enquanto o usavam para tarefas relacionadas ao trabalho. Em teoria, o código e as gravações das reuniões que eles inseriram na ferramenta poderiam ser de domínio público (ou, pelo menos, armazenados para uso futuro, como apontou recentemente o National Cyber Security Centre do Reino Unido). No início deste ano, analisamos mais de perto como as organizações podem evitar o comprometimento de seus dados ao usar o LLM.

2. Problemas de direitos autorais

Os LLMs são compostos por grandes quantidades de dados. Mas essas informações geralmente são extraídas da Internet sem a permissão explícita do proprietário do conteúdo. Isso pode gerar problemas de direitos autorais se você os utilizar. No entanto, pode ser difícil encontrar a fonte original de dados de treinamento específicos, o que dificulta a resolução desses problemas.

3. Código inseguro

Os desenvolvedores estão recorrendo cada vez mais ao ChatGPT e a ferramentas semelhantes para acelerar o tempo de lançamento no mercado. Em teoria, ele pode ajudar gerando trechos de código e até mesmo programas de software inteiros de forma rápida e eficiente. No entanto, os especialistas em segurança alertam que isso também pode gerar vulnerabilidades. Isso é especialmente preocupante se o desenvolvedor não tiver conhecimento suficiente para saber quais bugs procurar. Se, posteriormente, um código defeituoso entrar em produção, isso poderá causar um sério impacto na reputação e exigir tempo e dinheiro para ser corrigido.

4. Hackear o próprio LLM

O acesso não autorizado e a manipulação de LLMs podem oferecer várias opções para atividades mal-intencionadas, como fazer com que o modelo divulgue informações confidenciais por meio de ataques de injeção de comandos ou execute outras ações que deveriam estar bloqueadas. Outros ataques podem envolver a exploração de vulnerabilidades de falsificação de solicitação do lado do servidor (SSRF) em servidores de LLM, permitindo que os invasores extraiam recursos internos. Os agentes de ameaças podem até encontrar uma maneira de interagir com sistemas e recursos confidenciais simplesmente enviando comandos maliciosos por meio de prompts de linguagem natural.

Por exemplo, o ChatGPT teve que ser retirado do ar em março após a descoberta de uma vulnerabilidade que expôs os títulos do histórico de conversas de alguns usuários a outros usuários. Para aumentar a conscientização sobre as vulnerabilidades dos aplicativos LLM, a OWASP Foundation publicou recentemente uma lista de 10 brechas críticas de segurança, comumente observadas em aplicativos LLM.

5. Uma violação de dados no provedor de IA

Sempre há a possibilidade de uma empresa que desenvolve modelos de IA sofrer uma violação de segurança, permitindo que hackers, por exemplo, roubem dados de treinamento que podem incluir informações confidenciais e proprietárias. O mesmo vale para vazamentos de dados, como quando o Google inadvertidamente vazou os bate-papos privados de Bard em seus resultados de pesquisa.

O que fazer?

Se sua organização estiver interessada em aproveitar o potencial da IA generativa para obter vantagem competitiva, há algumas coisas que você deve fazer primeiro para reduzir alguns desses riscos:

  • Criptografar e tornar anônimos os dados: Criptografe os dados antes de compartilhá-los com os LLMs para mantê-los a salvo de olhares curiosos e/ou considere técnicas de anonimização para proteger a privacidade de indivíduos que possam ser identificados nos conjuntos de dados. A limpeza de dados pode atingir o mesmo objetivo, removendo detalhes confidenciais dos dados de treinamento antes de alimentá-los no modelo.
  • Incorporar controles de acesso aprimorados: senhas fortes, autenticação multifator (MFA) e políticas de privilégio mínimo ajudarão a garantir que somente indivíduos autorizados tenham acesso ao modelo de IA generativo e aos sistemas de back-end.
  • Realize auditorias de segurança regulares: isso pode ajudar a descobrir vulnerabilidades em seus sistemas de TI que podem afetar o LLM e os modelos de IA generativa nos quais ele se baseia.
  • Praticar planos de resposta a incidentes: Um plano de IR robusto e bem ensaiado ajudará sua organização a responder rapidamente para conter, remediar e se recuperar de qualquer violação.
  • Examine minuciosamente os provedores de LLM: como acontece com qualquer provedor, é importante garantir que a empresa que fornece LLM siga as práticas recomendadas do setor para segurança e privacidade de dados. Certifique-se de que haja informações claras sobre onde os dados do usuário são processados e armazenados e se são usados para treinar o modelo. Por quanto tempo são retidos, se são compartilhados com terceiros, se o usuário pode optar por não ter seus dados usados para treinamento e se pode optar por não ter seus dados usados para treinamento.
  • Certifique-se de que os desenvolvedores sigam diretrizes rígidas de segurança: se os desenvolvedores estiverem usando LLMs para gerar código, certifique-se de que eles sigam a política, como testes de segurança e revisão por pares, para reduzir o risco de bugs entrarem em produção.

A boa notícia é que você não precisa reinventar a roda. A maioria das dicas acima são práticas recomendadas de segurança comprovadas. Eles podem precisar ser atualizados ou adaptados ao mundo da IA, mas a lógica subjacente deve ser familiar para a maioria das equipes de segurança.