Falha do AgentSmith no Prompt Hub do LangSmith expôs chaves de API do usuário e dados

Pesquisadores de segurança cibernética da Noma Security divulgaram detalhes de uma vulnerabilidade crítica na plataforma LangSmith da LangChain , que afeta especificamente seu Prompt Hub público. Essa falha crítica, denominada AgentSmith com uma pontuação CVSS de 8,8 (indicando alta gravidade), pode permitir que agentes maliciosos de IA roubem dados confidenciais do usuário, incluindo chaves valiosas da API OpenAI, e até mesmo manipulem respostas de grandes modelos de linguagem ( LLMs ).

LangSmith é uma plataforma popular da LangChain, usada por grandes empresas como Microsoft e DHL para gerenciar e colaborar em agentes de IA. O Prompt Hub , seu principal recurso, é uma biblioteca pública para compartilhar/reutilizar prompts de IA pré-configurados, muitos dos quais funcionam como agentes.

A vulnerabilidade AgentSmith explorou como esses agentes públicos poderiam ser configurados com configurações de proxy prejudiciais. Um servidor proxy atua como intermediário para solicitações de rede. Nesse caso, um invasor poderia criar um agente de IA com um proxy malicioso oculto.

Quando um usuário desavisado adota e executa esse agente no Prompt Hub, todas as suas comunicações, incluindo dados privados como chaves de API do OpenAI , arquivos enviados e até mesmo entradas de voz, são enviadas secretamente pelo servidor do invasor.

De acordo com a investigação da Noma Security, compartilhada com o Hackread.com, essa interceptação Man-in-the-Middle (MITM) pode levar a consequências graves. Os invasores podem obter acesso não autorizado à conta OpenAI da vítima, potencialmente baixando conjuntos de dados sensíveis, inferindo informações confidenciais a partir de prompts ou até mesmo causando perdas financeiras ao esgotar as cotas de uso da API.

Em ataques mais avançados, o proxy malicioso pode alterar as respostas do LLM, potencialmente levando a fraudes ou decisões automatizadas incorretas.

A Noma Security divulgou de forma responsável a vulnerabilidade para a LangChain em 29 de outubro de 2024. A LangChain confirmou o problema e rapidamente implementou uma correção em 6 de novembro de 2024, antes desta divulgação pública.

Junto com isso, a empresa também introduziu novas medidas de segurança, mensagens de aviso e um banner persistente nas páginas de descrição dos agentes para usuários que tentam clonar agentes com configurações de proxy personalizadas.

Tanto a Noma Security quanto a LangChain não encontraram evidências de exploração ativa, e apenas usuários que interagiram diretamente com um agente malicioso estavam em risco. A LangChain também esclareceu que a vulnerabilidade se limitava ao recurso de compartilhamento público do Prompt Hub e não afetava sua plataforma principal, agentes privados ou infraestrutura mais ampla.

O incidente destaca a necessidade de as organizações aprimorarem suas práticas de segurança de IA. Pesquisadores sugerem que as organizações mantenham um inventário centralizado de todos os agentes de IA, utilizando uma Lista de Materiais de IA ( AI BOM) para rastrear suas origens e componentes. Implementar proteções de tempo de execução e uma governança de segurança robusta para todos os agentes de IA também é crucial para a proteção contra ameaças em evolução.