Modelos maliciosos de IA estão por trás de uma nova onda de crimes cibernéticos, diz Cisco Talos

Uma nova pesquisa da Cisco Talos revela um aumento no número de cibercriminosos que utilizam Modelos de Linguagem Ampla (LLMs) para aprimorar suas atividades ilícitas . Essas poderosas ferramentas de IA, conhecidas por gerar texto, resolver problemas e escrever código, estão sendo manipuladas para lançar ataques mais sofisticados e generalizados.

Para sua informação, os LLMs são projetados com recursos de segurança integrados, incluindo alinhamento (treinamento para minimizar vieses) e guardrails (mecanismos em tempo real para evitar resultados prejudiciais). Por exemplo, um LLM legítimo como o ChatGPT se recusaria a gerar um e-mail de phishing. No entanto, os cibercriminosos estão buscando ativamente maneiras de contornar essas proteções.

A investigação da Talos, compartilhada com o Hackread.com, destaca três métodos principais usados ​​pelos adversários:

LLMs sem censura : Esses modelos, sem restrições de segurança, produzem facilmente conteúdo sensível ou prejudicial. Exemplos incluem OnionGPT e WhiteRabbitNeo, que podem gerar ferramentas de segurança ofensivas ou e-mails de phishing. Frameworks como o Ollama permitem que os usuários executem modelos sem censura, como o Llama 2 Uncensored, em suas próprias máquinas.

LLMs Criminosos Personalizados : Alguns cibercriminosos empreendedores estão desenvolvendo seus próprios LLMs projetados especificamente para fins maliciosos. Nomes como GhostGPT, WormGPT , DarkGPT, DarkestGPT e FraudGPT são anunciados na dark web , ostentando recursos como criação de malware, páginas de phishing e ferramentas de hacking.

Desbloqueio de LLMs Legítimos : Envolve enganar LLMs existentes para que ignorem seus protocolos de segurança por meio de técnicas inteligentes de injeção de prompts. Os métodos observados incluem o uso de linguagem codificada (como Base64), a adição de texto aleatório (sufixos adversários), cenários de simulação (por exemplo, DAN ou jailbreak da Vovó) e até mesmo a exploração da autoconsciência do modelo (meta prompting).

A dark web se tornou um mercado para esses LLMs maliciosos . O FraudGPT, por exemplo, anunciava recursos que iam desde a escrita de código malicioso e a criação de malware indetectável até a descoberta de sites vulneráveis ​​e a geração de conteúdo de phishing.

No entanto, o mercado não está isento de riscos para os próprios criminosos; pesquisadores da Talos descobriram que o suposto desenvolvedor do FraudGPT , CanadianKingpin12, estava enganando potenciais compradores, fazendo-os comprar criptomoedas, prometendo um produto inexistente.

Além da geração direta de conteúdo ilícito, os cibercriminosos estão utilizando LLMs para tarefas semelhantes às de usuários legítimos, mas com um toque malicioso. Em dezembro de 2024, a Anthropic , desenvolvedora do Claude LLM, apontou programação, criação de conteúdo e pesquisa como os principais usos para seu modelo. Da mesma forma, os LLMs criminosos são usados ​​para:

• Programação: Criação de ransomware, trojans de acesso remoto, limpadores e ofuscação de código.

• Criação de conteúdo: geração de e-mails de phishing convincentes, landing pages e arquivos de configuração.

• Pesquisa: Verificação de números de cartões de crédito roubados, varredura de vulnerabilidades e até mesmo elaboração de novos esquemas criminosos.

Os LLMs também estão se tornando alvos. Invasores estão distribuindo modelos backdoor em plataformas como a Hugging Face , incorporando código malicioso que é executado após download. Além disso, os LLMs que utilizam fontes de dados externas (Retrieval Augmented Generation ou RAG) podem ser vulneráveis ​​ao envenenamento de dados, em que invasores manipulam os dados para influenciar as respostas do LLM.

A Cisco Talos prevê que, à medida que a tecnologia de IA continua a avançar, os criminosos cibernéticos adotarão cada vez mais LLMs para otimizar suas operações, agindo efetivamente como um "multiplicador de força" para métodos de ataque existentes, em vez de criar "armas cibernéticas" inteiramente novas.