Un difetto di AgentSmith nel Prompt Hub di LangSmith ha esposto le chiavi API e i dati dell'utente

I ricercatori di sicurezza informatica di Noma Security hanno rivelato i dettagli di una vulnerabilità critica all'interno della piattaforma LangSmith di LangChain , che colpisce specificamente il suo Prompt Hub pubblico. Questa falla critica, denominata AgentSmith con un punteggio CVSS di 8,8 (che indica un'elevata gravità), potrebbe consentire ad agenti di intelligenza artificiale dannosi di rubare dati sensibili degli utenti, incluse preziose chiavi API di OpenAI, e persino di manipolare le risposte dei modelli linguistici di grandi dimensioni ( LLM ).

LangSmith è una popolare piattaforma LangChain utilizzata da importanti aziende come Microsoft e DHL per la gestione e la collaborazione sugli agenti di intelligenza artificiale. Il Prompt Hub , la sua funzionalità principale, è una libreria pubblica per la condivisione e il riutilizzo di prompt di intelligenza artificiale preconfigurati, molti dei quali funzionano come agenti.

La vulnerabilità AgentSmith sfruttava il modo in cui questi agenti pubblici potevano essere configurati con configurazioni proxy dannose. Un server proxy funge da intermediario per le richieste di rete. In questo caso, un aggressore potrebbe creare un agente di intelligenza artificiale con un proxy dannoso nascosto.

Quando un utente ignaro adotta ed esegue questo agente dal Prompt Hub, tutte le sue comunicazioni, compresi dati privati ​​come le chiavi API di OpenAI , i file caricati e perfino gli input vocali, vengono inviati segretamente tramite il server dell'aggressore.

Secondo l'indagine di Noma Security, condivisa con Hackread.com, questa intercettazione Man-in-the-Middle (MITM) potrebbe avere gravi conseguenze. Gli aggressori potrebbero ottenere l'accesso non autorizzato all'account OpenAI della vittima, scaricando potenzialmente set di dati sensibili, deducendo informazioni riservate dai prompt o persino causando perdite finanziarie esaurendo le quote di utilizzo delle API.

Negli attacchi più avanzati, il proxy dannoso potrebbe alterare le risposte LLM, portando potenzialmente a frodi o decisioni automatizzate errate.

Noma Security ha comunicato responsabilmente la vulnerabilità a LangChain il 29 ottobre 2024. LangChain ha confermato il problema e ha rapidamente distribuito una correzione il 6 novembre 2024, prima di questa divulgazione pubblica.

Oltre a ciò, l'azienda ha introdotto anche nuove misure di sicurezza, messaggi di avviso e un banner persistente nelle pagine di descrizione degli agenti per gli utenti che tentano di clonare agenti con impostazioni proxy personalizzate.

Sia Noma Security che LangChain non hanno trovato prove di sfruttamento attivo e solo gli utenti che interagivano direttamente con un agente dannoso erano a rischio. LangChain ha inoltre chiarito che la vulnerabilità era limitata alla funzionalità di condivisione pubblica di Prompt Hub e non interessava la loro piattaforma principale, gli agenti privati ​​o l'infrastruttura più ampia.

L'incidente evidenzia la necessità per le organizzazioni di migliorare le proprie pratiche di sicurezza in materia di intelligenza artificiale. I ricercatori suggeriscono che le organizzazioni dovrebbero mantenere un inventario centralizzato di tutti gli agenti di intelligenza artificiale, utilizzando una distinta base ( AI BOM) per tracciarne l'origine e i componenti. L'implementazione di protezioni runtime e di una solida governance della sicurezza per tutti gli agenti di intelligenza artificiale è inoltre fondamentale per proteggersi dalle minacce in continua evoluzione.