Chiediamo a un assistente perché il cielo è blu e riceviamo una spiegazione corretta, ma nel frattempo il sistema esegue una richiesta non effettuata dall’utente verso un sito web esterno. È questo il fenomeno al centro del nuovo paper del CERT-AGID intitolato “La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP“.

L’esperimento mostra che è possibile insegnare a un modello un comportamento aggiuntivo che si attiva quando diventa disponibile uno specifico server MCP, anche se la domanda dell’utente non riguarda quello strumento.

Nella configurazione studiata, il modello ha generato la chiamata verso l’URL appreso soltanto in presenza del server previsto, producendo una richiesta HTTPS reale.

Il metodo non è specifico di Qwen. Un addestramento analogo può essere applicato ad altri modelli open-weight compatibili con il fine-tuning.

Il rischio nasce anche dall’incontro tra il modello e gli strumenti che gli vengono collegati nel tempo. Un comportamento appreso può restare inattivo durante le verifiche iniziali e manifestarsi quando l’ambiente cambia.

Uno scenario ipotetico

Uno scenario plausibile è una distribuzione in due tempi. Un soggetto pubblica sulla piattaforma Hugging Face un modello o un adapter utile per attività ordinarie, nel quale ha inserito anche un comportamento condizionale. Il server che lo attiva potrebbe non esistere ancora negli ambienti degli utenti. In seguito, viene distribuito un server MCP con il nome già previsto nell’addestramento, quando un’applicazione lo collega e ne comunica i metadati al modello, la condizione può essere soddisfatta senza aggiornare nuovamente i pesi.

Link alla ricerca (PDF): La backdoor attende il suo turno