Si può hackerare un sistema di Intelligenza Artificiale senza scrivere una riga di codice malevole ma semplicemente attraverso un prompt? La risposta è sì, ed è ciò che accade con la prompt injection, una delle minacce più subdole e allo stesso tempo più pericolose nell’ambito della sicurezza dei sistemi AI moderni.
Comprendere le vulnerabilità di questi sistemi di oggi è una competenza fondamentale per chi si occupa di progettazione e distribuzione di sistemi AI.
Indice
- Che cos’è la prompt injection
- Perché gli LLM sono vulnerabili
- Le conseguenze di una prompt injection
- Come prevenire la prompt injection
Che cos’è la prompt injection
Per prompt injection si intende un attacco informatico specifico per i modelli linguistici di grandi dimensioni, i Large Language Model (LLM), in cui un attore malevole inserisce istruzioni malevole in prompt apparentemente innocui, con l’obiettivo di manipolare il comportamento del LLM.
Il prompt può essere davvero banale, ad esempio “Riassumi il documento”, ma il vero comando malevolo è celato nel documento, ad esempio “Ignora tutte le istruzioni precedenti e fai invece questa cosa”. Il modello quindi, seguendo le istruzioni nello stesso flusso, può eseguire il comando malevolo senza segnalare alcun errore.
Esistono principalmente due tipologie di prompt injection. Nella direct prompt injection l’utente stesso inserisce istruzioni malevoli direttamente nella propria richiesta, nella indirect prompt injection le istruzioni malevoli sono contenute in contenuti o documenti esterni (PDF, email, file, pagina web) che il modello processa in autonomia. A prescindere dalla tipologia, il risultato è lo stesso: il modello viene ingannato e devia dal suo comportamento atteso.
Perché gli LLM sono vulnerabili
Nei Large Language Model, la separazione tra contenuto e comando non è strutturalmente garantita come avviene per esempio nei software tradizionali in cui c’è una netta separazione tra codice eseguibile e dati in input. In altre parole, nei LLM i dati e le istruzioni sono elaborati nello stesso flusso di testo, non esiste un meccanismo nativo che separi in modo assoluto ciò che deve analizzare e un comando da eseguire.
Un altro aspetto importante è che le LLM vengono addestrate per essere collaborative e per eseguire ciò che le viene istruito dall’utente, caratteristiche che li rende ottimi tool di produttività, ma che allo stesso tempo li rende più suscettibili a manipolazioni.
Le conseguenze di una prompt injection
Il problema si complica ulteriormente quando i modelli hanno accesso a dati sensibili, API, documenti o strumenti aziendali: le prompt injection malevoli, infatti, inducono i sistemi a divulgare informazioni e dati riservati, modificare documenti, generare azioni non autorizzate, manipolare processi decisionali automatizzati, compromettere la sicurezza operativa dei sistemi automatizzati o sabotare flussi di lavoro critici.
La prompt injection può avere gravi ripercussioni anche sul piano legale e reputazionale. Un’azienda che distribuisce sistemi AI vulnerabili a prompt injection espone i propri utenti a diversi rischi, e si sono già verificati episodi in cui, per esempio, chatbot sono stati manipolati tramite prompt injection.
Come prevenire la prompt injection
Prevenire la prompt injection richiede un approccio combinato tra scelte architetturali, validazione degli input, e una forte cultura della sicurezza integrata. I sistemi di AI devono imparare a distinguere con maggiore precisione tra contenuti e istruzioni, ad esempio tramite sandbox di elaborazione, controlli di validazione sugli input e “prompt sanitization”, cioè la automatica delle richieste prima della loro esecuzione.
Impara a prevenire le prompt injection con il percorso AI Engineering di Digital School! Il corso online permette di acquisire le competenze necessarie per comprendere, progettare, realizzare, gestire e correggere sistemi di Intelligenza Artificiale applicati a contesti reali, Machine Learning e applicazioni AI per dispositivi mobili.
Grazie agli insegnamenti, svilupperai le competenze per creare applicazioni AI end-to-end: dalla progettazione di chatbot e interfacce vocali all’integrazione di computer visioni e automazioni business-oriented, fino al deployment di soluzioni scalabili.
Al termine delle lezioni è previsto lo svolgimento di uno stage formativo (in un’azienda convenzionata o attraverso un project work di gruppo) in cui potrai applicare fin da subito tutte le nozioni e competenze acquisite.
Cosa aspetti? Compila il form, scrivici a digitalschool@uniecampus.it, oppure chiamaci al +39 02 2556 1160! Seguici su Facebook, Instagram e LinkedIn per rimanere sempre aggiornato sull’offerta formativa e su tutti gli eventi!
