Risposta rapida: i rischi principali dell’AI in azienda
I rischi principali quando si adotta l’AI in azienda riguardano quattro aree: dati (privacy, riservatezza, data leakage), sicurezza informatica (prompt injection, accessi non autorizzati), qualità e affidabilità (allucinazioni, bias, drift) e conformità normativa (GDPR, EU AI Act). Un’azienda riduce il rischio definendo casi d’uso ammessi, dati consentiti, criteri di accuratezza e un processo di approvazione e monitoraggio. Questa guida presenta i 7 rischi con impatto, segnali e azioni, un Risk Canvas da compilare in circa mezz’ora, contromisure operative e una checklist per ogni funzione aziendale.
Introduzione: perché i rischi dell’AI non sono “tecnici”, ma di business
Sempre più aziende italiane avviano progetti AI, e con loro arrivano incidenti tipici: un dipendente che incolla dati riservati in ChatGPT, un chatbot che inventa una policy inesistente, un modello di scoring che tratta dati personali senza una base giuridica. Il tema non è se l’AI sia utile: lo è. Il tema è che adottarla senza gestire i rischi espone l’azienda a incidenti prevedibili, che con poche regole si potevano evitare.
I rischi dell’AI non riguardano solo il reparto IT. Riguardano la direzione, perché toccano dati dei clienti, contratti, reputazione e responsabilità legale.
Il paradosso è questo: le aziende che non adottano l’AI rischiano di perdere competitività; quelle che la adottano senza governance rischiano danni reputazionali, sanzioni e perdite operative. La soluzione non è bloccare l’AI, ma adottarla con un framework di rischio che sia veloce, pratico e proporzionato.
Definizioni chiave
- AI generativa: sistemi che producono testo, immagini, codice o audio a partire da un prompt (es. ChatGPT, Claude, Copilot, Gemini). A differenza dell’AI predittiva classica, generano contenuto nuovo, il che introduce rischi specifici di accuratezza, copyright e manipolazione.
- Prompt injection: tecnica con cui un utente (o un attaccante) manipola il prompt per far eseguire al modello azioni non previste, per esempio estrarre dati riservati dal contesto, aggirare filtri di sicurezza o generare output dannosi.
- Drift (model drift / data drift): degradazione progressiva delle prestazioni di un modello AI nel tempo, causata dal cambiamento dei dati in ingresso o del contesto operativo. Senza monitoraggio, un modello accurato oggi può diventare inaffidabile nel giro di pochi mesi.
- High-stakes (decisione ad alto impatto): qualsiasi decisione che influisce su persone, denaro o sicurezza: assunzioni, credito, diagnosi, prezzi, conformità legale. L’EU AI Act classifica molti di questi usi come sistemi ad alto rischio, con obblighi specifici.
Questa guida è per C-Level, CISO, responsabili compliance e IT Director che devono rispondere a una domanda concreta: quali rischi corre l’azienda con l’AI e come gestirli senza bloccare i progetti? Presentiamo i 7 rischi principali con impatto, segnali e azioni, un Risk Canvas da compilare in circa mezz’ora, contromisure operative organizzate per funzione aziendale e una checklist per GDPR e EU AI Act.
I 7 rischi principali dell’AI in azienda
Ogni rischio è descritto con tre elementi: Impatto (cosa può succedere), Segnali (come riconoscerlo prima che diventi un incidente) e Azioni (cosa fare subito). Sono i problemi che emergono più spesso quando l’AI entra nei processi senza regole.
1. Rischio dati: fuga di informazioni riservate
Impatto: Un dipendente incolla dati di clienti, contratti, strategie commerciali o codice sorgente in un tool AI esterno. I dati escono dal perimetro aziendale, potenzialmente usati per addestrare modelli di terze parti. Conseguenze: violazione di NDA, violazione del GDPR con sanzioni fino al 4% del fatturato mondiale annuo, danno reputazionale.
Segnali: Uso non tracciato di tool AI personali (shadow AI), assenza di policy sui dati ammessi nei prompt, nessun DLP (Data Loss Prevention) sugli endpoint, dipendenti che usano account personali su piattaforme AI con email aziendale.
Azioni: Classificare i dati (pubblici, interni, riservati, strettamente riservati). Definire quali categorie possono entrare in un prompt AI. Implementare DLP sugli endpoint. Fornire un tool AI aziendale approvato con data retention controllata. Formazione obbligatoria per tutti i dipendenti.
2. Rischio compliance: violazione GDPR e EU AI Act
Impatto: Utilizzo di sistemi AI su dati personali senza base giuridica, mancata DPIA (Data Protection Impact Assessment), deployment di sistemi ad alto rischio senza i controlli richiesti dall’EU AI Act. Sanzioni AI Act: fino a 35 milioni di euro o il 7% del fatturato mondiale annuo per le pratiche vietate; fino a 15 milioni o il 3% per la maggior parte degli altri obblighi, compresi quelli sui sistemi ad alto rischio. Per le PMI vale il minore dei due importi.
Segnali: Nessun registro dei sistemi AI in uso, assenza di DPIA per trattamenti automatizzati, nessuna valutazione del livello di rischio AI Act, contratti con fornitori AI senza clausole su data retention e subprocessori.
Azioni: Creare un inventario di tutti i sistemi AI in uso (autorizzati e shadow). Classificare ogni sistema secondo i livelli di rischio dell’AI Act. Eseguire DPIA per trattamenti automatizzati su dati personali. Aggiornare i contratti con i fornitori AI. Nominare un responsabile AI governance.
3. Rischio sicurezza: prompt injection e accessi non autorizzati
Impatto: Un attaccante (o un utente interno) manipola i prompt per estrarre dati dal contesto del modello, bypassare filtri di sicurezza, o far eseguire azioni non previste. In sistemi con accesso a database o API, il rischio scala a data exfiltration ed esecuzione di comandi.
Segnali: Nessun input validation sui prompt utente, modello con accesso diretto a database o API senza sandboxing, assenza di rate limiting e logging delle interazioni, nessun penetration test specifico per AI.
Azioni: Implementare input validation e sanitization sui prompt. Applicare il principio del least privilege per gli accessi del modello. Sandboxare le azioni degli agenti AI. Rate limiting per utente e per sessione. Penetration test specifico per AI (prompt injection, jailbreak, data extraction). Logging completo delle interazioni.
Quando l’AI è usata contro l’azienda
L’AI è una tecnologia a doppio uso: la usa anche chi attacca. Email di phishing senza errori e costruite su misura per il destinatario, voci clonate che imitano un dirigente al telefono, video falsi in una videochiamata, richieste di cambio IBAN che sembrano arrivare da un fornitore vero. Il bersaglio tipico è chi autorizza pagamenti o modifica i dati di clienti e fornitori. Le contromisure sono soprattutto procedure:
- Verifica su un canale noto: ogni richiesta urgente o insolita di bonifico o di cambio delle coordinate bancarie si conferma richiamando un numero già presente in anagrafica, mai quello indicato nel messaggio
- Doppia approvazione per i pagamenti sopra una soglia decisa dall’azienda
- Formazione con esempi reali di phishing e di voci clonate per chi gestisce pagamenti, anagrafiche e accessi
- Misure di base prima degli strumenti avanzati: autenticazione a più fattori, aggiornamenti, backup verificati. L’Agenzia per la Cybersicurezza Nazionale (ACN) pubblica indicazioni per le PMI; gli strumenti di rilevamento basati su AI si valutano dopo, anche tramite un fornitore di sicurezza gestita
4. Rischio qualità: allucinazioni, errori e output inaffidabili
Impatto: Il modello genera informazioni false presentate come vere (allucinazioni), cita fonti inesistenti, produce output incompleti o fuorvianti. Se l’output viene usato senza verifica, le conseguenze vanno da errori operativi a danni legali (es. un chatbot che promette condizioni contrattuali inesistenti).
Segnali: Nessun sistema di eval (valutazione qualità) sugli output, assenza di RAG o RAG mal configurato (bassa groundedness), feedback degli utenti che segnalano risposte errate, nessun campionamento periodico degli output.
Azioni: Implementare RAG con citazioni verificabili. Eval settimanale con rubric (0-3) su accuratezza, completezza e tono. Campionamento statistico degli output (minimo 50 campioni/settimana per sistemi critici). Fallback a operatore umano quando la confidenza è sotto soglia. Feedback loop strutturato con gli utenti finali.
5. Rischio bias: discriminazione e decisioni inique
Impatto: Il modello riproduce o amplifica bias presenti nei dati di training, generando output discriminatori per genere, età, etnia, disabilità o provenienza geografica. In contesti HR, credito, sanità o assicurazioni, il bias diventa discriminazione con conseguenze legali e reputazionali gravi.
Segnali: Nessun audit sui dati di training, output sistematicamente diversi per gruppi demografici, assenza di metriche di fairness, nessuna supervisione umana sulle decisioni automatizzate ad alto impatto.
Azioni: Audit dei dati di training per rappresentatività e bias storici. Test di fairness sugli output (disparate impact analysis). Monitoraggio continuo delle metriche di equità in produzione. Human-in-the-loop obbligatorio per decisioni ad alto impatto su persone. Documentazione trasparente del processo decisionale.
6. Rischio operativo: dipendenza, vendor lock-in e continuità
Impatto: L’azienda diventa dipendente da un singolo fornitore AI (OpenAI, Google, Anthropic) senza piano di fallback. Un outage del provider blocca processi critici. Cambi di pricing, terms of service o deprecazione di modelli costringono a migrazioni forzate. Il drift del modello degrada la qualità senza che nessuno se ne accorga.
Segnali: Un solo fornitore AI per tutti i processi critici, nessun SLA contrattualizzato con il provider, assenza di monitoring delle performance nel tempo, nessun piano di disaster recovery specifico per i sistemi AI.
Azioni: Architettura multi-provider con abstraction layer. SLA contrattualizzati con penali. Monitoring continuo delle performance (latenza, accuratezza, disponibilità). Piano di fallback documentato per ogni sistema AI critico. Budget e tempi stimati per una migrazione in caso di cambio di fornitore.
7. Rischio governance: assenza di responsabilità e controllo
Impatto: Nessuno è responsabile dei sistemi AI in azienda. Le decisioni di adozione sono frammentate tra business unit. Non esiste un inventario degli use case, nessuna policy, nessun processo di approvazione. Il risultato è shadow AI diffusa, rischi non mappati e incapacità di rispondere alle autorità di regolamentazione.
Segnali: Nessun ruolo dedicato alla governance AI, assenza di inventario dei sistemi AI in uso, nessuna policy sull’uso accettabile dell’AI, decisioni di adozione prese a livello di singolo team senza coordinamento, nessun reporting al board sui rischi AI.
Azioni: Nominare un AI Governance Lead (o comitato). Creare e mantenere un inventario di tutti i sistemi AI. Definire una AI Acceptable Use Policy. Implementare un processo di intake e approvazione use case. Reporting trimestrale al board su rischi, incidenti e compliance.
Mappa sintetica dei 7 rischi
| # | Rischio | Area | Impatto massimo | Azione prioritaria |
|---|---|---|---|---|
| 1 | Dati | Privacy / Riservatezza | Sanzione GDPR, danno reputazionale | Classificazione dati + DLP |
| 2 | Compliance | Normativo | Sanzioni AI Act fino al 3% del fatturato (7% per le pratiche vietate) | Inventario AI + classificazione rischio |
| 3 | Sicurezza | Cybersecurity | Data exfiltration, azioni non autorizzate | Input validation + pen test AI |
| 4 | Qualità | Affidabilità | Errori operativi, danni legali | Eval + RAG con citazioni |
| 5 | Bias | Equità | Discriminazione, azioni legali | Fairness audit + HITL |
| 6 | Operativo | Continuità | Blocco processi, migrazione forzata | Multi-provider + SLA + fallback |
| 7 | Governance | Organizzativo | Shadow AI, non conformità | AI Governance Lead + inventario |
Risk Canvas Niuexa: valutare i rischi in mezz’ora
Il Risk Canvas Niuexa è uno strumento pratico per valutare il profilo di rischio di un progetto AI in circa mezz’ora, con le persone che conoscono il processo. Non è un documento di 50 pagine: è un esercizio in 4 step che produce una scheda decisionale con le azioni prioritarie.
Step 1: classificare il caso d’uso (circa 5 minuti)
Ogni progetto AI va classificato secondo il livello di rischio. La classificazione determina i controlli richiesti.
| Livello | Descrizione | Esempi | Controlli richiesti |
|---|---|---|---|
| Basso | Output interno, nessun impatto su persone o denaro | Sintesi meeting, brainstorming, ricerca interna | Policy awareness, logging base |
| Medio | Output verso clienti o che influenza decisioni operative | Chatbot cliente, classificazione ticket, copilota CRM | RAG, eval settimanale, human escalation, audit trail |
| Alto | Decisioni su persone, denaro o sicurezza | Screening CV, credit scoring, pricing, diagnostica | HITL obbligatorio, fairness audit, DPIA, pen test, compliance AI Act |
| Inaccettabile | Vietato dall’EU AI Act | Social scoring, manipolazione subliminale, sorveglianza biometrica | Stop: non implementare |
Step 2: mappare i dati coinvolti (circa 10 minuti)
Per ogni progetto AI, compilare la mappa dati con queste domande:
| Domanda | Risposta attesa | Rischio se mancante |
|---|---|---|
| Quali dati entrano nel sistema AI? | Lista dei dataset con classificazione (pubblici, interni, riservati, PII) | Data leakage, violazione GDPR |
| I dati contengono PII (dati personali)? | Sì/No + tipologia (nome, email, indirizzo, dati sanitari, finanziari) | Obbligo DPIA, base giuridica GDPR |
| Dove vengono processati i dati? | Cloud EU / US / on-premise + provider specifico | Trasferimento dati extra-UE, Schrems II |
| Il fornitore AI usa i dati per training? | Sì/No + clausola contrattuale specifica | Perdita riservatezza, proprietà intellettuale |
| Quanto tempo vengono conservati i dati? | Retention policy specifica con durata e procedura di cancellazione | Violazione principio di minimizzazione GDPR |
Step 3: misurare l’impatto (circa 10 minuti)
Per ogni rischio dei 7 identificati, assegnare un punteggio di impatto e probabilità:
| Rischio | Probabilità (1-3) | Impatto (1-3) | Score (P × I) | Priorità |
|---|---|---|---|---|
| 1. Dati | ___ | ___ | ___ | ___ |
| 2. Compliance | ___ | ___ | ___ | ___ |
| 3. Sicurezza | ___ | ___ | ___ | ___ |
| 4. Qualità | ___ | ___ | ___ | ___ |
| 5. Bias | ___ | ___ | ___ | ___ |
| 6. Operativo | ___ | ___ | ___ | ___ |
| 7. Governance | ___ | ___ | ___ | ___ |
Scala: 1 = basso, 2 = medio, 3 = alto. Priorità: Score 6-9 = critico (azione immediata), 3-5 = significativo (azione entro 30 giorni), 1-2 = monitorare.
Step 4: definire i controlli minimi (circa 5 minuti)
Per ogni rischio con priorità critica o significativa, definire almeno un controllo operativo:
| Rischio | Controllo minimo | Responsabile | Deadline |
|---|---|---|---|
| Dati | DLP attivo + classificazione dati completata | CISO | Prima del go-live |
| Compliance | DPIA completata + classificazione AI Act | DPO / Legal | Prima del go-live |
| Sicurezza | Pen test AI completato + input validation | Security team | Prima del go-live |
| Qualità | Eval baseline + soglia di accuratezza definita | QA / Product Owner | Fase pilot |
| Bias | Fairness test su gruppi demografici | Data Science + HR/Legal | Fase pilot |
| Operativo | SLA contrattualizzato + piano fallback documentato | CTO / Vendor management | Prima del contratto |
| Governance | AI Governance Lead nominato + inventario AI aggiornato | C-Level | Entro 30 giorni |
Output del Risk Canvas
Alla fine dell’esercizio si ottengono: la classificazione del livello di rischio del progetto, la mappa dei dati coinvolti con gap identificati, la scorecard con priorità per ogni rischio, e la lista dei controlli minimi con responsabili e deadline. Questo documento diventa l’allegato obbligatorio di ogni business case AI e viene aggiornato a ogni milestone del progetto.
Contromisure pratiche: policy, governance, sicurezza e qualità
I rischi senza contromisure sono solo una lista di preoccupazioni. Questa sezione presenta le contromisure operative organizzate in quattro pilastri: policy, governance, sicurezza e qualità.
Pilastro 1: AI Acceptable Use Policy
La policy di uso accettabile è il primo controllo di governance. Deve essere breve (massimo 2 pagine), chiara e applicabile. Ecco la struttura minima:
Sezione 1: ambito e definizioni
Cosa copre: tutti i sistemi AI usati in azienda (autorizzati e non), tutti i dipendenti, collaboratori e fornitori.
Definizioni: AI generativa, dati ammessi, dati vietati, uso autorizzato, uso non autorizzato.
Sezione 2: regole operative
Dati ammessi: dati pubblici e dati interni non classificati. Dati vietati: PII, dati finanziari riservati, segreti industriali, dati sanitari, dati classificati.
Eccezione: uso consentito con tool aziendale approvato e classificazione dati verificata.
Sezione 3: responsabilità
L’utente è responsabile dell’output generato e del suo utilizzo. L’AI non sostituisce il giudizio professionale. Output usati in comunicazioni esterne devono essere verificati e approvati.
Sezione 4: segnalazione e sanzioni
Segnalazione: canale dedicato per output problematici, incidenti e dubbi. Sanzioni: proporzionate alla gravità, allineate al codice disciplinare esistente.
Pilastro 2: governance RACI
La governance funziona solo se ogni attività ha un responsabile chiaro. Il modello RACI (Responsible, Accountable, Consulted, Informed) applicato all’AI governance:
| Attività | R (Responsible) | A (Accountable) | C (Consulted) | I (Informed) |
|---|---|---|---|---|
| Inventario sistemi AI | AI Governance Lead | CTO | Business Unit | Board |
| Approvazione use case | AI Governance Lead | Business Owner | CISO, Legal, DPO | IT, HR |
| Classificazione rischio | CISO | AI Governance Lead | Legal, DPO | Business Owner |
| Policy AI e aggiornamento | Legal | CHRO / COO | CISO, AI Governance Lead | Tutti i dipendenti |
| Monitoring e incident | Security team | CISO | AI Governance Lead | Board (trimestrale) |
| Eval qualità output | QA / Product Owner | Business Owner | Data Science | AI Governance Lead |
Pilastro 3: sicurezza tecnica
I controlli di sicurezza tecnica devono essere proporzionati al livello di rischio del progetto:
| Controllo | Rischio Basso | Rischio Medio | Rischio Alto |
|---|---|---|---|
| Input validation | Base (lunghezza, formato) | Avanzata (pattern detection) | Completa (AI-based filtering) |
| DLP (Data Loss Prevention) | Opzionale | Attivo sui prompt | Attivo + blocco automatico |
| Logging | Accessi e errori | Interazioni complete | Interazioni + audit trail immutabile |
| Access control | Autenticazione base | RBAC (Role-Based) | RBAC + MFA + least privilege |
| Penetration test | Non richiesto | Annuale | Prima del go-live + semestrale |
| Encryption | In transit (TLS) | In transit + at rest | In transit + at rest + in use (TEE) |
Pilastro 4: qualità, test e gestione incidenti
La qualità degli output AI non è un evento singolo ma un processo continuo. Ecco il framework di qualità operativa:
Eval continua
Frequenza: settimanale per sistemi critici, mensile per sistemi a basso rischio.
Metodo: campionamento statistico + rubric (0-3) su accuratezza, completezza, tono, groundedness.
Soglie: media ≥ 2.2 per continuare, < 1.8 trigger di revisione, < 1.5 sospensione.
Test pre-deployment
Golden dataset: set di 100+ domande/risposte validate per ogni use case, eseguito prima di ogni deploy.
Regression test: verifica che aggiornamenti al modello o ai prompt non degradino le risposte esistenti.
Adversarial test: prompt injection, jailbreak, edge case per verificare la robustezza.
Incident management AI
Classificazione: P1 (output dannoso a cliente/utente), P2 (output errato rilevato internamente), P3 (degradazione qualità).
Risposta: P1 entro 1 ora (kill switch se necessario), P2 entro 24 ore, P3 entro 1 settimana.
Post-mortem: obbligatorio per P1, con root cause analysis e azioni correttive documentate.
La regola del campionamento
Non serve valutare ogni singolo output. Anche per un sistema con molte interazioni al giorno, un campione settimanale stratificato per tipo di richiesta e fascia oraria (per esempio 50 interazioni) basta per accorgersi presto di un peggioramento. Se il campione supera la soglia di errore concordata, si allarga il campione e si cerca la causa.
AI Act e GDPR: chi risponde di cosa
Molti rischi di conformità nascono da un equivoco: pensare che gli obblighi siano tutti del fornitore della tecnologia. L’AI Act distingue invece ruoli diversi, e la maggior parte delle aziende che adottano l’AI ricade in quello di utilizzatore (deployer).
Fornitore o utilizzatore: i ruoli dell’AI Act
| Ruolo | Chi è | Obblighi principali per i sistemi ad alto rischio |
|---|---|---|
| Fornitore (provider) | Chi sviluppa il sistema AI o lo immette sul mercato con il proprio nome | Conformità del sistema, gestione del rischio, documentazione tecnica, monitoraggio dopo l’immissione sul mercato |
| Utilizzatore (deployer) | L’azienda che usa il sistema sotto la propria autorità, per esempio per selezionare personale o valutare clienti | Uso conforme alle istruzioni, supervisione umana affidata a persone competenti, controllo dei dati in ingresso, conservazione dei log (almeno sei mesi), informazione dei lavoratori e delle persone interessate, segnalazione degli incidenti gravi |
| Importatore e distributore | Chi porta nell’UE o rivende il sistema di un fornitore | Verifica che il sistema sia conforme prima di metterlo a disposizione |
Quando l’utilizzatore diventa fornitore
Un’azienda che mette il proprio nome su un sistema ad alto rischio, lo modifica in modo sostanziale o lo usa per una finalità ad alto rischio diversa da quella prevista assume gli obblighi del fornitore. Succede più spesso di quanto si pensi, per esempio adattando un modello generico allo screening dei CV.
Obblighi di trasparenza anche fuori dall’alto rischio
Alcuni obblighi valgono anche per sistemi che non sono ad alto rischio. Chi parla con un chatbot deve sapere che sta interagendo con un sistema AI, salvo che sia evidente dal contesto; immagini, audio e video generati o manipolati che possono sembrare autentici (deepfake) vanno dichiarati come tali. Per un servizio clienti basta un avviso chiaro all’inizio della conversazione, come nell’esempio più avanti.
Decisioni su persone: spiegare e permettere di contestare
Il GDPR dà alle persone il diritto di non essere sottoposte a decisioni basate unicamente su un trattamento automatizzato che producono effetti giuridici o incidono in modo analogo e significativo su di loro, salvo le eccezioni previste dall’articolo 22. Quando la decisione automatizzata è ammessa, la persona ha diritto all’intervento di un essere umano, a esprimere la propria opinione e a contestare la decisione, e può ottenere informazioni significative sulla logica utilizzata. In Italia la Legge 132/2025 sull’intelligenza artificiale, in vigore dal 10 ottobre 2025, obbliga inoltre il datore di lavoro a informare i lavoratori quando usa sistemi di AI, nei casi previsti dal decreto trasparenza (d.lgs. 152/1997), e indica AgID e ACN come autorità nazionali per l’AI.
Due avvertenze pratiche:
- La supervisione umana deve essere reale: chi rivede le decisioni del sistema deve avere competenza, tempo, strumenti e autorità per cambiarle. Una firma messa per abitudine su ogni proposta dell’AI non è supervisione
- La definizione di equità è una scelta, non un calcolo: le metriche di equità più usate (stessa quota di esiti positivi tra gruppi, stessi tassi di errore, stessa calibrazione) in generale non si possono soddisfare tutte insieme. Quale adottare lo decidono direzione, legale e HR, non solo il team tecnico
Sette domande prima di affidare all’AI una decisione su persone
- I dati di addestramento o di riferimento rappresentano tutte le persone su cui il sistema deciderà?
- Il sistema è stato provato separatamente sui diversi gruppi (genere, età, provenienza)?
- Le decisioni si possono spiegare in modo comprensibile a chi le riceve?
- Chi supervisiona ha competenza, tempo e autorità per cambiare l’esito?
- Le persone interessate sono informate dell’uso dell’AI?
- Esiste una procedura per contestare una decisione e ottenere una valutazione umana?
- Prestazioni ed equità sono monitorate nel tempo, per accorgersi di un peggioramento?
Nota di settore: credito, assicurazioni e antiriciclaggio
Nell’allegato III dell’AI Act sono ad alto rischio i sistemi che valutano l’affidabilità creditizia delle persone fisiche o ne stabiliscono il punteggio di credito, e quelli usati per valutare il rischio e fissare il prezzo delle assicurazioni vita e malattia delle persone fisiche. I sistemi usati per individuare frodi finanziarie sono espressamente esclusi dalla voce sul credito. Ne seguono tre conseguenze pratiche:
- Lo scoring di clienti che sono persone fisiche, comprese ditte individuali e professionisti, ricade nell’alto rischio; quello di clienti società, in generale, no. GDPR e regole di settore valgono in entrambi i casi
- Un modello antifrode o di monitoraggio delle transazioni non è ad alto rischio per questa voce, ma tratta dati personali e richiede le stesse cautele su qualità dei dati, spiegabilità e controllo umano
- Nell’antiriciclaggio l’AI può segnalare operazioni anomale; la valutazione e l’eventuale segnalazione di operazione sospetta restano una responsabilità del soggetto obbligato e delle persone che ne rispondono (in Italia, d.lgs. 231/2007)
Esempi per funzione aziendale: rischi, controlli e decisioni go/no-go
I rischi dell’AI variano per funzione aziendale. Ecco quattro scenari concreti con rischi specifici, controlli da implementare e criteri go/no-go.
Customer Service: chatbot AI per supporto clienti
Scenario
Chatbot AI con RAG su knowledge base aziendale per rispondere alle domande dei clienti (FAQ, stato ordini, policy resi).
Rischi specifici
- Allucinazioni: il chatbot inventa policy inesistenti o promette condizioni non previste dal contratto
- Data leakage: il cliente inserisce dati personali nel chatbot che vengono inviati a un provider esterno
- Bias linguistico: risposte di qualità inferiore per clienti che usano dialetti regionali o italiano non nativo
Controlli
- RAG con citazioni obbligatorie (ogni risposta deve citare il documento fonte)
- Passaggio automatico a un operatore quando la confidenza scende sotto una soglia concordata (per esempio 70%)
- DLP sui messaggi del cliente per bloccare l’invio di dati sensibili al provider
- Eval settimanale su 50 conversazioni campionate
- Avviso visibile: “Sta parlando con un assistente AI. Per questioni complesse può chiedere di parlare con un operatore.”
Go/No-go
GO se: RAG configurato con citazioni, eval baseline ≥ 2.2, escalation funzionante, DLP attivo, disclaimer presente. NO-GO se: nessun RAG (risposte generiche), nessuna escalation, dati clienti inviati a provider senza DLP.
Marketing: AI generativa per contenuti e campagne
Scenario
Utilizzo di AI generativa per creare bozze di contenuti marketing (blog, social, email), generare varianti di copy per A/B test e personalizzare messaggi per segmenti di clienti.
Rischi specifici
- Copyright: il modello genera contenuti che replicano testi protetti da copyright (articoli, slogan, immagini)
- Brand safety: output non allineati al tono di voce aziendale, claim non verificati, contenuti inappropriati
- Compliance pubblicitaria: claim che violano normative sulla pubblicità (es. promesse di risultati non dimostrabili)
Controlli
- Revisione umana obbligatoria su tutti i contenuti prima della pubblicazione
- Brand guidelines caricate come contesto nel sistema AI (RAG con tone of voice)
- Checklist compliance prima della pubblicazione (claim verificabili, disclaimer necessari)
- Tool di plagiarism check sugli output generati
- Registro dei contenuti generati con AI con data, prompt e revisore
Go/No-go
GO se: revisione umana obbligatoria, brand guidelines nel contesto, checklist compliance attiva. NO-GO se: pubblicazione automatica senza revisione umana, nessun controllo di brand safety.
HR: AI per screening CV e selezione
Scenario
Sistema AI per pre-screening dei CV, scoring dei candidati e suggerimento di shortlist per i recruiter.
Rischi specifici
- Bias discriminatorio: il modello penalizza candidati per genere, età, etnia, università, gap lavorativi (es. maternità)
- GDPR e AI Act (alto rischio): screening CV rientra nei sistemi ad alto rischio dell’AI Act con obblighi specifici di documentazione, audit e supervisione umana
- Trasparenza: obbligo di informare i candidati che un sistema AI partecipa al processo di selezione
Controlli
- Human-in-the-loop obbligatorio: l’AI suggerisce, il recruiter decide
- Fairness audit trimestrale: disparate impact analysis per genere, età, etnia
- DPIA obbligatoria prima dell’attivazione
- Informativa ai candidati sull’uso dell’AI nel processo di selezione
- Diritto di opposizione: il candidato può richiedere una valutazione esclusivamente umana
- Documentazione completa per conformità AI Act (risk management, governance dati, accuratezza)
Go/No-go
GO se: HITL obbligatorio, fairness audit completato, DPIA approvata, informativa ai candidati, documentazione AI Act. NO-GO se: decisione automatizzata senza supervisione umana, nessun fairness audit, nessuna DPIA.
Finance: AI per analisi finanziaria e reporting
Scenario
AI per sintesi di report finanziari, estrazione di KPI da documenti, generazione di bozze di analisi e previsioni basate su dati storici.
Rischi specifici
- Accuratezza numerica: i modelli AI generativi possono inventare numeri o sbagliare i calcoli, e un errore in un report finanziario ha conseguenze gravi
- Riservatezza: dati finanziari riservati (bilanci pre-approvazione, strategie M&A, pricing) inviati a provider esterni
- Compliance regolamentare: report generati con AI che non rispettano standard contabili o normativi (IFRS, regolamentazioni di settore)
Controlli
- Verifica umana obbligatoria su tutti i numeri e calcoli generati dall’AI
- Ambiente segregato: dati finanziari riservati processati solo su tool AI on-premise o con contratto enterprise con data isolation
- Dual control: ogni report generato con AI deve essere verificato da un secondo professionista
- Watermark o disclaimer su documenti generati con supporto AI
- Audit trail completo di ogni interazione AI con dati finanziari
Go/No-go
GO se: verifica umana obbligatoria, ambiente segregato per dati riservati, dual control attivo, audit trail completo. NO-GO se: output finanziario usato senza verifica umana, dati riservati inviati a provider senza data isolation.
Domande frequenti: rischi dell’AI in azienda
Quali sono i rischi principali quando implemento l’AI in azienda?
I rischi riguardano quattro aree: dati (privacy e riservatezza), sicurezza informatica (prompt injection, accessi non autorizzati), qualità e affidabilità dei risultati (allucinazioni, bias, drift) e conformità normativa (GDPR, EU AI Act). Un’azienda riduce il rischio definendo casi d’uso ammessi, dati consentiti, criteri di accuratezza e un processo di approvazione e monitoraggio. Il Risk Canvas Niuexa aiuta a mappare e ordinare per priorità questi rischi in circa mezz’ora.
Quali rischi corro se i dipendenti usano ChatGPT al lavoro?
Il rischio principale è la fuoriuscita di dati: un dipendente può incollare informazioni su clienti, contratti o strategie in uno strumento esterno che potenzialmente usa quei dati per l’addestramento. Si aggiungono rischi di violazione del copyright (output che replicano contenuti protetti), contenuti non conformi alle policy aziendali e decisioni basate su output non affidabili (allucinazioni). La contromisura è fornire uno strumento aziendale approvato con DLP, una policy chiara e formazione per tutti.
Come posso ridurre i rischi di sicurezza e privacy nell’uso dell’AI?
Con tre principi: data minimization (usare solo i dati strettamente necessari), controllo degli accessi (ruoli e permessi con il minimo privilegio) e monitoraggio (log di tutte le interazioni e DLP per bloccare dati sensibili nei prompt). Per sistemi a rischio medio o alto si aggiungono penetration test specifici per l’AI, cifratura dei dati a riposo e in transito e un audit trail immutabile.
EU AI Act: quali sono i rischi e gli obblighi per un’azienda?
Il rischio principale è usare un sistema ad alto rischio (per esempio screening dei CV, credit scoring, diagnostica) senza i controlli richiesti. Gli obblighi per i sistemi ad alto rischio riguardano gestione del rischio documentata, governance dei dati, documentazione tecnica completa, supervisione umana, requisiti di accuratezza e robustezza, cybersecurity. Per questi obblighi le sanzioni arrivano fino a 15 milioni di euro o al 3% del fatturato mondiale annuo (per le PMI vale il minore dei due importi); il tetto di 35 milioni o del 7% riguarda le pratiche vietate. Con il Regolamento (UE) 2026/1744, gli obblighi per i sistemi ad alto rischio dell’allegato III si applicano dal 2 dicembre 2027.
Chi risponde se un sistema AI sbaglia: il fornitore o l’azienda che lo usa?
Dipende dal ruolo. Per l’AI Act il fornitore risponde della conformità del sistema; l’azienda che lo usa (utilizzatore o deployer) risponde di come lo usa: istruzioni rispettate, supervisione umana competente, log conservati, persone informate. Se l’azienda mette il proprio nome sul sistema, lo modifica in modo sostanziale o lo usa per una finalità ad alto rischio non prevista, assume gli obblighi del fornitore. Per il GDPR, inoltre, verso clienti e dipendenti risponde l’azienda come titolare del trattamento.
Credit scoring e antifrode con AI sono ad alto rischio per l’AI Act?
Il credit scoring delle persone fisiche sì: l’allegato III dell’AI Act lo classifica ad alto rischio, insieme alla valutazione del rischio e del prezzo nelle assicurazioni vita e malattia. I sistemi usati per individuare frodi finanziarie sono invece esclusi da quella voce. Restano in ogni caso il GDPR, le regole di settore e, nell’antiriciclaggio, la responsabilità del soggetto obbligato sulle segnalazioni.
Come si protegge un’azienda da phishing e deepfake generati con l’AI?
Con procedure prima che con strumenti: ogni richiesta urgente di bonifico o di cambio IBAN si verifica richiamando un numero già in anagrafica, i pagamenti sopra una soglia richiedono una doppia approvazione, le persone che autorizzano pagamenti e modificano anagrafiche vengono formate con esempi reali. Le misure di base (autenticazione a più fattori, aggiornamenti, backup verificati) vengono prima degli strumenti di rilevamento basati su AI.
AI governance: da dove iniziare?
Da tre elementi: un inventario di tutti i casi d’uso AI in azienda (autorizzati e non), una policy con ruoli chiari (chi approva, chi controlla, chi risponde) e controlli operativi di qualità e sicurezza (valutazioni periodiche, DLP, logging). Occorre stabilire chi approva i nuovi casi d’uso, quali dati sono ammessi nei sistemi AI e quali indicatori di controllo monitorare. Una persona dedicata alla governance AI, anche part-time, rende tutto più rapido.
Serve sempre un human-in-the-loop?
Sì quando l’output cambia una decisione su persone (assunzioni, licenziamenti, valutazioni), denaro (prezzi, credito, investimenti) o sicurezza (diagnosi, controllo accessi, gestione incidenti). No per attività a basso impatto, dove bastano controlli automatici e un campionamento periodico (per esempio sintesi interne, brainstorming, classificazioni non critiche). La regola: soglie di confidenza e revisione umana obbligatoria sopra un certo livello di criticità dell’output.
Conclusione: 5 punti per gestire i rischi dell’AI in azienda
Adottare l’AI senza un framework di rischio non è innovazione, è azzardo. Ma bloccare l’AI per paura dei rischi non è prudenza, è autoesclusione. La strada giusta è nel mezzo: adozione consapevole con controlli proporzionati. Ecco i 5 punti operativi:
- Mappare i rischi prima di partire: con il Risk Canvas Niuexa si classifica il caso d’uso, si mappano i dati, si misura l’impatto e si definiscono i controlli minimi in mezz’ora, non in un mese
- I rischi sono di business, non solo di IT: data leakage, compliance, bias e qualità degli output hanno impatto su fatturato, reputazione e responsabilità legale, quindi la direzione deve essere coinvolta
- Governance leggera ma obbligatoria: AI Acceptable Use Policy, inventario dei sistemi AI, processo di approvazione use case, ruoli RACI chiari. Se la governance è più complicata della shadow AI, ha già fallito
- Controlli proporzionati al rischio: un chatbot interno e un sistema di credit scoring non richiedono gli stessi controlli: la classificazione basso, medio, alto serve a calibrare gli investimenti in sicurezza
- Monitorare, non solo implementare: l’eval continua, il campionamento degli output, il monitoring delle performance e il reporting al board sono la differenza tra un progetto AI che funziona e uno che diventa un incidente
Il rischio più grande non è adottare l’AI, ma adottarla senza sapere quali rischi si stanno accettando. Chi li mappa può gestirli.
Ci mostri un processo
Se sta valutando un progetto AI o ne ha già alcuni in uso, in una prima chiamata di 30 minuti, gratuita, guardiamo insieme un processo e i rischi che comporta. Se serve un lavoro più ampio, perimetro e costo si definiscono in un preventivo scritto, dopo l’analisi.
Prenoti la prima chiamata