Salta al contenuto principale

06 - Compliance toolkit: audit AI sistemi enterprise

Un kit minimo per l'audit dei sistemi di IA: scheda obbligo-evidenza, registro con catena di hash e misura di disparità, con i limiti di ciascuno.

Cosa ne pensi di questo articolo?

06 - Compliance toolkit: audit AI sistemi enterprise
AI Policy EUFoto:Pavel DanilyukPexels

In Breve

Un kit minimo per l'audit dei sistemi di IA: scheda obbligo-evidenza, registro con catena di hash e misura di disparità, con i limiti di ciascuno.

Un audit risponde a una domanda: con quale prova dimostri ciascun obbligo?

Dire "il mio sistema è conforme" non basta. L'articolo 16, lettera k, dell'AI Act obbliga il fornitore di un sistema ad alto rischio, su richiesta motivata di un'autorità nazionale competente, a dimostrare la conformità ai requisiti della sezione 2 del capo III; il GDPR, con la responsabilizzazione dell'articolo 5, paragrafo 2, chiede lo stesso per i dati personali. Un audit, interno o di terzi, è il modo di costruire in anticipo le prove: per ogni obbligo, un documento o un'evidenza tecnica che si può mostrare.

Questo articolo non presenta un prodotto. Costruisce un kit minimo di tre programmi che puoi eseguire e adattare: una scheda obbligo-evidenza che si può trasformare in un controllo di pipeline, un registro degli eventi con catena di hash che rende visibile una manomissione, e un calcolo di disparità fra gruppi. Poi dice che cosa fanno e non fanno strumenti open source esistenti. È l'ultimo articolo della serie: i requisiti vengono da quelli precedenti, in particolare dal primo sull'alto rischio e dal quinto sui dati personali.

Dalla norma alla scheda delle evidenze

I requisiti degli articoli da 9 a 15 sono sette, e ciascuno si traduce in un artefatto che un auditor può chiedere: il sistema di gestione dei rischi documentato (articolo 9), la governance dei dati (10), la documentazione tecnica (11), la registrazione automatica degli eventi (12), le istruzioni per l'uso per i deployer (13), le misure di sorveglianza umana (14), i risultati su accuratezza, robustezza e cibersicurezza (15). Il listato mette in una tabella gli articoli, l'obbligo in parole e il percorso del file che lo prova, poi controlla quali file esistono.

"""Scheda obblighi -> evidenza. L'elenco e' un esempio per un sistema dell'allegato III;
gli articoli sono quelli del regolamento (UE) 2024/1689, testo consolidato del 27.7.2026."""
OBBLIGHI = [
    ("art. 9",  "sistema di gestione dei rischi documentato", "docs/rischi.md"),
    ("art. 10", "esame delle distorsioni sui dati",           "docs/dati.md"),
    ("art. 11", "documentazione tecnica",                      "docs/fascicolo.md"),
    ("art. 12", "registrazione automatica degli eventi",       "log/registro.jsonl"),
    ("art. 13", "istruzioni per l'uso per i deployer",         "docs/istruzioni.md"),
    ("art. 14", "sorveglianza umana",                          "docs/sorveglianza.md"),
    ("art. 15", "accuratezza, robustezza, cibersicurezza",     "docs/prove.md"),
]
PRESENTI = {"docs/rischi.md", "docs/dati.md", "log/registro.jsonl", "docs/prove.md"}

mancanti = 0
for articolo, obbligo, prova in OBBLIGHI:
    ok = prova in PRESENTI
    mancanti += not ok
    print(f"{'OK  ' if ok else 'MANCA'} {articolo:<8} {obbligo:<45} {prova}")
print(f"{mancanti} evidenze mancanti su {len(OBBLIGHI)}")
raise SystemExit(1 if mancanti else 0)   # una pipeline di CI si ferma se manca un'evidenza

# Output (python3 -I, Python 3.14.4):
# OK   art. 9   sistema di gestione dei rischi documentato    docs/rischi.md
# OK   art. 10  esame delle distorsioni sui dati              docs/dati.md
# MANCA art. 11  documentazione tecnica                        docs/fascicolo.md
# OK   art. 12  registrazione automatica degli eventi         log/registro.jsonl
# MANCA art. 13  istruzioni per l'uso per i deployer           docs/istruzioni.md
# MANCA art. 14  sorveglianza umana                            docs/sorveglianza.md
# OK   art. 15  accuratezza, robustezza, cibersicurezza       docs/prove.md
# 3 evidenze mancanti su 7

La struttura è una lista di tuple (articolo, obbligo, prova) e un insieme PRESENTI che qui simula i file trovati; in un repository vero lo sostituisci con un controllo di esistenza sul disco, e meglio ancora con un controllo di contenuto (per esempio, che il documento dei rischi abbia una data di revisione). L'ultima riga fa uscire il programma con codice 1 quando manca un'evidenza, che è ciò che serve per fermare una pipeline: nel run riportato l'uscita è 3 evidenze mancanti su 7, quindi il processo termina con errore. L'elenco è un esempio per un sistema dell'allegato III e non sostituisce la lettura dell'articolo: per un deployer gli obblighi sono altri (articolo 26: uso secondo le istruzioni, sorveglianza affidata a persone competenti, conservazione dei log, informazione agli interessati) e lo stesso schema vale con una tabella diversa.

Una scheda così ha due limiti da dichiarare. Mostra l'esistenza di un documento, non la sua qualità: un file rischi.md vuoto passerebbe. E non copre gli obblighi del fornitore che non sono documenti, come la valutazione di conformità (per i punti da 2 a 8 dell'allegato III basata sul controllo interno dell'allegato VI, articolo 43), la dichiarazione di conformità UE (articolo 47), la marcatura CE (articolo 48) e la registrazione nella banca dati dell'Unione (articolo 49). Aggiungili come righe separate, con una persona responsabile.

Un registro che rende visibile la manomissione

L'articolo 12 chiede che i sistemi ad alto rischio consentano a livello tecnico la registrazione automatica degli eventi per tutta la durata del ciclo di vita, con un livello di tracciabilità adeguato per individuare situazioni di rischio, agevolare il monitoraggio successivo all'immissione sul mercato e monitorare il funzionamento. Non dice come, né chiede l'immutabilità. Se vuoi che il registro faccia da prova, devi però poter dire che nessuno l'ha riscritto dopo. Una catena di hash lo rende rilevabile: ogni voce include l'hash della precedente.

"""Registro a catena di hash: ogni voce include l'hash della precedente.
Serve a rendere visibile una manomissione, non a impedirla (art. 12, AI Act: registrazione automatica degli eventi)."""
import hashlib, json

def impronta(voce, precedente):
    corpo = json.dumps(voce, sort_keys=True, ensure_ascii=False)
    return hashlib.sha256((precedente + corpo).encode()).hexdigest()

class Registro:
    def __init__(self):
        self.voci = []   # lista di (voce, hash)

    def aggiungi(self, voce):
        precedente = self.voci[-1][1] if self.voci else "0" * 64
        self.voci.append((voce, impronta(voce, precedente)))

    def verifica(self):
        precedente = "0" * 64
        for posizione, (voce, h) in enumerate(self.voci):
            if impronta(voce, precedente) != h:
                return posizione
            precedente = h
        return None

r = Registro()
r.aggiungi({"evento": "input", "richiesta": "r-001", "modello": "v1.2"})
r.aggiungi({"evento": "output", "richiesta": "r-001", "punteggio": 0.31})
r.aggiungi({"evento": "revisione_umana", "richiesta": "r-001", "esito": "rifiutata"})
print("integra:", r.verifica())
# Manomissione: si cambia l'esito della revisione umana
r.voci[2][0]["esito"] = "approvata"
print("dopo la modifica, prima voce non valida:", r.verifica())

# Output (python3 -I, Python 3.14.4):
# integra: None
# dopo la modifica, prima voce non valida: 2

impronta serializza la voce con chiavi ordinate (sort_keys=True, indispensabile perché due dizionari uguali producano lo stesso testo) e calcola SHA-256 sull'insieme di hash precedente e voce. verifica ricalcola la catena e restituisce la posizione della prima voce non valida, oppure None. L'esperimento è nelle ultime righe: si cambia l'esito di una revisione umana da "rifiutata" ad "approvata", e la verifica indica la voce 2. Questo è il valore del meccanismo, e il suo limite: chi può riscrivere tutte le voci e ricalcolare tutti gli hash non viene scoperto. Per questo l'ultimo hash va ancorato fuori dal sistema che lo produce (un servizio di marca temporale, un sistema di log separato con altri permessi), e questa parte non è nel listato.

C'è una tensione con la minimizzazione che hai visto nel quinto articolo: una voce di registro con l'intero input di una persona è un archivio di dati personali. L'AI Act fissa un minimo di sei mesi di conservazione dei log "salvo diversamente disposto" dal diritto dell'Unione o nazionale, in particolare dalla protezione dei dati (articoli 19 e 26): registra ciò che serve a ricostruire una decisione (versione del modello, identificativo della richiesta, esito, intervento umano) e valuta se i dati di input possano essere sostituiti da un riferimento o da un hash.

Misurare la disparità senza inventare una soglia

L'articolo 10, paragrafo 2, lettere f e g, chiede un esame delle possibili distorsioni che possono incidere su salute, sicurezza o diritti fondamentali, o condurre a discriminazioni vietate, e misure per individuarle, prevenirle e attenuarle. Non indica una metrica né una soglia numerica. La metrica più semplice è il confronto dei tassi di esito favorevole fra gruppi.

"""Rapporto fra tassi di approvazione per gruppo, su decisioni sintetiche."""
from collections import defaultdict

DECISIONI = ([("A", 1)] * 62 + [("A", 0)] * 38 + [("B", 1)] * 41 + [("B", 0)] * 59)

conteggi = defaultdict(lambda: [0, 0])
for gruppo, esito in DECISIONI:
    conteggi[gruppo][0] += esito
    conteggi[gruppo][1] += 1
tassi = {g: a / n for g, (a, n) in sorted(conteggi.items())}
for g, t in tassi.items():
    print(f"gruppo {g}: tasso di approvazione {t:.2f} su {conteggi[g][1]} decisioni")
print(f"rapporto B/A: {tassi['B'] / tassi['A']:.2f}")
print(f"differenza A-B: {tassi['A'] - tassi['B']:.2f}")

# Output (python3 -I, Python 3.14.4):
# gruppo A: tasso di approvazione 0.62 su 100 decisioni
# gruppo B: tasso di approvazione 0.41 su 100 decisioni
# rapporto B/A: 0.66
# differenza A-B: 0.21

I dati sono 200 decisioni sintetiche, 100 per gruppo. Il gruppo A ha un tasso di approvazione di 0,62, il gruppo B di 0,41; il rapporto B/A è 0,66 e la differenza assoluta 0,21. Le due misure dicono cose diverse: il rapporto rende confrontabili tassi di livelli diversi, la differenza dice quanti punti percentuali. Con 100 decisioni per gruppo l'incertezza statistica è ampia, e nessuno dei due numeri dice perché i tassi differiscono: può essere una distorsione del modello, una differenza reale nei dati d'ingresso o un attributo non osservato. Il risultato è l'inizio dell'indagine, non una diagnosi.

Una soglia come "il rapporto non deve scendere sotto 0,8" è una scelta di progetto da motivare nel sistema di gestione dei rischi, non una regola dell'AI Act. Per calcolare queste metriche servono gli attributi che definiscono i gruppi; è qui che entra l'articolo 4 bis, che consente ai fornitori di sistemi ad alto rischio di trattare eccezionalmente categorie particolari di dati per rilevare e correggere le distorsioni, solo se necessario e con le condizioni elencate (tra cui trattare altri dati, compresi sintetici o anonimizzati, non basta, limiti tecnici al riutilizzo, accessi documentati, nessuna trasmissione a terzi e cancellazione dopo la correzione).

Che cosa offrono gli strumenti open source esistenti

Esistono strumenti maturi per le parti che il kit sopra non copre. Ho verificato che i pacchetti esistano sul registro Python (PyPI) il 13 novembre 2026; non li ho installati né eseguiti per questo articolo, quindi non dichiaro come si comportano.

  • DVC (versione 3.67.1 sul registro): versionamento di dati e modelli accanto al codice, utile come prova di quale dato ha prodotto quale modello.
  • MLflow (3.18.0): tracciamento degli esperimenti e registro dei modelli, utile per la tracciabilità delle versioni in produzione.
  • Fairlearn (0.15.0) e AI Fairness 360 (0.6.1): metriche e mitigazioni di equità, più numerose e testate di un confronto fra tassi.
  • deon (0.3.0): genera una lista di controllo etica per i progetti di data science, da usare come promemoria di processo.

Nessuno di questi strumenti certifica la conformità all'AI Act: producono evidenze tecniche che entrano nella tua scheda. La scelta fra Fairlearn e AIF360 si fa guardando quali definizioni di equità e quali algoritmi di mitigazione ti servono; la scelta fra DVC e MLflow dipende da dove vive il tuo flusso di lavoro. Collegamenti ai loro siti sono nelle fonti.

Quando un problema diventa una segnalazione

Un audit trova problemi, e la domanda è che cosa si è obbligati a fare. L'articolo 73 impone ai fornitori di sistemi ad alto rischio di segnalare gli incidenti gravi all'autorità di vigilanza del mercato: subito dopo aver stabilito, o ritenuto ragionevolmente probabile, un nesso causale con il sistema e comunque non oltre 15 giorni dalla conoscenza dell'incidente; due giorni in caso di infrazione diffusa o di incidente grave di certe categorie; dieci giorni in caso di decesso di una persona, con segnalazione immediata appena il nesso causale è stabilito o anche solo sospettato. La definizione di incidente grave comprende il decesso o i gravi danni alla salute, la perturbazione grave e irreversibile di infrastrutture critiche, la violazione degli obblighi del diritto dell'Unione intesi a proteggere i diritti fondamentali e i gravi danni a cose o ambiente. Un bias che produce una discriminazione vietata può quindi rientrare nella terza categoria, ma lo stabilisce un giudizio sul caso, non una soglia nel codice.

Per il deployer, l'articolo 26, paragrafo 5, dice che se ha motivo di ritenere che l'uso conforme alle istruzioni possa comportare un rischio, informa senza indebito ritardo fornitore o distributore e autorità e sospende l'uso del sistema; se individua un incidente grave, informa immediatamente il fornitore e poi le autorità. Quanto agli utenti, nel testo che ho letto non c'è un obbligo generale di notificare ogni bias agli interessati: c'è quello di informare le persone soggette a decisioni (articolo 26, paragrafo 11) e il diritto a spiegazioni (articolo 86).

Domande frequenti

Ho un sistema legacy senza registro degli eventi: devo riscriverlo?

Non necessariamente. L'articolo 111, paragrafo 2, prevede che il regolamento si applichi agli operatori di sistemi ad alto rischio già immessi sul mercato o messi in servizio prima della data di applicazione del capo III solo se, da quella data, i sistemi subiscono modifiche significative della progettazione; per i sistemi destinati alle autorità pubbliche l'adeguamento è comunque dovuto entro il 2 agosto 2030. Per l'allegato III la data di applicazione è il 2 dicembre 2027. Una modifica significativa fa scattare tutto, quindi conviene progettare il registro prima di toccare il sistema.

Posso auditare un sistema che non è mio, per esempio un servizio in cloud?

Puoi verificare ciò che il fornitore ti mette a disposizione: le istruzioni per l'uso (articolo 13) con le prestazioni dichiarate, accuratezza e limiti. Come deployer devi monitorare il funzionamento sulla base di quelle istruzioni e, se vedi un rischio, informare il fornitore (articolo 26, paragrafo 5). Non puoi verificare ciò che il contratto non ti mostra.

Chi firma l'audit e quanto vale?

Per i sistemi dell'allegato III, punti da 2 a 8, la valutazione di conformità è basata sul controllo interno (allegato VI), senza organismo notificato, e il fornitore redige la dichiarazione di conformità UE (articolo 47). Un audit di terzi è una tua scelta di governance, non un requisito di quegli articoli.

Quanti incidenti devo registrare?

Il regolamento non dà un numero. L'articolo 12 chiede di registrare gli eventi pertinenti per individuare situazioni di rischio, agevolare il monitoraggio successivo all'immissione sul mercato e monitorare il funzionamento; l'articolo 73 impone di segnalare solo gli incidenti gravi. La regola pratica è registrare tutto ciò che permette di ricostruire una decisione, e segnalare ciò che rientra nella definizione.

Se scopro un bias, devo avvisare gli utenti?

Non c'è nel testo letto un obbligo generale di notifica agli utenti. Esistono la segnalazione degli incidenti gravi alle autorità (fornitore, articolo 73), l'informazione e la sospensione per il deployer (articolo 26, paragrafo 5) e, se il bias deriva da un trattamento illecito di dati personali, gli obblighi del GDPR sulle violazioni dei dati, che qui non ho analizzato.

Che cosa sai fare adesso

Sai trasformare gli articoli da 9 a 15 in una scheda di evidenze che può far fallire una pipeline; sai costruire un registro con catena di hash e sai che cosa dimostra e che cosa no; sai calcolare una disparità fra gruppi e perché la soglia è una tua scelta motivata; sai quali strumenti open source esistono per la parte che il kit non copre; e sai quando un problema trovato in audit diventa una segnalazione. Se vuoi riprendere il filo, la serie parte dal calendario e dai ruoli; per l'organizzazione dei modelli in produzione c'è anche MLOps per Business: modelli AI in produzione con MLflow.

Fonti

I tre listati sono stati eseguiti con Python 3.14.4, con uscita identica in due esecuzioni; il primo termina con codice 1 per costruzione. I dati sono sintetici. Gli strumenti open source non sono stati installati né eseguiti: di loro è verificata solo l'esistenza e la versione sul registro. Non è stata verificata la nozione di "modifica significativa" dell'articolo 111, paragrafo 2, che il testo non definisce nel passo letto.

Prova Questi Strumenti

Strumenti gratuiti correlati a questo argomento.

Commenti

Caricamento commenti...

Accedi per commentare

Articoli e strumenti nuovi anche su Telegram

Il canale Telegram segnala gli articoli e gli strumenti nuovi del sito.

Ti è piaciuto questo articolo?

Esplora altri contenuti sul blog o scopri i miei progetti