Dal prototipo alla produzione: cosa cambia quando un agente AI lavora davvero
Un agente che funziona in demo e uno che regge mille richieste al giorno sono due progetti diversi. Le quattro cose che aggiungiamo sempre, e perché.
Francesco Puddu
aidea, Milano
in breve
- Un prototipo dimostra che il modello sa fare il compito; la produzione chiede che lo faccia sempre, in modo misurabile.
- In aidea ogni agente in produzione ha quattro pezzi: valutazioni, osservabilità, passaggio a una persona, limiti di costo.
- Il lavoro sul modello è circa un quinto del progetto: il resto è quello che gli sta intorno.
Perché il prototipo inganna
Il prototipo gira su dieci esempi scelti da chi lo ha scritto. In produzione arrivano PDF scansionati storti, mail inoltrate tre volte, richieste a cui nessuno aveva pensato. Il modello è lo stesso: cambia la distribuzione dei dati.
Per questo la prima domanda che facciamo a un'azienda riguarda i dati reali: quanti documenti al giorno, di che tipo, con quanta variabilità.
Le quattro cose che aggiungiamo sempre
Un set di valutazione
Cento casi reali, con la risposta corretta scritta da chi fa quel lavoro oggi. Ogni modifica al prompt o al modello passa da lì prima di andare online.
eval run --set fatture-q3 --model current ✓ 94/100 campi corretti (prima: 88/100) ✗ 6 errori: 4 date, 2 importi con IVA
Osservabilità
Ogni chiamata è tracciata: input, passi dell'agente, strumenti usati, costo, latenza. Se un utente segnala un errore, lo ritroviamo in un minuto.
Un passaggio a una persona
Sotto una soglia di confidenza l'agente non decide: passa il caso a una persona, con il lavoro già preparato.
Limiti di costo
Budget per richiesta e per giorno, con allarmi. Un agente in loop non deve diventare una sorpresa in fattura.
Il lavoro sul modello è circa un quinto del progetto. Il resto è quello che gli sta intorno.
Prototipo e produzione a confronto
| prototipo | produzione | |
|---|---|---|
| dati | 10 esempi scelti | tutto quello che arriva |
| errori | si guardano a mano | misurati su un set fisso |
| casi dubbi | non esistono | vanno a una persona |
| costi | irrilevanti | budget e allarmi |
Da dove partire
Se avete un prototipo che funziona, il passo successivo è il set di valutazione, non un modello migliore. È anche il modo più rapido per capire se il progetto vale l'investimento.
- raccogliete cento casi reali, compresi quelli difficili;
- fate scrivere la risposta corretta a chi fa il lavoro oggi;
- misurate il prototipo su quei casi prima di toccare altro.