Il modello
nel cassetto

La domanda è: «chi cambierà quello che fa, e quando?». Non «a cosa serve», che è una domanda a cui tutti sanno rispondere con una frase da brochure. Chi. Nome e cognome. E cosa farà di diverso il martedì mattina rispetto a quello che fa oggi.

Le risposte che ricevo, e cosa vogliono dire:

• «Serve per avere visibilità.» Nessuno cambierà niente. Il progetto produrrà un cruscotto che verrà guardato per tre settimane. Costo: sei mesi.
• «Poi decidiamo come usarlo.» Vuol dire che non c'è una decisione da prendere. Un modello che risponde a una domanda che nessuno stava facendo è un modello che finisce nel cassetto, per quanto bravo sia.
• «Lo useranno i commerciali.» Quali? Glielo avete chiesto? Se la risposta è no, quel progetto sta per essere calato dall'alto su persone che non l'hanno chiesto, e ne conoscono i difetti prima ancora di vederlo.
• «Marco, ogni lunedì mattina, per decidere chi chiamare.» Ecco. Questo progetto ha una probabilità concreta di funzionare, e adesso puoi anche misurarlo: quante volte Marco lo apre, e quante volte fa quello che dice.

Un modello che non cambia una decisione di una persona precisa in un momento preciso non è ancora un progetto in ritardo. È un progetto che non esiste, e nessuna quantità di lavoro tecnico lo farà esistere. La domanda va fatta prima, quando costa dieci secondi, invece che dopo, quando è costata sei mesi.

Le tre condizioni che verifico prima di dire sì a un progetto, tutte e tre, e senza le quali ho imparato a dire di no anche quando i soldi sono buoni:

1. C'è una decisione ripetuta. Qualcuno sceglie qualcosa, spesso, e potrebbe scegliere diversamente. Se la decisione si prende una volta l'anno, il modello non farà mai in tempo a dimostrare di valere.
2. C'è chi la prende, e ha chiesto aiuto. Se non ha chiesto niente, il tuo modello è un giudizio sul suo lavoro, e verrà accolto come tale.
3. C'è un modo di sapere com'è andata. Se nessuno saprà mai se il consiglio era buono, il progetto non potrà mai migliorare e non potrà mai difendersi. È il giro chiuso, e senza quello, fra un anno, sei al punto di partenza con un anno in meno.

Il pilota che vedo proporre di solito è questo: sei mesi, tutti i clienti, tutte le funzionalità, e alla fine si decide. È il modo più costoso di scoprire una cosa che si poteva sapere in tre settimane, e ha un difetto peggiore del costo: a quel punto nessuno può più dire che non funziona. Ci sono dentro sei mesi, un budget e la reputazione di chi l'ha proposto. Il pilota diventa una profezia che si autoavvera, e il sistema entra in produzione perché spegnerlo costa troppo in faccia.

Come lo faccio io, e lo dico ai clienti in prima riunione:

1. Una persona, un mese, un pezzo di problema. Non tutti i commerciali: Marco. Non tutti i clienti: i suoi duecento. Non tutto: la lista del lunedì.
2. Il criterio di spegnimento si scrive prima. Letteralmente, su un foglio, firmato: «se dopo un mese Marco accetta meno del 30% dei suggerimenti, si spegne e ci siamo divertiti». Scriverlo prima è tutto: dopo, quel numero diventa negoziabile, e non lo sarà mai più.
3. Gira in parallelo, non al posto di. Per un mese Marco fa la sua lista come sempre e il sistema fa la sua. Si confrontano. Nessun rischio, nessuna resistenza, e ogni differenza è una conversazione che vale oro.
4. Alla fine si decide con un numero, non con un'impressione. Il numero è quello scritto al punto 2, e nessun altro.

Un pilota che non si può spegnere è un'installazione con una fase di rodaggio, e ha solo il nome in comune con un pilota. La differenza sta tutta in una cosa: se la risposta «no, non funziona» è ammessa e ha un costo basso, allora quel mese ti ha detto la verità. Se non è ammessa, quel mese non ti ha detto niente e l'hai pagato.

E c'è un beneficio secondario che vale quanto il primo. Un pilota piccolo, su una persona sola, per un mese, si può rifare. Se va male, hai perso un mese e hai imparato tre cose: le sistemi e riprovi. Un pilota da sei mesi che va male non si rifà mai, perché nessuno chiede altri sei mesi per la stessa idea. La prima versione di un progetto di AI è sbagliata quasi sempre, ed è normale: il punto è potersene accorgere quando rifarla costa poco.

È il passaggio dove nella simulazione si perde più valore, ed è quello che i tecnici gestiscono peggio, me compreso per anni. Il modello dice «chiama questo cliente». Marco guarda, pensa «ma quello non compra da tre anni», e chiama un altro. Il modello aveva ragione. Marco no. E la reazione istintiva, sbagliata, è farlo notare a Marco.

Il punto è che Marco ha ragione a comportarsi così, e capirlo cambia tutto. Lui risponde del suo numero a fine mese. Il modello non risponde di niente. Se segue un consiglio e va male, la colpa è sua; se lo ignora e va male, la colpa è del cliente. Gli stai chiedendo di scommettere la sua valutazione su una scatola nera che non gli ha ancora dato nessun motivo per fidarsi. Al suo posto farei uguale.

Le cinque cose che spostano davvero l'accettazione, in ordine di quanto rendono:

1. Il motivo, in una riga, in italiano. Non «punteggio 0,87». Ma «di solito riordina ogni 6 settimane, sono passate 9, e l'anno scorso in questo periodo aveva già ordinato». Adesso Marco può valutare il consiglio invece di doverci credere. Questa singola cosa, nella mia esperienza, vale più di tutte le altre quattro messe insieme.
2. Dove sta già lavorando. Se il suggerimento è in un'altra applicazione, con un'altra password, non esiste. Deve stare nella schermata che apre comunque, anche a costo di un'integrazione brutta.
3. Il diritto di dire di no, senza doversi giustificare. Un pulsante «non mi convince», e nessuno che gli chieda perché. Se rifiutare costa una spiegazione, smetterà di guardarlo del tutto: è più economico ignorarlo.
4. I suoi rifiuti devono cambiare qualcosa. Se Marco scarta dieci suggerimenti dello stesso tipo e il mese dopo arrivano identici, ha capito che il suo parere non conta e ha finito di collaborare. Quando invece vede che il sistema ha imparato da lui, diventa il tuo miglior alleato, perché è diventato suo.
5. Una vittoria pubblica, presto. Un cliente recuperato grazie a un suggerimento, raccontato in riunione, con il nome di Marco davanti a quello del modello. Vale più di dieci grafici di accuratezza, e non chiamarlo marketing: è il modo in cui una squadra decide che una cosa nuova è roba loro.

La cosa da non fare mai, e l'ho fatta: mostrare a un operatore la classifica di quanto spesso ha ignorato il modello. È il modo più veloce di trasformare una persona che ti avrebbe aiutato in una che aspetta il primo errore per farlo notare a tutti. E lo troverà, perché gli errori ci sono.

Ogni progetto che apro ha un cruscotto con dodici grafici che nessuno guarda. È il residuo fossile del momento in cui qualcuno ha chiesto «facci vedere come va» e la risposta è stata mostrare tutto quello che si poteva misurare, invece delle tre cose che servivano.

I numeri che metto io, e sono quattro, e stanno su una pagina sola:

1. Quante volte è stato usato. Se scende, il progetto sta morendo, e questo è l'unico allarme che conta davvero. Arriva prima di tutti gli altri.
2. Quante volte il consiglio è stato accettato. È la fiducia del capitolo 02, misurata invece che immaginata. Sotto il 30% c'è un problema che nessun riaddestramento risolve.
3. Com'è andata quando è stato seguito, contro quando non lo è stato. È il numero che difende il budget l'anno prossimo. Attenzione a leggerlo bene, però: chi segue il consiglio e chi lo ignora non sono gente a caso, e questo confronto è il confronto rotto della risorsa sulla causalità. Per avere il numero vero serve una quota di casi decisi a sorte, e conviene metterla dal primo giorno perché dopo non te la concede più nessuno.
4. Le colonne in ingresso stanno come quando l'abbiamo addestrato? È la deriva, ed è l'unico controllo tecnico della lista. Va sul cruscotto perché è l'unico che si accorge dei guasti silenziosi.

Quello che tolgo, e che c'è sempre: l'accuratezza sul collaudo, che è ferma dal giorno della consegna e non dice niente sul mondo di oggi. La curva ROC, che non sa leggere nessuno e non ha mai cambiato una decisione. L'importanza delle variabili, che è affascinante per te e irrilevante per chi deve decidere se chiamare il cliente. E i tempi di risposta del servizio, che vanno monitorati, ma da chi tiene su i server, non da chi usa il modello.

Un cruscotto ha un destinatario preciso, che ha un problema preciso. Se non sai dirmi chi lo apre e cosa decide dopo averlo aperto, non stai facendo un cruscotto: stai facendo un archivio di grafici, e ne stanno già invecchiando altri sei nella cartella accanto.

Un modello consegnato e lasciato lì peggiora. Non si rompe: peggiora, in silenzio, mentre tutti i controlli restano verdi. È il motivo per cui un progetto di AI non finisce mai, e per cui chi te lo vende come un lavoro chiuso ti sta vendendo una cosa che fra un anno non varrà più niente.

Il guasto che trovo più spesso, e che descrivo perché è sempre lo stesso:

Qualcuno a monte cambia un campo. Il modello riceve zero al posto di un valore, e continua a produrre punteggi ragionevolissimi, perché zero è un numero e i numeri lui li sa gestire. Nessuna eccezione, nessun errore nei log, nessun allarme. Il sistema è rotto da tre mesi e il rapporto mensile dice che va tutto bene.

Le tre cose che lo intercettano, e costano un giorno di lavoro in tutto:

1. Un controllo sulle colonne in ingresso, settimanale. Media, mediana, e percentuale di valori mancanti, confrontate con il periodo di addestramento. Se una colonna era vuota nel 2% dei casi e adesso lo è nel 40%, qualcuno ha cambiato un form e nessuno te l'ha detto. Questo controllo non aspetta gli esiti, e per questo è il primo da mettere.
2. Il tasso di accettazione su un grafico, con sopra segnata la data dell'ultimo riaddestramento. Quando la linea scende, si vede a occhio, e si vede prima che qualcuno se ne lamenti.
3. Una data di scadenza, letterale. Dopo sei mesi il sistema scrive nei log che il modello è scaduto. Sembra teatro. Serve, perché senza quella riga non lo riaddestra nessuno, mai, e non per cattiva volontà: perché non c'è niente che lo ricordi.

Ogni quanto riaddestrare, che è la domanda successiva. Non c'è una risposta unica, e la regola è: tanto più spesso quanto più il mondo si muove. Un antifrode, dove c'è qualcuno che ti studia, ogni mese. Un modello di abbandono clienti, ogni trimestre. Una previsione di domanda su prodotti stabili, ogni sei mesi. E in tutti i casi, subito, fuori calendario, il giorno in cui cambia qualcosa di grosso: un listino nuovo, un concorrente che apre, una linea di prodotto che parte.

Un'ultima cosa che quasi nessuno mette in preventivo e che è la voce più grossa dei tre anni successivi: il riaddestramento è lavoro, ogni volta. Non è un pulsante. Bisogna ricontrollare che i dati nuovi siano puliti, che le etichette siano arrivate, che non si sia infilato un leakage nuovo, e confrontare il modello nuovo con quello vecchio prima di sostituirlo. Sono due o tre giorni, quattro volte l'anno, per sempre. Se il preventivo che hai davanti non ha quella riga, è incompleto, e il progetto morirà al mese quattordici senza che nessuno sappia bene perché.

Te la faccio io, visto che sono un consulente e che rispondere mi conviene poco: quando il progetto è finito e io non ci sono più, chi lo tiene in piedi? Se la risposta è «richiamiamo te», quel progetto ha un problema strutturale, e non lo risolve nessun contratto di manutenzione. Se la risposta è «nessuno», il progetto è già morto e non lo sa ancora.

Le tre risposte oneste, in ordine di quanto durano:

1. C'è una persona interna che lo capisce. È la soluzione migliore e la più rara. Non serve che sappia riaddestrarlo: serve che sappia cosa fa, dove guardare quando qualcuno si lamenta, e riconoscere quando è ora di chiamare qualcuno. Sono due giorni di affiancamento, e sono i due giorni più redditizi dell'intero progetto.
2. È talmente semplice che si tiene da solo. Venti regole in SQL le mantiene chiunque per dieci anni. Un modello con quarantasei variabili derivate e una pipeline in tre pezzi non lo mantiene nessuno. La complessità che ti puoi permettere è quella che sopravvive a chi l'ha scritta, e quasi sempre è molta meno di quella che sai fare.
3. Nessuno, e lo sai in anticipo. Allora fallo con una data di morte. Sul serio: «questo modello vale fino a giugno, poi lo spegniamo». È onesto, costa poco, e a volte è la scelta giusta per un problema stagionale. È molto meglio di un sistema zombie che nessuno spegne e a cui nessuno crede.

La cosa che ho imparato tardi, e che ha cambiato come lavoro: quando devo scegliere fra il modello più accurato e quello che il cliente può mantenere, scelgo il secondo, e non è generosità. Un modello all'86% che vive tre anni produce molto più valore di uno al 91% che nessuno riaddestra e che al mese quattordici viene spento. La differenza fra i due, nella vita reale, non si misura in punti di accuratezza. È tutto contro niente.

Da qui viene anche la regola sull'ordine, che è la stessa di tutta questa serie di risorse: prima le regole scritte a mano, poi il modello semplice, poi, se serve davvero e se c'è qualcuno che lo terrà, quello complicato. Chi comincia dal complicato consegna una cosa bellissima che dura quattordici mesi.

Un preventivo tipico per un modello di abbandono clienti in un'azienda media: sei-otto settimane, dati, modello, integrazione, collaudo. È corretto, e descrive circa il 60% del lavoro. Le due righe che mancano quasi sempre:

1. L'adozione: due settimane. Il motivo in italiano accanto al punteggio, l'integrazione nella schermata giusta, il pulsante «non mi convince», i due giorni con le persone che lo useranno, e la prima vittoria raccontata in riunione. Sono le due settimane che nella simulazione in cima alla pagina moltiplicano il valore per cinque, e sono le prime a saltare quando il progetto è in ritardo.
2. Il mantenimento: due giorni ogni trimestre, per sempre. Non è un contratto di assistenza per quando si rompe. È il riaddestramento, il controllo della deriva, e il confronto fra il modello nuovo e quello vecchio prima di sostituirlo. È la riga che rende il progetto un asset invece che un evento.

Se ti fanno un preventivo senza la riga ricorrente, quel preventivo non ti sta facendo risparmiare. È solo più corto. Il lavoro c'è comunque, semplicemente lo pagherai al mese quattordici sotto forma di un sistema che nessuno usa più e di una riunione in cui si decide se rifare tutto da capo.

E il conto dall'altra parte, quello che consiglio di fare prima di firmare qualsiasi cosa. Prendi il valore che il progetto promette e moltiplicalo per quattro numeri onesti, quelli della simulazione: su quanti casi girerà davvero, quante volte la persona lo vedrà, quante volte lo accetterà, quante volte verrà eseguito. Se il risultato è ancora un buon affare, fallo. Se il risultato con numeri realistici non regge, il progetto non regge, e nessun punto di accuratezza in più lo salverà, perché l'accuratezza non compare in quella moltiplicazione.

La cosa che dico sempre in ultimo, e con cui chiudo anche qui: il modello è la parte facile, ed è quella che tutti vogliono comprare. Le due settimane di adozione e i due giorni a trimestre sono la parte che decide se hai comprato un asset o un souvenir.

1. La domanda da fare il primo giorno?
   Chi cambierà quello che fa, e quando. Nome, cognome, e cosa farà di diverso martedì mattina. «Serve per avere visibilità» vuol dire che non cambierà niente.
2. Perché i quattro passaggi dell'adozione fanno così male?
   Perché si moltiplicano invece di sommarsi. Quattro percentuali accettabili (60, 70, 35, 85) moltiplicate fra loro danno il 12%, e nessuna delle quattro da sola sembrava un problema.
3. Quanto dura un pilota?
   Un mese, una persona, un pezzo di problema. Sei mesi sono un'installazione, non un pilota: e a quel punto spegnerlo costa troppo in faccia perché qualcuno lo proponga.
4. Cosa si scrive prima di iniziare un pilota?
   Il criterio di spegnimento, con un numero. Dopo, quel numero diventa negoziabile e non lo sarà mai più.
5. Marco ignora il modello che ha ragione. Di chi è il problema?
   Tuo. Lui risponde del suo numero, il modello non risponde di niente. Gli stai chiedendo di scommettere la sua valutazione su una scatola nera. Al suo posto farebbero tutti uguale.
6. La cosa che alza di più l'accettazione?
   Il motivo in una riga, in italiano, accanto al suggerimento. Vale più delle altre quattro messe insieme, perché trasforma un atto di fede in una valutazione.
7. Cosa succede se rifiutare un suggerimento costa una spiegazione?
   Smette di guardarlo del tutto: ignorarlo è più economico. Serve un pulsante «non mi convince» senza contraddittorio.
8. Quali numeri vanno sul cruscotto?
   Quante volte è stato usato, quante accettato, com'è andata quando è stato seguito, e se le colonne in ingresso stanno come all'addestramento. L'accuratezza sul collaudo no: è ferma dal giorno della consegna.
9. «Chi segue il consiglio vende di più.» Che numero è?
   Da maneggiare con cura: chi segue e chi ignora non sono gente a caso. Per il numero vero serve una quota di casi decisi a sorte, messa dal primo giorno.
10. Il guasto che non fa rumore?
    Un campo che cambia a monte, il modello riceve zeri e continua a produrre punteggi ragionevoli. Nessun errore, nessun allarme, tre mesi di silenzio. Lo becca solo il controllo sulle colonne in ingresso.
11. Meglio l'86% che vive tre anni o il 91% che nessuno riaddestra?
    Il primo, e non è un compromesso al ribasso. Nella vita reale la differenza fra i due non si conta in punti: è tutto contro niente.
12. Cosa manca a un preventivo senza riga ricorrente?
    Non ti sta facendo risparmiare, è solo più corto. Il lavoro lo pagherai al mese quattordici, sotto forma di un sistema che nessuno usa più.

Capita spessissimo, e quasi mai la colpa è del modello. Nella maggior parte dei casi che ho visto, il valore era ancora tutto lì e bastava sistemare uno dei quattro passaggi: di solito il secondo o il terzo, cioè dove sta il suggerimento e se c'è scritto perché.

La cosa utile da fare non è rifare il modello. È misurare i quattro numeri della simulazione qui sopra sul tuo caso, e vedere quale dei quattro sta mangiando tutto. Si fa in mezza giornata, e di solito la risposta sorprende chi ha pagato il progetto.

Se vuoi guardarla insieme, scrivimi su WhatsApp.