Il progetto
è la lampada

La simulazione qui sopra ha mostrato il tetto. Adesso come si alza, e sono quattro cose fisiche che costano poche centinaia di euro in tutto e valgono più di qualsiasi modello.

1. La luce, e l'angolo. È la variabile numero uno e con distacco. Una luce radente, quasi parallela alla superficie, trasforma un graffio invisibile in un'ombra netta. Una luce frontale lo cancella. Una luce diffusa toglie i riflessi e serve per leggere le stampe. Una retroilluminazione ti dà la sagoma perfetta e serve per misurare i contorni. Sono quattro strumenti diversi per quattro problemi diversi, e sceglierli è il progetto. Chiudi la finestra: la luce del sole cambia durante il giorno e con il meteo, e il tuo modello imparerà il meteo.
2. Il pezzo sempre nella stessa posizione. Una dima, anche di plastica stampata in casa, che tiene l'oggetto sempre uguale. Senza, il modello deve imparare tutte le rotazioni possibili, e per farlo gli servono migliaia di foto. Con la dima, la rotazione smette di essere un problema da risolvere: è un problema che hai eliminato per venti euro.
3. La telecamera avvitata. Non a mano, non su un treppiede che qualcuno sposta. Un supporto fisso, e se possibile bloccato con una goccia di colla. Il giorno che qualcuno la urta, il tuo modello smette di funzionare e nessuno collegherà le due cose.
4. Lo sfondo neutro e sempre lo stesso. Un cartoncino opaco. Costa due euro. Toglie di mezzo metà delle variazioni contro cui il modello dovrebbe difendersi.

Queste quattro cose costano meno di cinquecento euro e mezza giornata di un tecnico. Nella mia esperienza spostano il risultato più di qualunque scelta di modello, di qualunque GPU e di qualunque quantità di foto. È il motivo per cui questo progetto si vince sul banco, e per cui chi lo affronta solo dal portatile lo perde.

La prova che faccio sempre, prima di preventivare: scatto venti foto con la lampada in quattro posizioni diverse, e le guardo. Se in una delle quattro il difetto si vede a occhio nudo, il progetto è fattibile e sarà facile. Se non si vede in nessuna delle quattro, il progetto è difficile e va detto adesso, non fra tre mesi. Costa un pomeriggio e ha salvato più preventivi di qualsiasi altra cosa che faccio.

Questo è il modo tipico in cui muoiono i progetti di visione, ed è sempre lo stesso: il modello impara qualcosa che è correlato al difetto ma che con il difetto non c'entra niente. Tre casi che ho visto con i miei occhi:

• I pezzi difettosi erano fotografati di sera. Perché il controllo qualità li metteva da parte e li fotografava a fine turno, con la luce artificiale accesa. Il modello aveva imparato a riconoscere la temperatura di colore delle lampade, non i difetti. Accuratezza in collaudo: 97%. In produzione, di mattina: casuale.
• I pezzi buoni venivano dalla linea, quelli difettosi da una scatola. Nella scatola si graffiavano fra loro, e avevano una micro-polvere addosso che quelli nuovi non avevano. Il modello guardava la polvere.
• Il righello. Chi fotografava i difetti ci metteva accanto un righello per dare la scala. Nelle foto dei pezzi buoni il righello non c'era. Il modello, ovviamente, cercava il righello, ed era bravissimo.

Questa è la stessa identica malattia del leakage che racconto nella risorsa sui punteggi: il modello ha trovato una scorciatoia che nei tuoi dati funziona e nel mondo no. Solo che nelle immagini è molto più subdola, perché la scorciatoia è nei pixel e tu i pixel non li leggi.

Le due difese, e la seconda è quella seria:

1. Fotografa buoni e difettosi nello stesso momento, con lo stesso setup, mescolati. Non «prima tutti i buoni, poi tutti i difettosi». Alternati, nella stessa ora, dalla stessa persona. Questo elimina alla radice l'80% delle scorciatoie possibili, e costa zero: costa solo ricordarselo prima.
2. Guarda dove guarda il modello. Esistono strumenti che colorano la zona dell'immagine su cui il modello si è basato. Non chiamarlo vezzo da ricercatore: è il collaudo. Se la zona calda è il fondo dell'immagine invece del pezzo, hai appena scoperto in dieci secondi una cosa che ti sarebbe costata sei mesi. Lo faccio sempre, su venti immagini, prima di dire che funziona.

E una regola operativa che discende da tutto questo: il collaudo si fa su pezzi fotografati in un altro giorno. Non su una fetta a caso delle stesse foto. Se il modello regge su un lotto scattato la settimana dopo, da un'altra persona, allora ha imparato il difetto. È l'equivalente della point-in-time correctness, applicata a una fabbrica.

La simulazione lo ha mostrato numericamente e lo ripeto in parole, perché è la cosa che cambia i preventivi: con diecimila foto scattate male sei già al tetto, cioè hai già spremuto tutto quello che quelle immagini contenevano, e sei fermo al 63%. Con cento foto scattate bene sei al 93%. Le foto non erano il vincolo.

La domanda giusta è: «il difetto si vede, nelle vostre foto?» Guardane venti. Se lo vedi tu, con i tuoi occhi, il progetto è fattibile e servono poche centinaia di esempi. Se non lo vedi tu, non lo vedrà nemmeno il modello, e la strada da prendere non passa dal raccogliere più foto. Passa dal capitolo 00: sposta la lampada.

Detto questo, gli ordini di grandezza veri, per quando la luce è giusta e la domanda diventa legittima:

• Il difetto si vede a occhio, netto: 100-300 esempi per tipo di difetto. Con il transfer learning, cioè partendo da un modello già addestrato su milioni di immagini generiche, questi numeri bastano davvero. È il caso più comune ed è il motivo per cui questi progetti sono più abbordabili di quanto sembri.
• Il difetto è sottile ma visibile: 500-2.000 per tipo.
• Difetti molto variabili, tanti tipi diversi: qualche migliaio per tipo, e a quel punto la domanda è se ne vale la pena.
• Il difetto capita due volte l'anno: non ci addestri niente, mai. Cambia domanda: invece di «riconosci il difetto», chiedi «questo pezzo è diverso dagli altri diecimila?». È l'anomalia della risorsa sugli allarmi, ed è uno dei pochi posti dove funziona bene, perché qui il normale è davvero omogeneo.

E il costo vero, che come in tutta questa serie non sono i token: chi etichetta. Serve qualcuno che sappia dire «questo è difettoso», e quel qualcuno è l'ispettore più bravo, che è anche la persona più occupata dello stabilimento. Servono due o tre giorni del suo tempo, e vanno chiesti al suo capo, per iscritto, prima di firmare.

E qui torna il kappa della risorsa sul testo: fai etichettare gli stessi cento pezzi a due ispettori, separatamente. Se non sono d'accordo, il modello non potrà mai superare il loro disaccordo, e stai per costruire un sistema che imita le abitudini di uno dei due. Mezza giornata, e ti dice se il progetto sta in piedi.

Leggere il testo da una foto è un problema risolto, e vale la pena dirlo chiaramente perché fa risparmiare discussioni: su una scansione dritta e pulita, l'errore è sotto l'1% e non c'è niente da progettare, si usa una libreria. I modelli multimodali di oggi leggono anche una foto storta fatta col telefono e ti restituiscono direttamente i campi strutturati. Dieci anni fa era un progetto, oggi è una chiamata.

Quello che resta difficile, ed è dove va tutto il budget:

• Il documento sgualcito, fotografato storto, con l'ombra della mano sopra. È il caso vero: la bolla di consegna che l'autista fotografa sul cofano del furgone. La cura non passa da un modello migliore. Passa da un'app che rifiuta la foto e chiede di rifarla, con un rettangolo che si allinea da solo. Il posto giusto dove risolvere questo problema è la mano dell'autista, non il server.
• Il campo che non c'è. È l'estrazione della risorsa sul testo, identica: il modello riempie la casella anche quando il documento non contiene quel dato. Lo schema rigido, il permesso di scrivere «non c'è» e la validazione a valle valgono qui esattamente come lì.
• La tabella. Le tabelle nei PDF sono il problema più sottovalutato di tutti: celle unite, righe che vanno a capo, colonne senza bordi. Un modello legge le celle e sbaglia ad associarle alle intestazioni, in modo silenzioso e plausibile. Se il tuo progetto è «leggi le tabelle dai listini dei fornitori», il preventivo è il doppio di quello che stai pensando.
• La scrittura a mano. Firme, annotazioni, numeri scritti al volo. Qui l'errore resta alto ed è irriducibile, perché a volte non lo legge nemmeno un umano. Vale la regola di sempre: quello che non si legge va lasciato vuoto e mandato a una persona, non indovinato.

Il conto di questa famiglia, tanto per dare l'ordine di grandezza: leggere 50.000 bolle l'anno con un modello multimodale costa qualche centinaio di euro di token. Le settimane per gestire i quattro casi qui sopra costano dieci volte tanto, e sono quelle che decidono se il sistema si può usare senza controllarlo.

Sull'audio la buona notizia è netta e vale la pena separarla dal resto: la trascrizione è risolta. Su un audio decente, in italiano, con due parlanti, l'errore sta sotto il 5%, e i nomi propri e i codici prodotto si sistemano con un dizionario aziendale. Dieci anni fa era un progetto di ricerca, oggi costa qualche centesimo all'ora di audio e si fa in un pomeriggio.

Le cose che funzionano bene, e che consiglio senza riserve:

1. Chi ha parlato e quanto. Banale da calcolare, sorprendentemente utile. Il rapporto fra il tempo in cui parla il venditore e quello in cui parla il cliente è uno dei segnali più solidi che conosca: le chiamate che chiudono hanno il cliente che parla di più.
2. Gli argomenti toccati. Prezzo, concorrenza, tempi di consegna, garanzia, come colonne booleane, incrociate con l'esito. È qui che salta fuori il dato che nessuno si aspettava.
3. Gli impegni presi. «Le mando il preventivo entro venerdì.» Estrarli e verificarli contro il CRM fa emergere una quantità di promesse non mantenute che di solito nessuno immaginava.
4. I suoni delle macchine. Questo è il caso industriale, ed è quello che mi piace di più: un cuscinetto che si sta rovinando cambia il suo suono settimane prima di rompersi. È una cosa vera, con la fisica dalla sua parte, e si fa con un microfono da trenta euro. Vale la stessa regola della lampada: il microfono va fissato nella stessa posizione, e il rumore di fondo va bloccato, altrimenti stai registrando il carrello elevatore che passa.

Il rumore di fondo, appunto, è il vincolo vero dell'audio come la luce lo è delle immagini. Una call registrata con il telefono in vivavoce su una scrivania, in un open space, contiene la conversazione più cinque colleghi più il condizionatore. La trascrizione degrada in fretta, e la cura non passa da un modello migliore: si registra dal canale del centralino invece che dall'aria della stanza.

Vale su tutta questa risorsa, ed è la ragione per cui vision e audio stanno insieme: sono le due famiglie in cui il segnale lo raccogli tu, con un gesto fisico, prima che il software esista. Sulle tabelle i dati ci sono già e sono quelli. Qui li fabbrichi, e questo è un enorme potere: puoi decidere di fabbricarli bene.

È l'offerta che gira di più su questo mercato, ed è quella su cui do la risposta più netta di tutta questa serie di risorse. Ti propongono di misurare l'entusiasmo, lo stress, la sincerità dei tuoi venditori o dei tuoi clienti dal tono della voce. In laboratorio, con attori che recitano emozioni, con microfoni buoni, funziona: si leggono numeri anche alti.

Sulle chiamate vere non funziona, e il motivo è banale:

• Microfoni diversi per ogni persona, ognuno con la sua risposta in frequenza.
• Linee che comprimono l'audio in modo diverso a seconda dell'operatore.
• Accenti regionali, cadenze e velocità che in Italia cambiano ogni cento chilometri e che il modello scambia per stati d'animo.
• Le persone, che parlano con la cornetta fra spalla e orecchio, in macchina, in mezzo a un capannone.

Quello che resta, dopo tutto questo, è troppo rumoroso per decidere qualcosa. E qui c'è la parte peggiore: il modello un numero lo produce lo stesso, e quel numero finirà nella scheda di un venditore.

Poi c'è una ragione che pesa più della tecnica, e per cui la risposta resta no anche se un domani funzionasse benissimo: dedurre lo stato emotivo di una persona dalla sua voce sul lavoro, in Europa, è un terreno su cui non porto nessun cliente. L'AI Act mette limiti espliciti al riconoscimento delle emozioni sul posto di lavoro, e al di là della norma è una cosa che non voglio costruire.

La domanda che c'è dietro, però, è legittima: «come sta andando questa relazione?». E si risponde, con i fatti invece che con le inferenze: quanto parla il cliente, quante domande fa, quali argomenti sono usciti, quali impegni sono stati presi e mantenuti. Sono tutte cose contabili, che nessuno può contestare, e che nella mia esperienza predicono l'esito meglio di qualunque punteggio di entusiasmo. Vale la regola del capitolo 04: tutto quello che si può contare, contalo; tutto quello che va interpretato, diffidane.

I numeri che uso per preventivare, su un controllo qualità visivo in un'azienda media:

• Il banco: lampada con braccio articolato, dima, supporto per la telecamera, cartoncino di fondo. Sotto i 500 euro, mezza giornata di un tecnico. È la voce che decide se tutto il resto funzionerà.
• Le foto e le etichette: due o tre giorni dell'ispettore più bravo, che è la persona più occupata dello stabilimento. Vanno chiesti al suo capo prima di firmare, per iscritto.
• Il modello: transfer learning su qualche centinaio di immagini. Si addestra in un'ora su un portatile decente. Zero euro di licenza, e la GPU serve giusto se hai fretta.
• L'integrazione sulla linea: due o tre settimane, ed è la voce più grossa. Far scattare la foto al momento giusto, mostrare l'esito dove l'operatore lo vede, e far sì che possa dire «no, ti sbagli» con un pulsante.
• Il mantenimento: come nel capitolo sulla produzione. Qui la deriva ha una forma tutta sua: la lampada si sporca, la telecamera prende un urto, cambia il fornitore del pezzo grezzo e la superficie riflette in un altro modo. Un controllo mensile su venti pezzi noti, e una data di scadenza sul modello.

Sull'audio, per dare l'ordine di grandezza: trascrivere ottomila chiamate l'anno costa qualche decina di euro di servizio. Estrarne gli argomenti con un modello medio costa qualche centinaio. Il conto dei token, di nuovo, non è il problema, ed è il motivo per cui questa serie di risorse parla così poco di token.

Se dovessi tenere una riga sola di tutta questa pagina, sarebbe questa: prima di preventivare un progetto di visione, vai sul posto, prendi in mano il pezzo e giralo sotto una lampada. Se in una delle quattro posizioni vedi il difetto con i tuoi occhi, hai un progetto e sarà facile. Se non lo vedi in nessuna, non hai un progetto: hai una ricerca, e va detto adesso.

1. «Quante foto ci servono?» Cosa rispondi?
   Che è la domanda sbagliata. Prima: il difetto si vede, nelle vostre foto? Se lo vedi tu a occhio, bastano poche centinaia di esempi. Se non lo vedi, diecimila non serviranno a niente.
2. Perché diecimila foto scattate male non bastano?
   Perché il tetto lo decide quanto il difetto è visibile nell'immagine, e le foto servono solo a stimare la soglia. Con diecimila sei già al tetto: hai spremuto tutto quello che c'era, e il tetto è basso.
3. Qual è la variabile numero uno di un progetto di visione?
   La luce, e il suo angolo. Radente per i graffi, diffusa per le stampe, retroilluminata per i contorni. Sono quattro strumenti per quattro problemi, e sceglierli è il progetto.
4. Cosa fai prima di preventivare?
   Venti foto con la lampada in quattro posizioni, e le guardi. Se in una delle quattro il difetto si vede a occhio, è fattibile. Costa un pomeriggio.
5. Le quattro cose da bloccare?
   La luce (e chiudi la finestra), il pezzo in una dima, la telecamera avvitata, lo sfondo neutro. Meno di 500 euro, e spostano il risultato più di qualunque modello.
6. Accuratezza 97% in collaudo, casuale in produzione. Cosa cerchi?
   Una scorciatoia nei pixel: i difettosi fotografati di sera, o dalla scatola, o col righello accanto. Il modello ha imparato la temperatura della luce, la polvere, o il righello.
7. Come si eliminano quelle scorciatoie?
   Fotografando buoni e difettosi mescolati, nella stessa ora, stesso setup, stessa persona. E guardando dove guarda il modello su venti immagini prima di dire che funziona.
8. Su cosa si collauda?
   Su pezzi fotografati in un altro giorno, da un'altra persona. Non su una fetta a caso delle stesse foto. È la point-in-time correctness applicata a una fabbrica.
9. L'OCR è risolto?
   Sui documenti dritti sì, ed è una chiamata a una libreria. Restano il documento sgualcito (si risolve nell'app, non nel server), le tabelle nei PDF, e il campo che non c'è e che il modello riempie lo stesso.
10. Cosa funziona davvero sull'audio?
    La trascrizione, chi parla e quanto, gli argomenti toccati, gli impegni presi. E il suono delle macchine, che ha la fisica dalla sua parte e si fa con un microfono da trenta euro fissato sempre nello stesso punto.
11. Ti offrono l'analisi dell'emozione dalla voce dei venditori.
    No. Sulle chiamate vere il segnale è troppo rumoroso per decidere qualcosa: microfoni diversi, linee che comprimono, accenti. E dedurre lo stato emotivo di un lavoratore dalla sua voce, in Europa, è un terreno su cui non porto nessun cliente.
12. Vuoi contare le scatole su uno scaffale con una telecamera.
    Un'etichetta con un codice a barre costa un centesimo e non sbaglia mai. Contare oggetti sovrapposti con occlusioni è un bel problema tecnico e una pessima soluzione aziendale.

Su questa famiglia il primo passo non si fa al computer. Si va sul posto, si prende in mano il pezzo, si gira sotto una lampada e si guarda. In un pomeriggio si sa se il progetto è facile, difficile o impossibile, e si sa prima di aver speso.

Se hai qualcosa da far guardare o ascoltare a una macchina, scrivimi su WhatsApp e ne parliamo.