La campagna
ha funzionato?

Quando dici «abbiamo venduto il 18% in più grazie alla campagna», stai facendo una sottrazione fra due numeri. Il primo ce l'hai: le vendite di questo mese. Il secondo è le vendite che avresti fatto questo mese senza la campagna, e quel numero non è da nessuna parte. Non è in un database mal progettato, non è in un file che qualcuno ha perso: riguarda un mese che non è avvenuto.

Il nome tecnico è controfattuale, e il problema si chiama problema fondamentale dell'inferenza causale, che è un modo elegante di dire una cosa scomoda: di ogni cliente puoi osservare un solo mondo. O l'hai contattato, o non l'hai contattato. Quello che sarebbe successo nell'altro caso è perso per sempre, e nessuna quantità di dati lo riporta indietro.

Da qui discende la cosa che rende questo capitolo diverso da tutto il resto delle risorse che ho scritto:

Su previsioni e punteggi, più dati raccogli e meglio vai. Sulla causalità no. Puoi avere dieci anni di storico completo, pulito, perfetto, e non contenere la risposta alla domanda «ha funzionato». Il dato che manca non è semplicemente raro. È impossibile.

I confronti che le aziende fanno al posto del controfattuale sono sempre uno di questi tre, e sono tutti e tre rotti:

• Prima e dopo. Le vendite di marzo contro quelle di febbraio. Nel mezzo però è cambiata la stagione, sono cambiati i prezzi del concorrente, è uscito il nuovo catalogo, e c'era Pasqua. Stai attribuendo alla campagna tutto quello che è successo nel mondo.
• Chi ha aperto la mail contro chi non l'ha aperta. Il peggiore di tutti, e il più usato. Chi apre la mail è già interessato: stai confrontando i clienti motivati con quelli distratti. La mail non c'entra niente, e il numero che ottieni è enorme e completamente falso.
• I clienti in promozione contro gli altri. Se la promozione l'hai mandata ai clienti migliori, come fanno tutti, stai confrontando i clienti migliori con i peggiori. Avresti ottenuto lo stesso «risultato» mandando una cartolina bianca.

Tutti e tre hanno la stessa malattia: i due gruppi che confronti erano già diversi in partenza, e quella differenza di partenza si travestirà da effetto della campagna. Il mestiere della causalità è tutto qui: costruire due gruppi che erano uguali prima, così che l'unica differenza dopo sia quello che hai fatto tu.

La soluzione è vecchia di un secolo e viene dagli esperimenti agricoli: prendi i tuoi ventimila clienti, ne metti da parte una fetta a caso, e a quelli non mandi niente. Il caso è la parte importante. Non «i meno interessanti», non «quelli del Sud», non «quelli che non hanno l'email»: a caso. Perché è l'unica procedura che rende i due gruppi uguali in tutto, comprese le cose che non hai in tabella e a cui non hai pensato.

Poi confronti. La differenza fra i due gruppi è l'effetto, e adesso quella parola è guadagnata invece che asserita. Il costo di questa operazione è che rinunci a vendere a quella fetta. Il ritorno è che smetti di rifare per dieci anni una campagna che non funziona.

Le obiezioni arrivano sempre, e sono sempre queste tre. Le riporto con la risposta che do:

1. «Ma così perdiamo le vendite del gruppo di controllo.» Sì, e sono poche: il 5% dei clienti per un mese. Se la campagna funziona, hai perso il 5% dell'effetto per un ciclo, e in cambio sai quanto vale e puoi difenderne il budget con un numero. Se non funziona, hai appena scoperto che stavi buttando l'intero budget ogni anno. È un'assicurazione che costa il 5% e copre il 100%.
2. «Sappiamo già che funziona.» Allora l'esperimento durerà tre settimane e confermerà, e da quel momento avrai un numero da mettere in una slide invece di una convinzione. Se davvero lo sappiamo già, non c'è niente da temere. Ho fatto questa frase decine di volte, e la campagna che «funzionava di sicuro» un paio di volte non funzionava.
3. «Non è etico non mandare l'offerta a qualcuno.» Questa è seria e merita una risposta seria: se non sai se l'offerta fa bene o male, tenerla fuori a una fetta resta l'unico modo di scoprirlo. E c'è la categoria «non disturbare» della simulazione qui sopra: a una parte dei clienti quell'offerta fa danno. Non sperimentare vuol dire continuare a farglielo senza saperlo.

Due dettagli operativi che fanno la differenza fra un esperimento e un teatrino:

• La randomizzazione va fatta prima, e va salvata. Un gruppo di controllo ricostruito a posteriori («prendiamo quelli che non abbiamo contattato») è semplicemente il terzo confronto rotto del capitolo 00, con un nome più nobile.
• Il gruppo di controllo va lasciato in pace davvero. Basta un commerciale che chiama «tanto è un cliente importante» e l'esperimento è finito. Succede sempre, e va messo in conto: si controlla, non si spera.

Questo è l'errore più diffuso che incontro, e il più silenzioso, perché produce una conclusione che sembra prudente e scientifica: «abbiamo testato, non è emersa differenza significativa, quindi la promozione non serve». Nove volte su dieci quella frase è falsa, e la promozione funzionava.

Il motivo è aritmetico. Per vedere un effetto piccolo dentro dati rumorosi servono molti dati, e «molti» è un numero preciso che si può calcolare prima di partire. Quasi nessuno lo calcola. Si prende il campione che si ha sottomano, si fa il test, esce che non è significativo, e si archivia. Il test non ha detto «non funziona»: ha detto «con questi numeri non lo saprei nemmeno se funzionasse».

Facciamo il conto vero. Il tuo tasso di conversione base è il 10%. La promozione, se funziona, lo porta al 10,5%: mezzo punto, che su un milione di euro di fatturato sono cinquantamila euro l'anno, cioè un ottimo affare. Metti duemila clienti per gruppo, che è già un test generoso rispetto a quelli che vedo.

Con duemila clienti per gruppo, un effetto da mezzo punto lo vedi meno di una volta su dieci. Nove volte su dieci il tuo esperimento ti dirà che la promozione non serve, mentre quella promozione ti sta facendo guadagnare cinquantamila euro l'anno.

Qui sotto la cosa si vede. Il pannello simula quattrocento aziende che fanno tutte lo stesso test, con lo stesso campione, sulla stessa promozione che funziona davvero. Guarda quante se ne accorgono.

La regola che salva più progetti di qualunque tecnica: il numero di clienti si calcola prima, e si calcola partendo dall'effetto che ti interessa trovare, non da quello che speri. La domanda giusta da fare in riunione è «qual è l'effetto più piccolo che ci farebbe cambiare decisione?». Se la risposta è mezzo punto, il conto ti dirà che servono decine di migliaia di clienti per gruppo. A quel punto hai due strade oneste:

1. Allunghi. Il test dura tre mesi invece di tre settimane, perché tanti clienti passano solo in tre mesi.
2. Cambi domanda. Se non hai i clienti per rispondere, ammettilo prima di spendere. Testa una cosa più grossa: non il colore del bottone, ma l'offerta intera. Gli effetti grandi si vedono con pochi dati, e infatti l'unico A/B che funziona su campioni piccoli è quello fra due cose molto diverse.

La terza strada, che è quella che prendono tutti, è fare il test sottodimensionato e interpretare il risultato come se volesse dire qualcosa. Da lì nascono sia le promozioni buone archiviate, sia, per simmetria, le scoperte inesistenti del capitolo 05.

Una postilla su una cosa che vedo fare ogni volta: guardare il test ogni giorno e fermarlo quando diventa verde. Sembra efficiente e invece è il modo più rapido di ingannarsi. Se guardi trenta volte, ti stai dando trenta occasioni di beccare un falso positivo, e la probabilità di trovarne almeno uno non è più il 5%: sale intorno al 25%. Il momento in cui si guarda si decide prima, insieme al numero di clienti, e poi si aspetta. Se questo sembra burocratico, è perché lo è: la burocrazia serve a proteggerti dal tuo entusiasmo.

Questa è la cosa che mi ha convinto, anni fa, che la statistica va studiata, perché il buon senso applicato ai numeri qui si schianta. Prendi una campagna. La guardi sui clienti difficili: funziona. La guardi sui clienti facili: funziona. La guardi su tutti insieme: fa danno, e di parecchio. Nessuno dei tre numeri è sbagliato, nessuno è calcolato male, e i conti tornano tutti.

Il meccanismo, una volta visto, è semplice: la campagna non è stata mandata a caso. È stata mandata soprattutto ai clienti difficili, quelli che convertono poco comunque. Quando aggreghi, il gruppo «campagna» risulta pieno di clienti difficili e il gruppo «controllo» pieno di clienti facili. Il totale non sta confrontando la campagna con la sua assenza: sta confrontando i clienti difficili con i clienti facili, e la campagna prende la colpa di una differenza che esisteva prima che la mandassi.

Muovi il pannello e guarda la stessa identica tabella nei due modi.

Le tre cose da portarsi via, perché questa trappola scatta anche quando non c'è di mezzo una campagna:

1. Aggregare è una decisione, non un'operazione neutra. Ogni volta che sommi due gruppi diversi in un solo numero, stai assumendo che fossero confrontabili. Quasi mai lo sono.
2. Più dati non ti salvano. Il paradosso non è rumore: se raddoppi i clienti, raddoppia anche lo squilibrio, e la conclusione sbagliata diventa più sicura di sé. È l'esatto contrario di quello che l'intuizione suggerisce.
3. La segmentazione giusta non si trova guardando i dati. Va decisa da chi conosce il mestiere, prima. Se cerchi il segmento che ribalta il risultato finché lo trovi, stai facendo il capitolo 05.

Il modo per non caderci è quello del capitolo 01, ed è l'unico: se hai randomizzato, i due gruppi sono uguali in tutto, compresa la percentuale di clienti difficili. A quel punto il totale è affidabile e Simpson non ti può toccare. La randomizzazione non serve a fare bella figura con il metodo: serve a comprare il diritto di guardare la media.

A volte il gruppo di controllo non esiste e non può esistere. Hai cambiato il prezzo a listino per tutti. La legge è entrata in vigore in tutta Italia. Il concorrente ha aperto e non puoi chiedergli di aprire solo a metà dei tuoi clienti. In questi casi si usano metodi che costruiscono un gruppo di controllo invece di sorteggiarlo. Funzionano, e vanno usati sapendo cosa stai comprando e a che prezzo.

1. Differenza nelle differenze. Hai cambiato qualcosa in Lombardia e non in Veneto. Non confronti Lombardia con Veneto, che sono diverse in partenza: confronti quanto è cambiata la Lombardia con quanto è cambiato il Veneto. Se prima della modifica le due regioni si muovevano in parallelo, la differenza fra le due variazioni è l'effetto.
   Cosa compri: un controllo dove non potevi randomizzare. Cosa paghi: l'ipotesi che senza il tuo intervento sarebbero rimaste parallele. Quell'ipotesi non è verificabile per il periodo dopo, ed è tutto ciò su cui poggia il risultato. Si controlla guardando gli anni prima: se erano parallele per tre anni, l'ipotesi è credibile. Se non lo erano, il metodo non si applica e amen.
2. La discontinuità sulla soglia. Lo sconto lo dai ai clienti sopra i 10.000 euro di fatturato. Il cliente da 9.980 euro e quello da 10.020 sono praticamente identici, e uno ha lo sconto e l'altro no. Quella soglia arbitraria è un esperimento che l'azienda ha già fatto senza saperlo: confronti solo i clienti a cavallo, e hai l'effetto.
   Cosa compri: un risultato quasi pulito come un esperimento vero, gratis, sui dati che hai già. Cosa paghi: vale solo intorno alla soglia. Ti dice cosa succede al cliente da 10.000 euro, non a quello da 200.000. E crolla se qualcuno può decidere da che parte stare: se il commerciale gonfia l'ordine a 10.050 per far avere lo sconto al cliente, i due gruppi non sono più confrontabili.
3. Il controllo sintetico. Costruisci una «Lombardia finta» combinando altre regioni in modo che il passato combaci quasi perfettamente, e poi guardi cosa avrebbe fatto dopo.
   Cosa compri: un controfattuale anche con una sola unità trattata. Cosa paghi: la tentazione di provare mille combinazioni finché il risultato è quello che speravi, che è il capitolo qui sotto travestito da metodo avanzato.

La gerarchia da tenere a mente, e da dire ad alta voce in riunione: esperimento vero, poi discontinuità, poi differenza nelle differenze, poi controllo sintetico, poi il nulla. Ogni gradino che scendi aggiunge un'ipotesi che nessuno può verificare, e un modo in più di prendere una cantonata con la coscienza a posto.

L'esperimento è finito, il risultato è che non cambia niente. A quel punto parte, sempre in buona fede, la frase più pericolosa della statistica applicata: «vediamo se almeno su qualche segmento ha funzionato». E allora si guarda il Nord, il Sud, i clienti nuovi, i vecchi, i grandi, i piccoli, chi compra online, chi compra in negozio, gli under 40, gli over 40. Venti tagli, venti test.

Il punto è che «significativo al 5%» vuol dire una cosa precisa: se non c'è nessun effetto, il test grida al lupo una volta su venti. È la definizione, ed è un difetto accettato, non un bug. Fai venti test su venti segmenti dove non succede niente, e in media una scoperta salta fuori. Non c'entra la sfortuna: è aritmetica. Te l'aspettavi, solo che quando arriva la scambi per un risultato.

Qui sotto ci sono venti segmenti in cui garantisco io che la campagna non fa assolutamente niente: l'effetto vero è zero, l'ho scritto nel codice. Guarda quante «scoperte» produce.

Le difese, in ordine di efficacia:

1. Dichiara le ipotesi prima. Si scrive su un foglio, prima di guardare i dati, quali segmenti si guarderanno e cosa ci si aspetta. Poi si guardano solo quelli. È noioso ed è quasi tutto il valore del metodo scientifico.
2. Correggi per il numero di test. Se fai venti test, la soglia non è più il 5%: diventa lo 0,25% (Bonferroni, il più severo e il più semplice). Premi il pulsante e guardi cosa resta in piedi.
3. Conferma su dati nuovi. Se un segmento salta fuori, hai in mano un'ipotesi, non una scoperta. Si scrive, si aspetta il trimestre dopo, e si verifica su clienti che il modello non ha mai visto. Se regge, è vera. Se svanisce, era rumore, e ti sei risparmiato un budget.

La domanda che faccio sempre quando qualcuno mi porta un risultato su un sottogruppo, e che risolve il 90% dei casi: «quanti altri tagli hai guardato prima di trovare questo?». Se la risposta è «qualcuno», il risultato vale zero finché non lo riconfermi. Se la risposta è «era l'unico che avevamo deciso di guardare», allora parliamone sul serio.

Ogni cliente, davanti a una tua iniziativa, appartiene a una di quattro categorie. Sono definite dal confronto fra due mondi, quello in cui lo contatti e quello in cui non lo contatti, e quindi da un controfattuale: ecco perché questo capitolo sta in questa risorsa e non in quella sui punteggi.

1. I persuadibili. Comprano solo se li contatti. Sono l'unica categoria che ti fa guadagnare qualcosa. Nella simulazione sono il 14% dei clienti.
2. I sicuri. Comprano comunque. Contattarli è costo puro: paghi la telefonata e lo sconto per una vendita che avevi già in tasca. Sono il 22%.
3. I persi. Non comprano in nessun caso. Contattarli è costo puro, ma almeno non fa danno. Sono la maggioranza, il 56%.
4. I «non disturbare». Comprerebbero, e il tuo contatto li fa desistere. La mail che ricorda l'abbonamento a chi si era dimenticato di averlo. Lo sconto che segnala «costavamo troppo». Sono l'8%, e ogni contatto è una vendita distrutta con le tue mani.

Adesso il punto che rende questo capitolo utile. Il modello di propensione che si costruisce in azienda si addestra sullo storico: prendi i clienti, guardi chi ha comprato, impari a riconoscerlo. Ma lo storico è fatto quasi tutto di clienti che non hai contattato. Quindi quel modello impara «chi compra», che è una cosa vera e verificabile, e non «chi compra grazie a te», che è un'altra cosa.

Chi compra, in azienda, sono i sicuri. Il modello di propensione è addestrato, involontariamente, a trovarti esattamente i clienti a cui non serve telefonare. E funziona benissimo: è il motivo per cui la campagna ha un tasso di conversione stupendo e un margine negativo.

Per stimare l'uplift devi conoscere tutti e due i mondi, e per conoscerli entrambi ti serve l'esperimento del capitolo 01. Non c'è scorciatoia: l'uplift si costruisce sopra un gruppo di controllo, e chi ti vende «modelli di uplift sui tuoi dati storici» senza un esperimento ti sta vendendo un modello di propensione con un nome nuovo.

Il modo più semplice che funziona, e che si scrive in un pomeriggio:

1. Fai una campagna con un gruppo di controllo vero, grande abbastanza (capitolo 02: fai il conto della potenza prima).
2. Addestri due modelli: uno che stima la probabilità di acquisto sui contattati, uno sui non contattati. Sono due modelli normali, di quelli della risorsa sui punteggi.
3. Per ogni cliente, l'uplift è la differenza fra le due stime.
4. Ordini per differenza, non per probabilità, e chiami dall'alto finché il budget regge.

Si chiama «two-model approach», è il più criticato dagli accademici perché la differenza di due stime rumorose è più rumorosa di ciascuna, ed è quello che consiglio di fare per primo lo stesso: si costruisce con quello che hai già, si capisce in una riunione, e il salto rispetto al non farlo è enorme. I metodi eleganti vengono dopo, quando quello semplice ha già dimostrato che qui ci sono soldi.

Le due cose da sapere prima di partire, perché sono quelle che fanno cadere il progetto:

• Il tasso di conversione della campagna peggiorerà. Stai smettendo di chiamare i sicuri, che compravano sempre, e cominci a chiamare i persuadibili, che comprano meno spesso. Il numero che il marketing porta in riunione da dieci anni scenderà, e il margine salirà. Questa conversazione va fatta prima di cambiare il criterio, non dopo, e va fatta con chi ha il potere di difendere il cambiamento.
• L'uplift è rumoroso. Stai stimando una differenza fra due numeri piccoli. Serve più roba che per un modello normale, e non ha senso su una lista di duemila clienti. Sotto le decine di migliaia, di solito, dico di non farlo e di limitarsi a togliere dalla lista i «sicuri» più evidenti, che è il 70% del beneficio a un decimo della fatica.

Questa è l'unica risorsa del sistema in cui il conto dei token non c'entra niente. Qui non serve un LLM, non serve una GPU e non serve un fornitore: serve dividere una lista in due e avere la pazienza di aspettare. Il costo è tutto organizzativo, ed è per questo che è il progetto più economico e il più difficile da far approvare.

Il conto vero, sull'esempio della simulazione in cima alla pagina, con ventimila clienti e duemila contatti:

• Costo del gruppo di controllo: rinunci a contattare 1.000 clienti per un ciclo. Se la campagna funziona come speri, sono qualche migliaio di euro di vendite rimandate. Non perse: rimandate, perché al ciclo dopo li contatti.
• Costo tecnico: due modelli di classificazione e una sottrazione. Una settimana di lavoro, e girano su un portatile.
• Ritorno, se la campagna era per propensione: nella simulazione si passa da un margine di −7.000 euro a +60.000, con lo stesso budget di contatti. Non perché il modello sia più bravo: perché stai chiamando altre persone.
• Ritorno, se la campagna non funzionava: smetti di rifarla. Se costava 8.000 euro a ciclo e la facevi quattro volte l'anno, sono 32.000 euro l'anno che tornano indietro, per sempre, in cambio di tre settimane di attesa.

Il costo della causalità è un ritardo e un po' di vendite rimandate. Il costo di non farla è rifare per dieci anni una campagna che nessuno ha mai misurato, e difenderne il budget con un numero che confronta i clienti buoni con quelli cattivi.

Un'ultima cosa, sull'ordine in cui affrontare le cose. Se hai una lista clienti e un budget di marketing e non hai mai fatto niente di tutto questo, non partire dall'uplift: parti dal gruppo di controllo. Un gruppo di controllo su una campagna sola, per un ciclo solo, ti dice se stai buttando i soldi, costa quasi zero e non richiede nessun modello. L'uplift viene dopo, quando hai scoperto che la campagna funziona ed è ora di capire su chi.

1. «Le vendite sono salite del 18% dopo la campagna.» Cosa chiedi?
   Cosa sarebbe successo senza. Se la risposta è «non lo sappiamo», il 18% misura la campagna più la stagione più i prezzi del concorrente più tutto quello che è successo nel mondo quel mese.
2. «Chi ha aperto la mail ha comprato tre volte tanto.» Che numero è?
   Zero. Chi apre la mail era già interessato. Stai confrontando i clienti motivati con quelli distratti, e la mail non c'entra. È il confronto rotto più diffuso che esista.
3. Perché la randomizzazione, e non un gruppo di controllo «scelto simile»?
   Perché il caso rende i due gruppi uguali anche nelle cose che non hai in tabella e a cui non hai pensato. Un gruppo scelto simile è simile solo nelle colonne che conoscevi.
4. «Non è emersa differenza significativa.» Cosa vuol dire?
   Quasi sempre: «il campione era troppo piccolo per rispondere». Chiedi la potenza. Se è il 10%, l'esperimento non poteva vedere l'effetto nemmeno se c'era.
5. Da cosa si parte per dimensionare un test?
   Dall'effetto più piccolo che ti farebbe cambiare decisione. Non da quello che speri, e non dal campione che hai sottomano.
6. Perché non si guarda il test ogni giorno fermandolo quando diventa verde?
   Perché trenta occasioni di sbagliare non sono una. La probabilità di beccare un falso positivo passa dal 5% a circa il 25%. Il momento in cui si guarda si decide prima.
7. La campagna funziona su ogni segmento e non sul totale. Chi ha ragione?
   Nessuno dei due, finché non sai come sono finiti i clienti nei gruppi. È Simpson, e vuol dire che l'assegnazione non era casuale. Con la randomizzazione il problema non esiste.
8. «Su questo segmento la campagna funziona benissimo.» Cosa chiedi?
   Quanti altri segmenti hai guardato prima di trovare questo. Con venti tagli e nessun effetto vero, una scoperta salta fuori nel 64% dei casi.
9. Un risultato su un sottogruppo trovato a posteriori, cos'è?
   Un'ipotesi, non una scoperta. Si scrive, si aspetta il trimestre dopo e si verifica su dati nuovi. Se svanisce, era rumore.
10. Su cosa poggia una differenza nelle differenze?
    Sull'ipotesi che senza il tuo intervento le due serie sarebbero rimaste parallele. Non è verificabile per il periodo dopo, e si controlla guardando gli anni prima. Se non erano parallele, il metodo non si usa.
11. Perché il modello di propensione ti fa perdere soldi?
    Perché è addestrato sullo storico, che è fatto di clienti non contattati: impara chi compra, cioè i sicuri, cioè proprio quelli a cui non serve telefonare. La vendita l'avresti avuta lo stesso.
12. Passi all'uplift e il tasso di conversione della campagna scende. È un problema?
    No, è la conferma che sta funzionando. Stai smettendo di chiamare chi comprava comunque. Quella conversazione va fatta prima di cambiare criterio, con chi difenderà il numero in riunione.

Se hai una campagna che gira da anni e nessuno ha mai tenuto fuori un gruppo di controllo, c'è una probabilità concreta che tu stia pagando per vendite che avevi già. Non è un'accusa: succede quasi ovunque, perché il numero sul cruscotto è sempre bello e nessuno ha interesse a scoprire che non vuol dire niente.

Il primo passo costa poco: si prende la prossima campagna, si tiene fuori il 5% dei clienti scelti a caso, si aspetta il ciclo. Alla fine hai un numero vero, e da quel momento le riunioni cambiano tono.

Se vuoi farlo insieme, scrivimi su WhatsApp e lo guardiamo sul tuo caso.