La fallacia di Climbook: riflessioni sul grado

Scritto da Jolly Lamberti il 05-04-2021 in Climbook
80b558f5 cbbc 41ae 88f6 6994ec4b4438

Come nacque Climbook
Prima del 2008 ho sempre tenuto un diario dove annotavo le vie che salivo: se le avevo salite a vista, il numero dei tentativi, la data, la bellezza. Notai che molti scalatori tenevano il famoso “quadernino” delle vie, una sorta di registro (log-book) delle scalate. Da qui mi venne l’idea di Climb-Book.
Era il 2007, il web stava diventano “2.0”, e l’idea principale del 2.0 consisteva nel fatto che gli stessi utenti potevano arricchire di contenuti un portale; molti nuovi siti che stavano nascendo non erano più a senso unico, dall’alto verso il basso, bensì le informazioni si aggregavano dal basso verso l’alto: gli utenti interagivano per creare i contenuti.
Volevo che gli scalatori aprissero al mondo i loro diari. L’ottimo Paolo Zaccagnini scrisse il codice e Climbook sbocciò – all’inizio lentamente, come una primula che spunta tra la neve.
Da quel momento l’utilizzatore finale poteva disporre di una guida le cui informazioni non scaturivano più dal giudizio (spesso erroneo) di una sola persona, ma dalla media di innumerevoli giudizi soggettivi. Se cento persone decretavano che Lola Falana era un 7b duro e Ghostbusters un 6a facile, molto probabilmente questo stava a significare che i gradi “ufficiali” erano sbagliati. Voleva essere un nuovo modo per creare una guida democratica che risolvesse l’annosa questione dei gradi, che fino ad allora venivano decisi a tavolino da una sola persona, o si tramandavano come un dogma; oppure, peggio ancora, venivano considerati “soggettivi” (aborro questa definizione, perché non è veritiera).
Ma.
Anche se grossolanamente tutto questo sembra funzionare, ci sono degli errori sistematici e dei pregiudizi che inquinano il sistema. Se vogliamo usare un termine di moda, potremmo parlare di bias. Ci sono dei bias. E grossi pure.

Primo problema di Climbook: gli osservatori si influenzano a vicenda

Per capire bene dove risiede l’errore, torniamo un attimo al principio fondatore di Climbook. Questo principio è spiegato molto bene nel libro La saggezza della folla di James Surowiecki: a molte persone viene mostrato un vaso di vetro pieno di monete; queste persone devono indovinare il numero di monete che ci sono dentro. I singoli individui non sono bravi a dare una risposta, mentre la media delle risposte tende verso il risultato corretto. Sembra incredibile, ma è così. Questo accade perché tutti i giudizi hanno una base comune (lo stesso vaso con le stesse monete) mentre gli errori che gli individui commettono sono indipendenti dagli errori commessi dagli altri (nessuno sa quello che stimano le altre persone); quindi, in assenza di un errore sistematico, alcuni tendono a sovrastimare, altri a sottostimare, e gli errori commessi tendono a avere come media zero. Come fa notare il premio Nobel Daniel Kahneman nel bellissimo libro Pensieri lenti e veloci, questa riduzione dell’errore sembra una magia, ma funziona bene solo quando le osservazioni sono indipendenti e gli errori non sono correlati. Come dice Kahneman, “se gli osservatori condividono un bias, la somma dei giudizi collettivi non lo riduce”.
Ecco svelato il primo grosso problema di Climbook: l’errore non è decorrelato, gli osservatori si influenzano a vicenda. Prima di decidere che grado proporre, vado a vedere cosa ne pensano gli altri, ho paura di mostrarmi debole se propongo un grado troppo alto o di mostrarmi arrogante se sgrado troppo rispetto alla loro scelta.
Poichè i giudizi non sono indipendenti, gli errori sono correlati, quindi la magia della “saggezza della folla” non funziona o funziona solo in piccola parte.

Secondo problema di Climbook: l’effetto àncora

L’effetto ancoraggio è un errore cognitivo molto studiato e ormai assodato. Anche se non ce ne accorgiamo, ci capita quasi tutti i giorni di commettere errori a causa di “àncore”. Eccone un esempio (reale).
A un gruppo di visitatori di un museo vennero poste le seguenti domande:
– “La sequoia più alta del mondo è alta più o meno di 365 metri?”
– “Quale ritieni che sia l’altezza della sequoia più alta del mondo?
La stima media fu 257 metri.
A un altro gruppo di visitatori, venne cambiata la prima domanda:
– “La sequoia più alta del mondo è alta più o meno di 54 metri?
– “Quale ritieni che sia l’altezza della sequoia più alta del mondo?
In questo caso la stima media fu di soli 86 metri! 1
L’effetto àncora sembra una cosa banale, che tutti conosciamo; la cosa strana è che le ancore funzionano anche quando sono del tutto casuali, quando non dànno alcuna informazione sulla stima da fare. È stato dimostrato che anche numeri generati completamente a caso possono funzionare da ancore 2. Eccoci arrivati al secondo errore di Climbook: il “grado ufficiale” è un perfetto esempio di àncora.
Immaginiamo una via che ragionevolmente può essere gradata 7a. Sulla guida (e di conseguenza nel “grado ufficiale” di Climbook) erroneamente viene valutata 7c+. La provate, la trovate molto facile per il grado – “mai nella vita 7c+”, pensate, e credendo di fare un grosso sgrado la proponete 7b+.
Sempre la stessa via, erroneamente, viene gradata 6a+. “Mai nella vita 6a+”, pensate, e azzardate un upgrade addirittura a 6b+. Ci sono meccanismi consci (paura di mostrarsi deboli se si upgrada o arroganti se si sgrada) e automatici (suggestioni, associazioni) che non ci permettono di allontanarci troppo dalla nostra àncora: il risultato è che il grado proposto non si discosta mai troppo dal grado ufficiale.
Se tolgo la possibilità di vedere “il grado guida ufficiale” elimino un’importante funzione di Climbook (quella di guida, appunto). Ma se lo lascio getto un’àncora alla quale tutti, consapevolmente o no, si agganceranno. Allo stesso modo se tolgo la possibilità di vedere cosa ne pensano gli scalatori di cui mi fido, tolgo un’importante funzione del sito, ma comprometto la magia della “saggezza della folla” rendendo correlati gli errori. Sembrerebbe non esserci via di uscita.

1 Karen E. Jacowitz, Daniel Kahnema, Measures of Anchoring in Estimation Tasks, in Personality and Social Psychology Bulletin, 21(11):1161-1166, 1995

2 Birte Englich, Thomas Mussweiler, Playng Dice with Criminal sentence: the influence of irrelevant anchors on experts’ judicial decision making

Terzo problema di Climbook: le sconfitte non contano

Un altro grande buco del sistema Climbook è il fatto che le “non riuscite”, che sono forse i dati più significativi, non si possono inserire (ma qualcuno lo farebbe?). Mi spiego meglio: nella nostra carriera di climber abbiamo scalato molte vie (nel senso di “liberato”); ma quante, invece, le abbiamo provate e non siamo riusciti a chiuderle? Molte; e nessuna di queste viene considerata dall’algoritmo di Climbook.
Così come la qualità di un climber (o di un tennista, o di un giocatore di scacchi) non si misura solo dalle vittorie ma anche dalle sconfitte, allo stesso modo la difficoltà di una via non si può misurare calcolando soltanto le salite, ma anche (e soprattutto, dico io), andando a vedere quanti l’hanno provata senza successo. Action Directe è il 9a con più ripetizioni al mondo, ma forse risulterebbe anche il più difficile, se si andassero a contare tutti quelli che l’hanno provata invano (Sharma, Huber, Moon, Roulling, il sottoscritto e molti altri).
La non riuscita è un’informazione significativa almeno quanto la riuscita.
Si pubblicano le vittorie e si nascondono le sconfitte. Ma il grado di una via ha una definizione statistica prima ancora che soggettiva (o meglio, diventa soggettivo perché siamo incapaci di darne una valutazione statistica).

Verso riflessioni future

La mia posizione è platonica. Il fatto che il risultato non sia accessibile sul piano epistemologico, non nega la sua esistenza.
Al contrario di quello che accade nella meccanica quantistica, la non determinabilità del grado è un problema metodologico e non ontologico, come i più vorrebbero far credere.
Basta fare un esperimento ideale per dimostrarlo: 1000 scalatori si confrontano su 10 vie in un tempo dato. La via scalata da 1000 persone ha difficoltà 1. Quella riuscita da una sola persona ha difficoltà 1000. Il grado della via è oggettivo: 1000 diviso il numero di persone che riescono a salirla in un tempo dato. E se non fosse sufficiente, basterebbe estendere l’esperimento a tutti gli scalatori del mondo per ottenere il grado giusto di quelle vie.

E quindi? Ho in mente vari modi per sistemare questi errori, ma c’è da lavorarci su.
La causa intentata da Facebook contro di me è ancora in corso. Dopo aver vinto in primo e secondo grado, ora sono in attesa del giudizio della corte suprema di cassazione. Quando ci sarà un giudizio definitivo potrò decidere di investire nuovamente tempo e risorse in questo progetto.

Commenti degli utenti

Per inserire un commento devi registrarti sul sito.