Quando nel 1998 un gruppo di ricercatori intervistò 1.690 adolescenti maschi statunitensi su consumo di droghe e comportamento sessuale, fu la modalità di somministrazione a decidere il risultato: se la domanda arrivava dal computer in cuffia invece che dal foglio cartaceo, i tassi di segnalazione dei comportamenti più delicati salivano di un fattore 3 o più. Lo studio uscì su Science, un quarto di secolo prima che esistessero le interviste con IA. Il meccanismo che sta dietro a quel risultato pesa sulla qualità dei dati qualitativi più di qualsiasi scelta di modello.
Conosco quel momento da oltre 20 anni: l'intervista è finita, il registratore è spento, la mano è già sulla maniglia della porta, e il partecipante dice: "Ancora una cosa..." Quello che arriva dopo è spesso più onesto dei 45 minuti precedenti.
Il motivo sta più in profondità della sincerità della persona. Appena un umano ascolta, rispondiamo a due domande contemporaneamente: quella posta e quella non posta, cioè che cosa l'altro sta pensando di noi in quel momento. La seconda vince più spesso di quanto a noi ricercatori faccia comodo.
Perché le persone rispondono più onestamente a un'IA? Perché viene meno il giudizio sociale dell'interlocutore. Appena un umano ascolta, le persone ritoccano le risposte verso ciò che è socialmente desiderabile; Tourangeau e Yan (2007) descrivono questo abbellimento delle proprie risposte (social desirability bias) come un processo che scatta soprattutto in presenza di un intervistatore. Quando il valutatore percepito scompare, la risposta si avvicina alla verità: un dato confermato dalle meta-analisi fin dagli anni Novanta e il vantaggio qualitativo centrale delle interviste condotte da un'IA.
L'intervistatore fa parte della misurazione
La ricerca demoscopica lo sa da oltre mezzo secolo: chi pone la domanda cambia la risposta. Schuman e Converse mostrarono nel 1971 che gli intervistati neri di Detroit rispondevano in modo diverso a seconda che davanti avessero un intervistatore nero o bianco; l'effetto era più netto sulle domande politicamente più cariche, quasi assente sulle pure domande fattuali.
Distorsioni del genere sono una proprietà della situazione di intervista, non un errore di mestiere. Età, genere, modo di porsi, logo aziendale sul badge: tutto nell'interlocutore manda segnali su quale risposta verrà probabilmente accolta bene; in 50 anni di ricerca demoscopica nessuna formazione è riuscita a eliminarle del tutto.
L'ho visto abbastanza spesso dall'interno. Se durante un test di usabilità il product owner siede nella stessa stanza, il giudizio finale risulta regolarmente più gentile dei minuti precedenti, in cui la stessa persona si era arenata sul prodotto.
La linea di ricerca comincia nel 1969
Se le persone confidino a una macchina più che a un umano è una domanda che la ricerca ha indagato molto prima di ChatGPT. Una prima meta-analisi riassunse nel 1996 ciò che 39 studi avevano misurato dal 1969 in poi: dove a chiedere era un computer, le persone rivelavano più cose di sé, con lo scarto più netto rispetto all'intervista faccia a faccia.
La prova singola più dura la fornì lo studio su Science citato in apertura. I 1.690 adolescenti vennero assegnati a caso alle diverse modalità con domande identiche; il gruppo al computer riferì il consumo di droghe per via iniettiva e altri comportamenti altamente sensibili con una frequenza maggiore di un fattore 3 o più rispetto al gruppo su carta.
Dove nasca esattamente il guadagno lo hanno misurato Richman, Kiesler e colleghi nel 1999 su 61 studi: tra computer e questionario cartaceo in media non c'era quasi nulla (effect size 0,05), il calo delle risposte socialmente desiderabili nasceva dalla sostituzione dell'intervista faccia a faccia (-0,19). Il computer vince contro l'umano che osserva, non contro la carta.
Che lo studio di Science abbia comunque trovato un fattore 3 contro la carta si spiega nei dettagli: i suoi adolescenti rispondevano alle domande più delicate in assoluto, in cuffia invece che su un foglio visibile a genitori o intervistatori presenti nella stanza; i confronti su carta di Richman misuravano invece per lo più innocue scale di personalità. Più la domanda è delicata e più è presente qualcuno che potrebbe leggere le risposte, più il divario cresce.
Esattamente questa stratificazione è riemersa in una meta-analisi del 2015 con dati di 125.672 intervistati: gli effetti maggiori sui temi più sensibili e nelle rilevazioni individuali. Sulla feature preferita il mezzo di rilevazione è quindi quasi indifferente; quando si parla di soldi o di fallimenti diventa decisivo.
L'osservatore nella testa fa la differenza
Come funzioni esattamente il meccanismo l'ha isolato un esperimento della University of Southern California. Lì 239 adulti parlarono con l'intervistatrice virtuale Ellie di temi pesanti come la salute mentale; la tecnologia era identica per tutti. A variare era solo ciò che i partecipanti credevano: una metà riteneva Ellie un computer completamente automatico, l'altra dava per scontato che un umano osservasse e guidasse la figura.
Chi credeva di essere solo con una macchina mostrava meno paura del giudizio, curava meno la propria immagine e lasciava più spazio alla tristezza; osservatori indipendenti classificarono quelle conversazioni come più aperte. Stesso software, stesse domande, un pubblico diverso nella testa.
Per me è il risultato centrale dell'intera linea di ricerca: la distorsione nasce dal giudizio umano percepito, la tecnologia dietro è intercambiabile. Per questo ogni upgrade di modello interviene nel punto sbagliato finché il setting mette un valutatore nella stanza dell'intervistato.
Dove il vantaggio si ribalta
Il riflesso sociale non scompare del tutto nemmeno davanti a uno schermo. Nass e Moon documentarono nel 2000 che le persone applicano ai computer regole sociali senza pensarci: sono gentili con le macchine, ricorrono a stereotipi, ricambiano un aiuto. Il bias si riduce, non si azzera.
E torna appena la macchina riceve un volto. In un esperimento di laboratorio di Lind, Schober e colleghi (2013) i 235 partecipanti mostrarono la massima apertura con un'interfaccia solo audio, più che davanti a due intervistatori virtuali animati. Bastava l'accenno di un volto che osserva per comprimere l'apertura.
A questo si aggiunge ciò che le conversazioni umane sanno semplicemente fare meglio. A un festival musicale alcuni ricercatori fecero parlare 286 visitatori di temi intimi con un chatbot oppure con un umano: con il bot la paura di essere giudicati era minore, ma dell'umano i visitatori si fidavano di più; nella valutazione codificata gli raccontarono perfino le cose più intime. Rapport, interesse autentico, il fiuto per il momento in cui stare zitti frutta più che fare un'altra domanda: tutto questo resta terreno umano.
Questo dibattito lo conosciamo tutti, di solito sotto il titolo "le interviste con IA non hanno anima". Sui temi che richiedono relazione, come l'accompagnamento nel lutto o il coaching per dirigenti, continuerei a mandare un umano nella conversazione; sui temi che toccano la vergogna i dati parlano un'altra lingua, e le lacune conoscitive più grandi in ambito prodotto e CX stanno proprio lì: soldi, salute, fallimenti, frustrazione verso il proprio datore di lavoro.
Che cosa significa per il design delle interviste con IA
Da questa ricerca discendono scelte concettuali concrete, e alcune sono confluite direttamente in QUALLEE.
Le nostre interviste sono volutamente una conversazione in forma di testo, senza volto animato, senza avatar dalle sembianze umane. Il motivo è lo studio di Lind.
I partecipanti sanno sempre che a fare le domande è un'IA; dal 2 agosto 2026 lo richiede comunque l'AI Act europeo, e l'esperimento di Ellie suggerisce che è proprio questa chiarezza a generare il vantaggio. Da noi si analizzano pattern trasversali a tutte le conversazioni invece di profili individuali con nome e cognome: chi deve temere che la propria frase arrivi al capo con tanto di mittente ricomincia a ritoccare le risposte.
In compenso le domande di approfondimento scavano nel merito: adattive, concrete, finché l'esempio non è sul tavolo. Perché una conversazione arrivi in punti che un campo di modulo non raggiunge mai l'ho descritto in dettaglio qui.
Resta la domanda se i partecipanti vogliano davvero questo formato. In un working paper di Chopra e Haaland, che ha analizzato 381 interviste testuali condotte da un'IA sul perché le persone non investono in azioni, il 71 per cento degli intervistati preferì, dopo la propria conversazione, l'intervistatore IA a quello umano; oltre il 96 per cento parteciperebbe di nuovo a un'intervista del genere.
Il settore in questo momento discute molto di modelli: quale LLM approfondisce meglio, capisce più a fondo, riassume più pulito. La leva più vecchia e più grande sta nel setting stesso. Nessun upgrade di modello riporta indietro una verità sparita dalla conversazione per cortesia.
La conseguenza scomoda alla fine ricade su noi ricercatori. Quando la versione cortese viene meno, arrivano risposte che fanno male: su prodotti, processi, leadership. La frase che finora cadeva solo sulla maniglia della porta finisce nel report, e la vera domanda è se la tua organizzazione è pronta a leggerla.
Domande frequenti sull'onestà nelle interviste con IA
Le persone rispondono davvero più onestamente a un'IA che a un umano?
Sui temi delicati sì: già le meta-analisi degli anni Novanta trovarono gli effetti più netti dove un computer sostituiva l'intervista faccia a faccia; le persone rivelano più cose di sé appena a chiedere non è un umano. Sui temi quotidiani e innocui la differenza è invece piccola o non misurabile.
Perché con un'IA viene meno il giudizio sociale?
A distorcere le risposte è soprattutto la paura del giudizio, e quella dipende dall'osservatore umano percepito. Nell'esperimento della USC bastò la semplice convinzione che un umano stesse guardando per aumentare la cura dell'immagine e ridurre l'apertura, a parità di tecnologia.
Il social desirability bias scompare del tutto davanti a un'IA?
No. Le persone trasferiscono riflessi sociali come la cortesia anche alle macchine; l'effetto si riduce ma non sparisce. Torna a crescere appena l'interfaccia riceve un volto o assume tratti marcatamente umani.
Dove restano superiori le interviste condotte da umani?
Ovunque relazione e rapport siano il cuore del metodo: osservazione nel contesto, co-creazione, accompagnamento nel lutto, coaching. Un interlocutore umano sa coinvolgere, consolare e tacere al momento giusto; un'intervista con IA rende di più proprio dove quella presenza sociale comprime l'onestà.
Come applica QUALLEE questi risultati?
Conduciamo interviste testuali senza avatar con volto, dichiariamo l'IA in modo trasparente, analizziamo pattern invece di profili individuali e lasciamo che le domande di approfondimento scavino nel merito. Da noi l'onestà delle risposte è una decisione di design.
Fonti
- Weisband, S. & Kiesler, S. (1996): Self Disclosure on Computer Forms: Meta-Analysis and Implications. CHI '96.
- Turner, C. F. et al. (1998): Adolescent Sexual Behavior, Drug Use, and Violence: Increased Reporting with Computer Survey Technology. Science, 280(5365).
- Richman, W. L., Kiesler, S., Weisband, S. & Drasgow, F. (1999): A Meta-Analytic Study of Social Desirability Distortion. Journal of Applied Psychology, 84(5).
- Gnambs, T. & Kaspar, K. (2015): Disclosure of Sensitive Behaviors Across Self-Administered Survey Modes: A Meta-Analysis. Behavior Research Methods, 47(4).
- Tourangeau, R. & Yan, T. (2007): Sensitive Questions in Surveys. Psychological Bulletin, 133(5).
- Schuman, H. & Converse, J. M. (1971): The Effects of Black and White Interviewers on Black Responses in 1968. Public Opinion Quarterly, 35(1).
- Lucas, G. M., Gratch, J., King, A. & Morency, L.-P. (2014): It's Only a Computer: Virtual Humans Increase Willingness to Disclose. Computers in Human Behavior, 37.
- Lind, L. H., Schober, M. F., Conrad, F. G. & Reichert, H. (2013): Why Do Survey Respondents Disclose More When Computers Ask the Questions?. Public Opinion Quarterly, 77(4).
- Nass, C. & Moon, Y. (2000): Machines and Mindlessness: Social Responses to Computers. Journal of Social Issues, 56(1).
- Croes, E. A. J., Antheunis, M. L., van der Lee, C. & de Wit, J. (2024): Digital Confessions: The Willingness to Disclose Intimate Information to a Chatbot. Interacting with Computers, 36(5).
- Chopra, F. & Haaland, I. (2023): Conducting Qualitative Interviews with AI. CESifo Working Paper.
Provalo tu stesso
Come ci si sente in una conversazione senza giudizio sociale lo scopri prima di tutto provando: 20 minuti, nessun login, direttamente nel browser. E se dopo vuoi condurre interviste tue: le prime tre sono gratuite.
