Come misuriamo
SIO raccoglie ogni giorno una risposta per prompt e per motore da ChatGPT, Gemini, Google AI Overviews e Google AI Mode, riconosce i marchi seguiti nel testo e nelle fonti, e riporta quote su finestre di 14 o 28 giorni. Ogni numero porta con sé il numero di risposte e l'intervallo di confidenza, e i motori non si sommano mai.
Il principio
Se fai due volte la stessa domanda a un assistente AI, ottieni due risposte diverse. Una risposta sola è un aneddoto. Per questo SIO non riporta mai un singolo caso: riporta la quota di risposte in cui succede qualcosa, calcolata su molte risposte, con un intervallo di confidenza e il numero di risposte usate.
Da dove arrivano le risposte
Ogni motore è un canale a sé. I numeri si calcolano dentro un canale e non si sommano mai fra canali.
| Motore | Da dove arriva la risposta |
|---|---|
| ChatGPT | Risposta campionata da un fornitore di dati con licenza |
| Gemini | Risposta campionata da un fornitore di dati con licenza |
| Google AI Overviews | Risposta campionata da un fornitore di dati con licenza |
| Google AI Mode | Risposta campionata da un fornitore di dati con licenza |
| Perplexity | In attivazione, non ancora disponibile. Quando sarà attivo: API ufficiale di Perplexity |
Non facciamo scraping delle interfacce degli assistenti. «Campionata» vuol dire che la risposta è un campione di quello che il motore risponde a quella domanda in quel paese e in quella lingua, non necessariamente identico a quello che vedrebbe una persona in quel momento. Oggi sono attivi quattro motori; Perplexity è in attivazione. Claude e Copilot non sono coperti nella beta. Un motore può cambiare il modo in cui risponde, o diventare non disponibile, senza preavviso: quando succede lo segnaliamo nel prodotto.
Quante risposte raccogliamo
- Una risposta per prompt, per motore, per giorno.
- Quando crei un prompt, una linea di base di cinque risposte per motore. È sempre provvisoria e si mostra solo a livello di progetto e motore, mai per un prompt solo.
- Un prompt è legato a un paese e a una lingua. Lo stesso testo in due paesi o in due lingue è un prompt per ciascuno.
Le metriche della beta
Si calcolano solo fra i marchi che segui: il tuo e i concorrenti che scegli.
- Visibilità. La quota di risposte che nominano il tuo marchio.
- Nominato per primo. La quota di risposte in cui il tuo è il primo, fra i marchi seguiti, a essere nominato.
- Citazioni. La quota di risposte che citano pagine del tuo sito tra le fonti.
- Fonti e Gap. I domini e gli URL citati nelle risposte e, con il Gap, quelli citati quando nominano i tuoi concorrenti e non te.
Il riconoscimento dei marchi è deterministico (nome e dominio nel testo e nelle fonti). Un modello interviene solo sui casi ambigui.
Finestre mobili
I numeri si leggono su una finestra mobile di 14 o 28 giorni, motore per motore. La finestra minima è di 14 giorni.
Intervalli di confidenza e «entro il rumore»
- Un prompt su un motore. Usiamo l'intervallo di Wilson, adatto a quote calcolate su poche risposte.
- Più prompt. Un numero che riunisce più prompt usa un bootstrap sui prompt: ricampioniamo i prompt molte volte e vediamo quanto cambia il risultato. Così l'intervallo tiene conto del fatto che prompt diversi si comportano in modo diverso.
- Confronti nel tempo. Se gli intervalli di due finestre si sovrappongono, non scriviamo «+3%» o «−2%»: scriviamo «entro il rumore».
Cosa il prodotto si rifiuta di mostrare
| Non mostriamo | Perché |
|---|---|
| Tendenze o variazioni di un singolo prompt | Una domanda sola ha troppo caso: la sua curva inviterebbe a leggere rumore come segnale. |
| Percentuali di un prompt su meno di 20 risposte | Con così poche risposte la percentuale dice poco e invita a conclusioni che i dati non reggono. |
| Grafici giornalieri | Un giorno solo è un campione troppo piccolo. La finestra minima è di 14 giorni. |
| Totali fra motori | Ogni motore ha le sue fonti, le sue risposte e i suoi utenti. Sommarli darebbe un numero che non descrive nessuno di loro. Vedi i motori affiancati sulla stessa scala, non un totale. |
| Variazioni con intervalli che si sovrappongono | Non si distinguono dal caso: le chiamiamo «entro il rumore». |
| La linea di base come numero definitivo | Cinque risposte per prompt e motore sono un primo sguardo. Si mostra solo per progetto e motore, e sempre come provvisoria. |
Quando Google non mostra una risposta AI
Per AI Overviews e AI Mode, a volte Google non mostra alcuna risposta AI per quella domanda. Non è un errore né un caso in cui «non sei nominato»: è un dato a parte, che chiamiamo «assente». Lo riportiamo separatamente e lo teniamo fuori dai denominatori delle quote.
Cosa il prodotto non consiglierà mai
La beta non dà raccomandazioni. Quando le darà, ci sono tattiche che non proporrà in nessun caso, perché ingannano chi legge o chi indicizza e possono danneggiare il marchio:
- testo nascosto pensato per i modelli;
- stringhe avversarie per influenzare le risposte;
- pagine sintetiche create in massa;
- recensioni o date false;
- cloaking, cioè mostrare contenuti diversi ai bot e alle persone;
- autorità inventata, come esperti, premi, certificazioni o citazioni che non esistono.
I limiti
- Le risposte campionate possono differire da quelle che una persona vede in quel momento.
- Il risultato di un'API ufficiale può differire da quello dell'interfaccia dello stesso assistente.
- I numeri sono stime campionate, con il loro intervallo. Non sono una garanzia di visibilità, di posizione o di risultati.
- Una quota che cambia dopo una tua modifica al sito non prova che la modifica abbia funzionato. Il confronto prima/dopo con prompt di controllo è fra le cose in arrivo, non nella beta.
Chi risponde del metodo
Il metodo è scritto e mantenuto da chi offre il servizio, Alessio Battagliero: chi è e cosa il servizio fa e non fa è spiegato nella pagina Chi siamo. Se trovi un errore in questa pagina, o un numero nel prodotto che non torna con quello che c'è scritto qui, scrivi a [email protected]: le correzioni si riportano qui, con la data dell'aggiornamento.