Banco di prova · fotografia e modelli locali

Conta più come scrivi la domanda che quanto è grande il modello

Un banco di prova su fotografia vera, e quanto degli errori era colpa mia

Simone · agosto 2026 · interamente in locale · English

Perché

I benchmark per i modelli che "vedono" girano su dataset accademici, screenshot di interfacce, immagini di repertorio. Quasi nessuno li mette davanti a fotografia vera: controluce, chiaroscuro, mosso, buio, composizione ambigua. E i fotografi, che saprebbero giudicare il risultato, non frequentano la comunità dei modelli locali.

Io ho un archivio di cui detengo i diritti e dodici anni passati a fotografare. Ho messo le due cose insieme.

Il punto di partenza era una domanda pratica: se voglio far etichettare il mio archivio da un modello che gira sul mio portatile, quale scelgo? La risposta che ho trovato non è quella che cercavo, ed è più utile.


Il dataset

133 fotografie, 51 servizi diversi, 1330 giudizi umani. Vengono tutte dal mio archivio personale.

Scelte per difficoltà e non per bellezza: notturni con luce artificiale (40), controluce e sagome (29), bianco e nero ad alto contrasto (18), scene affollate (17), ritratti (15), interni in penombra (5), più un campione di fotografie ordinarie (9) che serve a mostrare cosa i modelli azzeccano.

Dieci domande a risposta sì/no per fotografia, e non una descrizione libera. Un modello da quattro miliardi di parametri è pessimo a "descrivi questa foto" e discreto a "quali di questi dieci tag si applicano": produce prosa fluente e inutile da misurare. La domanda si fa una per tag, separata. Spuntare una lista unica dà risposte instabili; una domanda per volta no.

Cosa è stato escluso, e perché lo dico. Tre immagini generate da un modello o di prova, entrate per un difetto della mia selezione automatica: un banco che misura i modelli sulla fotografia vera non può contenere immagini sintetiche. Quattordici doppioni dello stesso fotogramma, entrati perché il filtro confrontava le foto nuove solo fra loro. Cinquantaquattro fotogrammi in più di servizi già rappresentati almeno tre volte: aggiungevano ripetizione, non prove. Tutto è marcato nel file con il motivo, non cancellato.

Quanto è affidabile chi ha annotato. I quattordici doppioni sono stati annotati due volte senza che me ne accorgessi. Confrontando le due passate: 104 giudizi identici su 106, il 98%. È una misura di stabilità dell'annotatore che quasi nessun dataset riporta, e qui è arrivata per sbaglio. L'incerto era una risposta ammessa e usata: l'1,7% dei giudizi.

La macchina. Le sezioni 1-4 sono state misurate su un MacBook Air M4 con 16 GB di memoria unificata; le sezioni 5-8 su un MacBook Pro M5 Pro con 24 GB, dove un 8B a precisione Q8 finalmente entra in memoria. Le accuratezze non dipendono dalla macchina. I tempi sì, e ogni confronto di tempi in questo articolo è fra misure fatte sulla stessa. Interamente in locale: niente cloud, niente API a pagamento, niente noleggiato.


I risultati

1. La formulazione della domanda vale più della taglia del modello

Il tag sorgente chiedeva: «Si vede dentro l'inquadratura una sorgente di luce: sole, lampada, finestra o porta illuminata?»

Il modello da 4 miliardi rispondeva "sì" appena 18 volte su 126, e si lasciava sfuggire 55 fotografie in cui la luce era in mezzo all'inquadratura. Sembrava cecità. Nelle risposte grezze si leggeva la ragione: «No, la foto è scattata di notte e non c'è il sole». Rispondeva al primo esempio dell'elenco invece che alla domanda.

Ho riscritto la domanda mantenendo identico il significato: «Nella fotografia si vede una luce accesa?» Stesse 126 foto, stessa verità di riferimento, stesso modello.

formulazioneqwen3-vl:4bqwen3-vl:8b
con l'elenco di esempi47%70%
senza elenco82%91%
Stesse 126 fotografie, stessa verità di riferimento, stesso modello. Cambia solo la formulazione.

Trentacinque punti sul modello piccolo, venti sul grande, senza toccare i pesi. E soprattutto: il modello da 4 GB con la domanda giusta (82%) batte quello da 6 GB con la domanda sbagliata (70%).

Quasi tutti i confronti fra modelli tengono il prompt fisso, e così misurano anche, forse soprattutto, la propria formulazione.

La spiegazione che ho dato qui («risponde al primo esempio») si è poi rivelata incompleta. Le sezioni 7 e 8 la correggono: non è l'elenco, è un primo esempio che l'immagine smentisce, e conta molto quanto è piccolo il modello.

2. La negazione rompe il modello grande

Terza formulazione, stessa cosa a polarità rovesciata: «Nella fotografia manca qualsiasi luce accesa visibile?»

Il modello da 8 miliardi risponde "sì" una volta su 126. Dice sempre "no, la luce non manca", indipendentemente dall'immagine: sbaglia tutte e 64 le fotografie in cui la luce davvero non c'era. Non vede male: non elabora la negazione, e risponde come se la domanda fosse quella affermativa.

Il modello da 4 miliardi, sugli stessi casi, risponde "sì" 16 volte: poco, ma non è un blocco.

Il modello che sembrava più robusto è quello che cade più rovinosamente su un cambio di parola che un lettore umano non nota nemmeno.

3. Stessa media, difetti opposti

Sul totale delle dieci domande i due modelli sono indistinguibili: 90% ±2 entrambi. Sei gigabyte contro quattro, e il 45% di tempo in più, non comprano niente sulla media.

Ma la media nasconde tutto:

qwen3-vl:4bqwen3-vl:8b
sorgente, si vede una luce accesa48%71%
volto, si distinguono i tratti di un volto96%81%
Le due domande su cui i modelli divergono di più. Sulle altre otto stanno entro un punto o due.

Va contato per scena, non per fotogramma, altrimenti una serata storta si traveste da tendenza: dei 65 errori del piccolo su sorgente, 34 vengono da tre servizi notturni e 14 da uno solo. Fatta la conta giusta il quadro regge lo stesso: il piccolo sbaglia sorgente in 23 servizi su 51, il grande sbaglia volto in 12.

Se il tuo lavoro è notturno con luci in scena, vuoi il modello grande. Se ti servono i volti, vuoi il piccolo. Una classifica a punteggio unico direbbe che sono equivalenti, e ti farebbe scegliere a caso.

4. Metà delle mie domande non misurava niente

Questa è contro di me e va detta.

Per ogni tag ho confrontato il modello con un pappagallo che risponde sempre la risposta più frequente:

tagpappagallo4b8b
molte (più di cinque persone)53%97%98%
notte60%96%93%
sorgente51%48%71%
volto75%96%81%
mono78%99%100%
esterno79%93%91%
ombra75%79%77%
mare88%99%100%
persone83%97%98%
silhouette97%96%91%
Il pappagallo risponde sempre la risposta più frequente senza guardare l'immagine. Un modello che non lo batte non sta misurando niente.

silhouette ha quattro "sì" su 132 fotografie: il pappagallo batte entrambi i modelli. Quel 96% che sembrava un risultato eccellente non dice assolutamente nulla. ombra sta quattro punti sopra il pappagallo, cioè nel rumore.

Un tag misura qualcosa solo se le due risposte sono bilanciate. Non a caso l'unico tag davvero informativo è sorgente, con il 49% di "sì", ed è quello su cui è emerso tutto il resto. Le percentuali di accuratezza senza il confronto col pappagallo sono decorazione.

5. Q4 contro Q8: prima ancora dei numeri, il modello smette di rispondere

Questa prova era in programma dall'inizio e non l'avevo mai fatta, perché sul portatile di allora un 8B a precisione Q8 non entrava in memoria. Ora entra, e la domanda è semplice: la versione meno compressa sbaglia di meno?

Il primo giro diceva di no, anzi diceva che Q8 era nettamente peggio. Era falso, e il modo in cui era falso conta più della risposta.

A Q8 l'8b non rispondeva. Un terzo delle volte restituiva il vuoto: un token generato e stop. Il punteggio veniva calcolato solo sulle volte in cui una risposta arrivava: un sottoinsieme scelto dal guasto stesso. La causa non era il modello ma una riga del mio codice: il prefill <think></think>, che serve a impedire ai modelli thinking di consumare tutti i token ragionando. Su Q4 funziona. Su Q8 fa emettere subito il token di fine.

Scrivendolo su più righe l'8b torna a rispondere sempre. Ma allora è il 4b a Q8 che smette di obbedire al formato e si mette a descrivere la fotografia in inglese: «The image shows a group of people performing on an outdoor stage». Non era nemmeno visibile, perché il mio lettore ha un ripiego che cerca un "sì" o un "no" dentro il testo, e lo trovava dentro la prosa. Contava come risposta una descrizione.

Il formato chiesto era una parola sola. Ecco quante risposte lo rispettano, a seconda di una differenza di spaziatura in una riga di prompt:

<think></think>su più righenessun prefill
4b Q4100%100%76%
4b Q814%17%100%
8b Q495%100%78%
8b Q869%100%100%
Quota di risposte che sono davvero una parola sola. Non è accuratezza: è se una risposta sia arrivata.

Non esiste una riga che vada bene per tutti e quattro. Con il prefill i Q4 rispondono e il 4b a Q8 scrive prosa; senza, il 4b a Q8 risponde e i due Q4 ammutoliscono. Non è un ostacolo da aggirare: è il risultato.

Ho rifatto la misura con ogni modello nella configurazione in cui obbedisce. Tutti e quattro al 100% nel formato, 1300 giudizi ciascuno:

Q4Q8
4b90,1%86,5%Q4 meglio, gli intervalli non si toccano
8b88,5%89,2%non distinguibile dal rumore
Ogni modello nella configurazione in cui obbedisce al formato, 1300 giudizi ciascuno. Intervalli di Wilson al 95%.

Quindi: Q8 non conviene. Sul modello piccolo peggiora, sul grande non cambia niente misurabile, e costa il doppio della memoria. Su 24 GB condivisi con il sistema è una risposta pratica: tenete Q4 e usate la memoria per altro.

Ma di nuovo la media nasconde, e stavolta nella stessa direzione su entrambe le taglie:

domanda4b8b
silhouette−38%−22%
sorgente+6%+16%
ombra+7%+8%

Q8 recupera proprio dove Q4 era più debole: la sorgente di luce, l'ombra. E crolla su silhouette. Che sia coerente su due taglie diverse dice che non è rumore. Che silhouette abbia quattro "sì" su 132 dice di non farci troppo affidamento comunque: vale il paragrafo qui sopra.

Una nota che vale più della tabella. Il solo passaggio da <think></think> al prefill su più righe sposta l'accuratezza dell'8b a Q4 da 90,3% a 88,5%. Quasi due punti da una differenza di spaziatura, sullo stesso modello e le stesse fotografie. Se cercate una ragione per diffidare delle classifiche a punteggio unico, è questa.

6. Su una famiglia completamente diversa, succede di nuovo

Fin qui due modelli imparentati. La stessa cosa vale altrove?

SigLIP 2 non è un modello che risponde: è un doppio codificatore contrastivo, mette fotografie e frasi nello stesso spazio e le confronta. Non genera niente, non ha un prompt, non può fraintendere un'istruzione. Se l'effetto formulazione fosse una stranezza dei modelli che scrivono, qui non dovrebbe esserci.

Stesse fotografie annotate a mano, stessi dieci tag: delle 133 del banco, 128 si ritrovano nell'archivio. Tre formulazioni per tag, scritte prima di guardare i risultati e riportate tutte e tre: la domanda del vocabolario parola per parola, un sintagma corto in italiano, lo stesso in inglese. La metrica è l'average precision, che non ha soglie da tarare, confrontata con la quota di base, che è l'AP di un ordinamento a caso.

tagbasedomanda del bancofrase cortain inglese
mare12%70%95%99%
silhouette3%75%86%92%
mono20%93%81%95%
molte48%64%91%94%
sorgente50%47%69%82%
notte41%43%79%64%
persone83%84%94%97%
esterno78%77%86%90%
ombra25%31%43%29%
volto76%70%67%71%
Average precision contro la quota di base, che è l'AP di un ordinamento casuale. Le tre formulazioni sono state scritte prima di vedere qualunque risultato.

Guadagno medio sulla quota di base: +22 punti con la domanda del banco, +35 con la frase corta, +37 in inglese.

Le righe in grassetto sono quelle dove la domanda del banco sta sotto il caso: su sorgente 47% contro una base del 50%, su esterno 77% contro 78%, su notte 43% contro 41%. Scrivendo la stessa cosa in tre parole si passa a 69%, 86%, 79%. Su sorgente, in inglese, 82%: trentacinque punti dalla sola formulazione, di nuovo, e proprio sul tag su cui era emerso tutto il resto.

Quindi no, non era una stranezza dei modelli che scrivono. Succede anche a un modello che non scrive.

Due cose vanno dette contro questo risultato. La prima: volto resta sotto la quota di base con tutte e tre le formulazioni: SigLIP quel tag non lo vede, e lì il 4b fa 96%. Non è un modello migliore, è cieco su cose diverse. La seconda: tre formulazioni sono poche, e il fatto che l'inglese vinca quasi ovunque rafforza il dubbio che l'articolo dichiara già: che parte di ciò che misuro sia competenza linguistica e non visiva. La sezione 8 lo va a misurare.

7. Il difetto, costruito apposta

Fin qui una domanda scritta male trovata per caso, e riscritta. Ma trovare una correlazione su un caso solo non dimostra niente: bisogna fabbricare il difetto e vedere se compare.

Nella sezione 1 la spiegazione era «risponde al primo esempio dell'elenco». Sbagliata, o almeno incompleta. Il secondo giro l'ha ristretta: con un elenco di esempi veri per la fotografia non succede niente: notte passa da 96% a 97%. Il danno arriva solo con un primo esempio che l'immagine smentisce.

Il primo giro l'ho fatto su due domande sole, ma con quattro modelli, per distinguere «difetto dei modelli piccoli» da «difetto di qwen»:

modellodomandasanaesempi veriesempio falsop
qwen3-vl 4bnotte96%97%81%0.0002
qwen3-vl 4bvolto96%—58%2e-11
qwen3-vl 8bnotte93%92%95%0.2
qwen3-vl 8bvolto81%—71%0.02
gemma-3 4bnotte84%59%74%0.001
gemma-3 4bvolto91%—80%0.01
gemma-3 27bnotte77%80%81%0.2
gemma-3 27bvolto92%—85%0.1
p è il test di McNemar sul confronto appaiato con la domanda sana: le stesse fotografie sotto due formulazioni non sono campioni indipendenti, e il test ordinario darebbe una significatività gonfiata.

*Primo giro, solo in italiano. gemma-3 4b è il controllo che conta: famiglia diversa, stessa taglia del modello fragile. Perde 25 punti sulla notte, dove qwen non perde niente, e con gli esempi veri crolla dove qwen regge. Il difetto non è di una famiglia: è della taglia.*

Poi l'ho allargato. Cinque domande sane del banco, e per ognuna la stessa domanda con un elenco il cui primo esempio è quasi sempre falso su queste fotografie. Non scelto a naso: misurato prima sulle descrizioni dell'archivio.

tagprimo esempioquanto è vero
nottestelle, luna2 su 174
molteuno stadio pieno0 su 224
mareun faro1 su 116
monoseppia0 su 123
Quanto spesso il primo esempio di ogni elenco avvelenato è davvero vero su queste fotografie, misurato sulle descrizioni dell'archivio.

La quinta è volto, e nella tabella non c'è perché il suo primo esempio, «occhiali da vista», è un dettaglio dentro un viso, e le descrizioni dell'archivio i dettagli dei visi non li scrivono: la sezione qui sopra misura proprio quello. Lì la frequenza l'ho stimata guardando le fotografie.

Poi tutto incrociato con tre lingue e tre modelli di due famiglie. 9044 interrogazioni, zero risposte illeggibili.

Il danno, in punti, rispetto alla stessa domanda senza elenco:

domandamodellolinguasanaavvelenatadannop
volto4bitaliano96%60%-365e-11
volto4bspagnolo94%67%-272e-08
volto4binglese88%65%-242e-07
volto8bitaliano81%69%-120.009
volto8bspagnolo88%85%-40.3
volto8binglese72%60%-120.0007
volto27Bitaliano92%85%-60.12
volto27Binglese95%82%-130.0005
notte4bitaliano96%81%-150.0002
notte4bspagnolo91%90%-11
notte4binglese92%92%-11
notte8bitaliano92%89%-40.38
notte8bspagnolo90%90%+0—
notte8binglese95%97%+20.37
notte27Bitaliano77%81%+40.23
notte27Binglese83%80%-30.29
mare4bitaliano99%89%-100.0009
mare4binglese100%99%-11
mare8bitaliano100%99%-11
mare8binglese100%100%+0—
molte4bitaliano97%88%-90.003
molte4binglese96%96%+00.62
molte8bitaliano98%90%-80.009
molte8binglese95%92%-40.23
mono4bitaliano99%98%-11
mono4binglese99%98%-11
mono8bitaliano100%98%-20.25
mono8binglese100%100%+0—
Il danno è la domanda avvelenata meno quella sana, sulle stesse fotografie. p è il test di McNemar sul confronto appaiato: le stesse foto sotto due formulazioni non sono campioni indipendenti, e il test ordinario darebbe una significatività gonfiata. In evidenza le righe che perdono 9 punti o più.

Il controllo regge: l'elenco con esempi veri non fa danno da nessuna parte: dieci celle fra −4 e +6, tutto rumore. Non è l'elenco. È l'esempio falso.

E il difetto non è una proprietà dei modelli visione-linguaggio in generale: è una malattia dei piccoli. Sul modello da 4 miliardi morde in quattro tag su cinque; su quello da 8 in due; su gemma da 27 miliardi è rumore. Su notte la scala è ordinata: −15, −4, +4.

mono non si muove mai, e si capisce perché: parte da 99% su una proprietà che riguarda tutta l'immagine, bianco e nero contro colore: non c'è niente da cercare dentro l'inquadratura e non c'è margine da perdere.

8. E la lingua? Sì, ma meno di quanto sembrava

La domanda malata di sorgente l'ho tradotta alla lettera in inglese, elenco di esempi compreso e senza migliorarla. Passa da 46% a 87% sul 4b e da 54% a 86% sull'8b. Sembrava enorme, e per un giorno ho creduto di avere in mano «il difetto dipende dalla lingua».

I dati della sezione 7 lo ridimensionano, ed è giusto che lo facciano.

Sul modello piccolo la lingua conta. Sugli stessi quattro tag, nell'ordine volto, notte, mare, molte: in italiano −36, −15, −10, −9; in inglese −24, −1, −1, 0. Lo spagnolo, che nei corpora di addestramento è molto più abbondante dell'italiano, sta in mezzo su volto: −27 fra −36 e −24.

Sugli altri due modelli non conta. Sull'8b il danno è identico nelle due lingue; su gemma l'inglese fa perfino peggio dell'italiano, −13 contro −6.

Quindi non è «i modelli capiscono peggio l'italiano», che sarebbe vecchio e noto. È qualcosa di più stretto e più utile:

Una domanda scritta male regge in inglese e cede in italiano, ma solo se il modello è piccolo. Su un modello grande cede uguale in tutte e due, o non cede affatto.

La conseguenza pratica, che è il motivo per cui questa sezione esiste: se usate un modello da 4 miliardi nella vostra lingua, le domande ve le dovete controllare una per una, e la media non ve lo dirà: nove domande su dieci stanno benissimo. Con un 27B il problema non si pone.


E le altre nove domande?

Trovata una domanda scritta male, la successiva è ovvia: come faccio a sapere che le altre sono a posto? Ne ho identificate tre sospette per la forma: una con un elenco, una con due condizioni in una frase, una con una definizione dentro. Le ho riscritte, misurando entrambe le versioni sulle stesse foto.

domandaattualeriscrittaesito
sorgente47%82%rotta: +35
mono99%100%satura
esterno93%90%a posto
silhouetteil pappagallo fa 97%—non misura

Una domanda su dieci era scritta male, ed è quella da cui è nato il risultato principale. La riscrittura di esterno è tre punti peggiore, che su 133 foto sta dentro l'intervallo di confidenza: nessuna sensibilità.


La prosa dice di cosa, mai com'è

Il mio archivio personale, 971 fotografie, è indicizzato da mesi in un altro modo: per ogni scatto una descrizione libera scritta da qwen3-vl:8b, e si cerca sul significato di quel testo. Cioè con il metodo che questo banco è nato per mettere in dubbio.

Non l'ho mai misurato. Poi mi sono accorto che potevo, senza far girare niente: le foto del banco sono anche nell'archivio, e si ritrovano dall'impronta percettiva anche se qui sono rinominate e ridimensionate. Delle 204 fotografie che ho annotato, le 133 del banco più le 71 scartate, 194 si riappaiano esattamente. Da una parte la verità annotata a mano, dall'altra una descrizione scritta mesi prima, e in mezzo nessun modello da rieseguire.

Sulle 128 del banco che si riappaiano:

la descrizione lo nomina quando c'èsu quante l'hanno
persone99%106
mare100%15
molte25%61
volto14%95
sorgente5%61
ombra3%30

E dove la descrizione dichiara esplicitamente entrambi i versi, su esterno e mono, quando si esprime ha ragione nel 95 e nel 97 per cento.

Non è un archivio mediocre. È preciso su una metà e cieco sull'altra, e la divisione non è casuale: la prosa dice sempre di cosa è la fotografia (gente, mare, esterno, bianco e nero) e quasi mai com'è fatta: dov'è la luce, se il fondo si chiude, se i volti si leggono, quanti sono. Delle 61 fotografie con una sorgente di luce in campo, la descrizione la nomina in tre.

Sono le due categorie che separano un archivio da un archivio fotografico. E il motivo per cui non me n'ero accorto in mesi d'uso è che le cose che funzionano sono quelle con cui uno prova: cerchi "spiaggia" e la trova, cerchi "bianco e nero" e la trova. Non ti viene in mente di cercare "lampada".

Il difetto della descrizione libera non è che sia imprecisa. È che decide lei di cosa parlare. Un vocabolario chiuso è più povero e per questo funziona: le dieci domande gliele fai tu, una per una, e a nessuna può non rispondere.

Come sono arrivato a questi numeri conta quanto i numeri. Cerco parole dentro al testo ("lampada", "controluce", "volto") e la prima versione contava come persone presenti anche una descrizione che diceva "nessuna persona visibile": cercava la parola e non guardava che cosa avesse davanti. Gestita la negazione, sulle descrizioni che su persone si sbilanciano quelle giuste passano dal 92% al 97%, e quelle che si sbilanciano da 114 a 122 su 128.

Cioè: avevo appena finito di scrivere che la negazione manda a sbattere il modello da 8 miliardi, e un'ora dopo ho costruito uno strumento di misura che la negazione la ignora. Non per distrazione su una cosa che ignoravo: proprio su quella che avevo appena finito di documentare.

Non lo racconto per fare autocritica. Lo racconto perché sposta la conclusione. La prima volta la negazione ha rotto un modello piccolo: è un limite di quel modello. La seconda ha rotto una espressione regolare scritta da me, che di parametri non ne ha nessuno: quindi non era un limite di quel modello. È che una misura fatta cercando parole non distingue una cosa dalla sua negazione, e non c'è taglia che ci rimedi. Se avessi misurato solo con lo strumento nuovo avrei creduto al risultato, come chi misura solo col modello crede al suo.

Sapere che una trappola esiste non protegge dal ricascarci appena si cambia attrezzo, perché non la riconosci: sembra un altro problema.


E poi l'ho applicato

Un banco che finisce in una tabella è un esercizio. Quindi ho preso le dieci domande, quella di sorgente nella versione riscritta, e le ho fatte a tutto l'archivio: 966 fotografie, 9660 risposte, poco meno di un'ora su un portatile. Sono 966 e non 971 perché di cinque l'archivio conserva la scheda ma il file non è più sul disco.

Ogni domanda al modello che il banco aveva eletto: sorgente all'8b, che lì fa 91% contro 82%, tutto il resto al 4b, che su volto fa 96% contro 81%. Non è una preferenza, è il risultato applicato invece che raccontato.

Quello che è comparso:

cercandocol testocon la domanda
una sorgente di luce in campo432896,7 volte
un fondo nero10282,8 volte
un soggetto in controluce4142uguale
Fotografie trovate nell'archivio di 966, cercando nelle descrizioni libere contro il fare le dieci domande.

Duecentottantanove fotografie con una luce accesa dentro l'inquadratura, e cercandole a parole ne trovavo quarantatré. Le altre 246 erano lì da mesi, sul mio disco, dentro un archivio che credevo di poter interrogare.

L'ultima riga è quella che spiega tutte e tre. silhouette non guadagna niente perché «controluce» e «sagoma» sono parole da didascalia: un modello che descrive le usa spontaneamente. «C'è una lampada accesa» non è una parola da didascalia, e infatti non la scriveva mai. La prosa non è cieca a caso: è cieca là dove non le verrebbe in mente di parlare.

E l'archivio, contato, è anche un ritratto di chi lo ha fatto: il 75% delle mie fotografie ha un volto leggibile, il 60% è all'aperto, il 3% ha il fondo nero. Non lo sapevo, e non c'era modo di saperlo.

Una cosa va detta e tenuta in vista: quel 289 non è un fatto, è una misura al 91%. Un paio di dozzine saranno sbagliate. Nel pannello di ricerca ogni filtro si porta dietro la sua accuratezza scritta, perché un filtro di cui non conosci l'errore ti fa credere di sapere una cosa che non sai, che è precisamente il difetto delle descrizioni da cui ero partito.


Come sono calcolati i numeri

Quattro strumenti, tutti standard. Li scrivo perché un articolo che ripete «guarda come misuri» e poi nasconde le proprie definizioni sarebbe incoerente.

Accuratezza. Risposte concordi diviso risposte date, sui soli giudizi dove la verità di riferimento non è «incerto». Le risposte illeggibili non contano come errori: contarle confonderebbe sbaglia con non risponde, che è esattamente la trappola della sezione 5.

Il pappagallo. La quota della risposta più frequente:

pappagallo = max(numero di sì, numero di no) / totale

È il punteggio che ottiene chi non guarda l'immagine. Un modello che non lo supera non sta misurando niente.

Intervallo di Wilson al 95%. Con p accuratezza, n giudizi, z = 1,96:

centro = (p + z²/2n) / (1 + z²/n)
metà   = z · √( p(1−p)/n + z²/4n² ) / (1 + z²/n)

Non l'approssimazione normale p ± z√(p(1−p)/n): con accuratezze vicine al 100% quella produce estremi sopra 1, che non esistono.

Kappa di Cohen. Quanto l'accordo supera quello che verrebbe per caso, con po accordo osservato e pa, pb la quota di sì dei due giudici:

pe    = pa·pb + (1−pa)(1−pb)
kappa = (po − pe) / (1 − pe)

Serve dove l'accuratezza mente: su silhouette, quattro sì su 132, rispondere sempre «no» fa il 97% e ha kappa zero.

Average precision. Usata nella sezione 6 perché non ha soglie da tarare: si scorre la classifica e a ogni elemento pertinente si somma la precisione fino a lì, poi si divide per il numero di pertinenti. L'AP di un ordinamento casuale è la quota di base, ed è per questo che nella tabella le due colonne stanno accanto.

Le implementazioni sono in quantizzazione.py e prova-siglip.py.


Cosa non si può concludere


Materiali

verita.json: le annotazioni, con il motivo di ogni esclusione vocabolario.json: le dieci domande, con scritto perché ognuna è formulata così banco.py: il giro completo, 11 minuti col 4b, 29 con l'8b, su un portatile annota.html: lo strumento per annotare dal telefono prova-sorgente.py: l'esperimento sulle formulazioni prova-veleno-lingua.py: il difetto costruito apposta, incrociato con tre lingue e tre modelli. Il primo esempio di ogni elenco è scelto misurandolo sull'archivio, non a naso, e la ragione è scritta nel file prova-veleno-lingua.sqlite3, prova-lingua.sqlite3: le 9044 risposte prova-siglip.py: la stessa verità umana contro un modello contrastivo. Le tre formulazioni per tag sono scritte nel file, prima dei risultati, e si riportano tutte prova-prefill.py: il confronto Q4/Q8. Scrive in un archivio suo: banco.py usa insert or replace, e rilanciarlo avrebbe sovrascritto le risposte su cui è costruito tutto il resto quantizzazione.py: il conto, con l'intervallo di Wilson. Stampa da sé la conclusione scomoda quando gli intervalli si sovrappongono prova-prefill-nuovo.sqlite3, prova-prefill-senza.sqlite3: le risposte dei quattro modelli con i due prefill indicizza-archivio.py: applica le dieci domande a un archivio intero. Importa il protocollo da banco.py invece di ricopiarlo: riscriverlo, anche identico nelle intenzioni, farebbe decadere le accuratezze misurate misura-archivio.py: il confronto fra le descrizioni libere e la verità annotata, appaiando le foto con l'impronta percettiva. Non fa girare nessun modello

Gli ultimi due leggono un archivio personale che non fa parte del pacchetto: valgono come metodo, non come misura che potete rieseguire.

Le fotografie non ci sono. Sono mie, ci sono persone dentro, e non entrano nel pacchetto. La conseguenza va detta: la misura non è riproducibile alla lettera. Chi vuole rifarla deve usare il proprio archivio. Il metodo è scritto perché sia possibile.

Gli identificativi delle fotografie e dei servizi sono neutri di proposito.

Interamente in locale, su un portatile.


La cosa che porto via

Ho cominciato per sapere quale modello scegliere. Non l'ho scoperto, e il motivo è che la domanda era mal posta.

Ogni volta che un numero sembrava dire qualcosa sul modello, sotto c'era qualcosa che diceva qualcosa su di me. Un elenco di esempi dentro una domanda che vale 35 punti. Una negazione che manda a sbattere un modello da otto miliardi. Tag così sbilanciati che un pappagallo li batte. Uno spazio bianco in una riga di prompt che decide se un modello risponde o si mette a descrivere la fotografia in inglese. E il primo confronto fra due precisioni, che diceva «questa è peggio» quando la verità era «questa non rispondeva».

E quando ho smesso di trovare difetti per caso e ho cominciato a costruirli apposta, il difetto è comparso a comando: quattro domande sane su cinque si rompono se ci infili un esempio che la fotografia smentisce, ma solo sul modello piccolo, e peggio se la domanda non è in inglese.

L'ultima prova toglie anche l'ultima scusa. Succede pure a SigLIP, che un prompt non lo legge nemmeno: la domanda del mio vocabolario, su sorgente, fa peggio di un ordinamento a caso, e tre parole in inglese fanno 82%.

Quindi la cosa da portare via non è che i prompt vanno scritti bene.

Un punteggio non misura il modello. Misura il modello e la tua impalcatura insieme. La parte che è impalcatura è più grande di quanto uno se l'aspetti, e quando si rompe non lo dice: il numero resta lì, plausibile, e ti racconta una storia sul modello che non è vera.

Tre cose, prima di fidarvi di qualunque classifica, compresa la mia. Mettete accanto ai vostri numeri il pappagallo che risponde sempre la risposta più frequente. Contate quante risposte sono davvero nel formato che avete chiesto, non quante il vostro codice riesce a interpretare. E riscrivete ogni domanda almeno una volta: se il numero si muove di trenta punti, non stavate misurando il modello.

Il valore di un banco di prova non è la classifica che produce. È che ti costringe a scoprire quanto della tua misura sei tu.

verita.json · vocabolario.json · banco.py · prova-prefill.py · quantizzazione.py · prova-siglip.py · prova-veleno-lingua.py · annota.html
Le fotografie non sono incluse. Misurato su un MacBook Air M4 (16 GB) e un MacBook Pro M5 Pro (24 GB). Interamente in locale.
Dati, codice e risposte dei modelli: github.com/VellBlue/vlm-photo-bench