La formulazione
La domanda cambia lingua, negazione, esempi, ordine, formato e lunghezza senza cambiare intenzione. La fragilità misura quando, nonostante questo, si sposta il verdetto.
Un benchmark deve saper smentire la propria conclusione
FragileVision non si limita a chiedere se il modello ha risposto bene. Controlla anche se la domanda, il campione e le annotazioni permettono davvero di sostenerlo.
01 · Perché esiste
All’inizio c’era un benchmark sulle mie fotografie. Pensavo che gli errori si sarebbero spiegati soprattutto con la dimensione dei modelli. Non è andata così.
Con una domanda semplice e diretta, un modello da quattro miliardi di parametri superava quello da otto miliardi interrogato con la formulazione originale. Una negazione poteva trasformare un buon risultato in una risposta quasi costante. A volte bastava cambiare uno spazio nel prefill per ottenere una parola, un paragrafo oppure niente.
Ho raccontato quel lavoro in Come formuli la domanda conta più della dimensione del modello. Restava però un problema di metodo: se il punteggio cambia tanto mentre fotografie e pesi rimangono gli stessi, scegliere un unico prompt e non toccarlo non è una decisione neutrale. Anche il prompt fa parte dello strumento di misura.
Gli script del benchmark erano sufficienti per mostrare il problema una volta. Non trasformavano la cautela in un metodo. FragileVision è lo strumento che avrei voluto quando quei risultati mi hanno fatto dubitare del mio stesso banco di prova.
Un risultato diventa una prova soltanto quando sono visibili anche i modi in cui potrebbe essere un artefatto.
È una regola severa, di proposito. I modelli danno già risposte con un’aria di certezza. Il software che li valuta non dovrebbe renderle ancora più sicure di quanto siano.
02 · Tre punti di rottura
Quasi tutte le classifiche confrontano modelli diversi e tengono fermo il resto. FragileVision fa anche il contrario: lascia fermo il modello e prova a far cedere la valutazione che gli sta intorno.
La domanda cambia lingua, negazione, esempi, ordine, formato e lunghezza senza cambiare intenzione. La fragilità misura quando, nonostante questo, si sposta il verdetto.
Quasi duplicati, scene dominanti, classi sbilanciate e contaminazioni fra train e test possono far passare la ripetizione per evidenza. L’unità indipendente è la scena, non il file.
Un’etichetta scritta da una sola persona resta un’opinione, anche quando è registrata nel database. Revisione cieca, giudizi firmati, coefficienti di accordo e arbitrato mostrano quanto sia davvero condivisa.
Questi problemi non vanno schiacciati dentro un generico numero di “robustezza”. Un modello che cambia fra due chiamate identiche non è lo stesso problema di un prompt che cambia risposta. Il disaccordo fra revisori non è un errore del modello. Una raffica di venti fotogrammi non contiene venti osservazioni indipendenti.
FragileVision tiene distinti questi piani, anche a costo di produrre un report meno ordinato.
03 · Il percorso
FragileVision è un registro prima di essere una dashboard. Conserva abbastanza dettagli perché il risultato possa essere contestato, non soltanto ammirato.
Le immagini vengono copiate nello spazio gestito, controllate e deduplicate con SHA-256. Non vengono caricate altrove.
Integrità, risoluzione, equilibrio tra le classi, gruppi sorgente, somiglianza percettiva e contaminazioni dello split vengono verificati prima di ogni esecuzione.
I revisori lavorano alla cieca. L’unanimità o una maggioranza assoluta possono chiudere un caso; un pareggio o l’assenza di una maggioranza no. L’arbitrato si aggiunge, non cancella il disaccordo.
Le varianti mantengono ferma l’intenzione e cambiano le parole. Le ripetizioni misurano separatamente la deriva del modello.
Ollama e gli endpoint privati compatibili con OpenAI sono ammessi. Gli endpoint pubblici vengono rifiutati per scelta.
La Claim Card include intervalli, baseline, copertura, fallimenti del parser, test appaiati, controlli sull’evidenza e fingerprint della valutazione.
Di ogni risposta restano il prompt finale esatto, l’adattatore, il seed, la temperatura, l’output grezzo, la decisione del parser, la latenza e i token. Il pacchetto per ripetere l’esperimento è volutamente noioso: CSV, JSON, Markdown, percorsi locali e hash. La riproducibilità assomiglia spesso alla burocrazia.
04 · Le persone nel quadro
Una piccola prova ha trovato una distinzione presente nelle etichette, ma assente dalla domanda.
Il test comprendeva 98 fotografie ed è stato eseguito con Qwen3‑VL 4B. La domanda era: «Nella fotografia c’è più di una persona?» Nelle annotazioni contavano soltanto le persone fisicamente presenti nella scena. Figure dipinte o scolpite valevano come “no”.
Nella fotografia c’è più di una persona?
Tutti e otto i falsi positivi leggibili mostravano personaggi in dipinti, affreschi o sculture, ma nessuna persona reale. Il modello ha restituito soltanto JSON valido, senza spiegazione: non posso dire quale ragionamento abbia seguito. Posso però osservare che ogni falso positivo leggibile è caduto proprio sul confine che la domanda non aveva definito.
A leggerla alla lettera, la risposta del modello è difendibile. Una fotografia di un dipinto con tre persone contiene tre persone rappresentate. Io però intendevo una categoria più stretta: persone reali, fisicamente presenti al momento dello scatto. Questa precisazione esisteva nella mia testa e nelle etichette, non nel prompt.
La fragilità del prompt non riguarda soltanto i sinonimi. A volte una variante mostra che due lettori ragionevoli stavano rispondendo a due domande diverse. Prima di accusare il modello, il benchmark deve chiarire quale mondo gli interessa: la scena fisica oppure tutto ciò che l’immagine rappresenta.
05 · Lo zero imbarazzante
L’impronta percettiva dipendeva inizialmente da sips, un comando di macOS. Su Linux e Windows il decodificatore non restituiva niente. Niente hash significava niente confronti visivi; niente confronti diventava zero coppie quasi duplicate.
L’interfaccia mostrava quello zero senza dire da dove arrivava.
Per un progetto costruito attorno all’onestà metodologica era il bug peggiore possibile. La stessa cartella demo produceva 34 coppie quasi duplicate su macOS e nessuna su un altro sistema operativo. La seconda risposta sembrava rassicurante ed era falsa.
La correzione ha due parti: fuori da macOS le immagini vengono decodificate con Pillow; inoltre l’audit considera grave la presenza di immagini senza impronta. Se nessun confronto è possibile, il riepilogo mostra un trattino, non uno zero rassicurante.
| dataset demo | coppie | senza hash |
|---|---|---|
| macOS · sips | 34 | 0 |
| Linux · Pillow | 31 | 0 |
| senza decoder | — | 12 |
I due decoder non producono hash identici. Ho misurato anche questo: su 200 fotografie differiscono in media di 2,1 bit e al massimo di 7 bit su 64. Sulle coppie identiche concordano quasi sempre; sul confine più largo della “stessa scena” divergono abbastanza da rendere disonesto trattarli come equivalenti.
Perciò il motore è indicato nell’audit ed entra nella versione della cache. I confronti fra macchine devono avvenire a parità di motore. La soglia dei quasi duplicati non è stata spostata per far sembrare migliore il decoder alternativo.
Questa sezione esiste perché l’errore racconta il software meglio di un altro elenco di funzioni. Anche FragileVision ha dovuto essere giudicato con il metro che propone agli altri.
06 · Quando fermarsi
Uno strumento di valutazione utile deve saper dire “non lo so”, “questo non l’ho potuto confrontare” e “questi campioni non sono indipendenti”.
Nessun verdetto estratto a forza da una risposta ambigua.Se compaiono più etichette possibili, il parser registra la risposta come illeggibile invece di scegliere la parola più comoda.
Nessun 100% costruito su una sola risposta facile.Nell’Arena i modelli sono ordinati soltanto sulle unità alle quali tutti hanno risposto in modo leggibile. La copertura resta accanto al punteggio.
Nessuno split casuale dentro la stessa scena.Gruppi sorgente e cluster quasi duplicati si muovono insieme. Se esiste una sola scena indipendente, lo split viene rifiutato invece di essere inventato.
Nessun consenso forzato.Un pareggio resta un conflitto. L’arbitro firma una nuova decisione; i giudizi originari non vengono modificati.
Nessuna classifica globale dei modelli.La Claim Card descrive un sistema formato da modello, dataset e prompt. Non trasforma un’osservazione locale in una graduatoria universale.
Questa prudenza ha un costo. Ci sono più trattini, avvisi e giudizi di prove insufficienti di quanto ci si aspetti da una dashboard. Per me è una caratteristica. Una cella vuota con una spiegazione informa più di un numero ben impaginato senza denominatore.
07 · Com’è fatto
Il nucleo non ha dipendenze obbligatorie. È composto da Python 3.11, SQLite e un’interfaccia statica raggiungibile soltanto in locale. Pillow è opzionale su macOS e necessario altrove per l’audit visivo. L’applicazione rifiuta gli endpoint pubblici per i modelli e non invia telemetria.
È una scelta architetturale, non di immagine. Spesso i dataset da valutare sono proprio quelli che non si possono caricare altrove: fotografie inedite, schermate interne, immagini mediche, prototipi, lavori per clienti. “Privato per regolamento” è più debole di “nel codice non esiste una strada verso un’API pubblica”.
$ git clone https://github.com/VellBlue/fragilevision.git
$ cd fragilevision
$ python -m pip install -e ".[images]" # audit visivo Linux / Windows
$ python -m fragilevision
# poi apri http://127.0.0.1:7331
Esiste anche un bundle per macOS costruito dallo stesso pacchetto. Su Windows e Linux si usa il comando Python. Il decoder alternativo è stato collaudato simulando Linux e nella suite di test; non è ancora stato provato su una macchina Windows o Linux fisica. È una distinzione che preferisco scrivere qui, non in un futuro bug report.
08 · Cosa non dimostra
FragileVision può dire che le classi sono sbilanciate. Non può scegliere al posto tuo una popolazione difendibile. Può trovare due fotogrammi quasi identici. Non può sapere se la differenza è importante nel tuo dominio. Può misurare il disaccordo fra revisori. Non può riparare con la statistica un concetto vago.
L’Evidence Gate è una checklist trasparente, non una peer review e non una prova di validità.
La soglia di 12 bit per i quasi duplicati è stata calibrata su un archivio fotografico reale. In altri domini va rimessa alla prova.
Il confronto visivo a coppie ha intenzionalmente un limite. Dataset grandi richiedono una strategia di indicizzazione diversa.
La versione 0.15 è un’anteprima di ricerca. Il database viene aggiornato senza perdere lo storico, ma può ancora cambiare prima della 1.0.
Ci sono un generatore sintetico di stress e un dataset geometrico libero da diritti, così si può esplorare l’intero percorso senza un modello né immagini private. Il dataset demo fa scattare intenzionalmente il proprio avviso sui quasi duplicati. Serve a mostrare che l’audit funziona, non a fornire il risultato di un benchmark.
L’ambizione più grande resta modesta: rendere più difficile pubblicare un numero senza pubblicare anche ciò che quel numero non ha potuto vedere.
Open source · Apache 2.0 · interamente locale
FragileVision è già utilizzabile, ispezionabile riga per riga e ancora abbastanza giovane da poter migliorare grazie alle critiche.
Leggi il codice su GitHub ↗