Abbiamo costruito un’AI che fa l’audit dello scaffale. Pubblichiamo quanto costa.
587 foto di scaffale. 13 controlli sì/no su ciascuna. Fanno circa 7.600 giudizi separati in un solo audit trimestrale (587 × 13), e oggi li dà tutti una persona.
I controlli sono specifici
Un facing è una singola confezione visibile dal fronte dello scaffale. Il prodotto che abbiamo negoziato con l’insegna c’è davvero? Il numero di facing corrisponde? Lo scaffale è rifornito del tutto? I contratti elencano i marchi obbligatori, e un contratto impone due whisky ben precisi sullo scaffale di ogni punto vendita.
Rendere lo shelf recognition più versatile
Il nostro prodotto Retail Image Recognition automatizza già questo lavoro. La persona che fa il giro scatta la foto e il sistema la trasforma in KPI già pronti. Lo usano produttori in decine di Paesi, con un’accuratezza fino al 98%. Il metodo ha un limite: il modello deve prima imparare ogni prodotto, quindi un nuovo marchio o un nuovo mercato richiedono un ciclo di addestramento iniziale.
Nel Laboratorio Asseco Platform stiamo testando come rendere lo shelf recognition più versatile. Vogliamo che funzioni anche su prodotti nuovi e su controlli più difficili, senza addestrare il modello caso per caso. Vogliamo anche che legga tutto lo scaffale, i prodotti del nostro cliente e quelli della concorrenza. Per questo abbiamo usato agenti visivi. Un agente AI è un modello capace di usare strumenti: decide da solo di lanciare un rilevatore, di ritagliare un dettaglio, di guardare di nuovo, e solo dopo risponde. Il progetto si chiama Vantage.
Perché è difficile
Una persona con una checklist dà giudizi soggettivi, e per coprire più punti vendita l’unica strada è aggiungere persone. Non basta nemmeno un modello AI con un buon prompt. Sui controlli facili, per esempio se un marchio è a scaffale oppure no, il modello se la cava: nel nostro test su 100 foto ha risposto correttamente nel 93,6% dei casi. Sui controlli difficili crolla. In una foto scattata da un paio di metri, distinguere una confezione da 71 g da una da 39 g diventa molto più difficile. Lo stesso vale per un budino in polvere e una gelatina in polvere. Lì l’accuratezza si ferma tra il 71% e il 77%. Vuol dire un giudizio sbagliato circa una volta su tre o quattro.
L’errore si ripete sempre nello stesso modo. Il modello risponde «sì, c’è» senza che la foto lo dimostri. Sui controlli di presenza è successo 17 volte su 49 foto: prodotti dati per presenti che nella foto non ci sono. Con un report sbagliato così spesso, una persona deve tornare nel punto vendita a controllare, e a quel punto l’automazione non ha fatto risparmiare niente.
Nel nostro test il modello è una variabile
Abbiamo costruito il banco di prova in modo che qualsiasi fornitore di AI (Google, Anthropic, OpenAI) si colleghi cambiando una sola impostazione, senza riscrivere codice. Ogni prova usa lo stesso prompt, le stesse foto e le stesse risposte di riferimento. È questo che ci permette di mettere i fornitori a confronto diretto, sull’accuratezza e sul costo.
L’abbiamo fatto così perché il mercato dei modelli visivi cambia più o meno ogni trimestre, e il prezzo di listino si è rivelato ingannevole. Due modelli avevano un prezzo unitario quasi identico. In pratica uno dei due è costato sei volte di più per foto ed è stato nove volte più lento. Il motivo sono i token di ragionamento, cioè il testo che il modello scrive per sé prima di rispondere. Anche quel testo si paga.
Gli strumenti battono un prompt migliore
La differenza più grande l’hanno fatta gli strumenti. Il nostro agente AI decide passo dopo passo quale strumento usare. Uno rileva i prodotti nella foto. L’altro è una lente d’ingrandimento: ritaglia una porzione dell’immagine e legge l’etichetta da vicino. Su 49 foto e sui 6 controlli più difficili (preparati per dessert), il percorso è stato questo.
Ventuno punti percentuali. I falsi «sì» sulla presenza a scaffale sono scesi da 17 a 2. Una precisazione: il 96% vale per quel gruppo difficile di 49 foto e per i 6 controlli, non per il banco di prova nel suo complesso.
Questa accuratezza ha un prezzo. Per singola foto l’agente AI completo costa circa sei volte quanto il solo prompt e ci mette quattro volte tanto. E questo con il formato immagine più economico già attivo.
La fiducia si regge su riscontri esterni
Un modello sa dire quanto è sicuro della propria risposta. La mossa ovvia è fidarsi quando si dice sicuro e mandare il resto a una persona. L’abbiamo misurata e non regge. Le risposte date per sicure erano corrette tra il 62% e il 64% delle volte con il solo prompt, e nel 74% dei casi con l’agente AI. Anche al 74%, circa una «certezza» su quattro è un errore. Un filtro costruito sulla sicurezza dichiarata dal modello lascerebbe passare quegli errori come casi chiusi.
Per questo non usiamo la sicurezza dichiarata come unico segnale. Funziona meglio incrociare fonti indipendenti: l’accordo tra due modelli diversi, quello che hanno restituito gli strumenti, l’esito dello stesso controllo nelle prove precedenti. Non abbiamo ancora automatizzato il passaggio dei casi incerti a una persona. Lo faremo più avanti.
Quanto costa davvero
Anche il modo in cui l’immagine viene passata al modello cambia i conti. Un ritaglio codificato come testo dentro la richiesta costa molti più token dello stesso ritaglio inviato come immagine nativa, e il modello se lo deve leggere due volte invece di una. Passando al formato nativo il costo per foto è sceso a circa un quarto, senza perdere qualità.
Con i numeri della nostra prova, qualche decina di foto, quel costo è trascurabile. In produzione lo shelf recognition lavora su un altro ordine di grandezza: decine di migliaia di punti vendita, più foto per visita, ogni mese. A quel volume anche una cifra piccola per foto diventa una vera voce di budget. Perché tutto questo regga in produzione, o ottimizziamo ancora o passiamo a modelli nostri.
A che punto siamo
Vantage è uno dei nostri progetti di ricerca interni, un proof of concept, cioè un modo per verificare se l’idea funziona davvero. Non è un prodotto e nessun cliente lo usa. L’intero percorso, dalla foto al giudizio finale, ha superato un test end-to-end su dati di tre produttori, nelle bevande, nei superalcolici e nei preparati per dessert.
Anche la tecnologia sotto è diversa da quella che vendiamo. Retail Image Recognition usa modelli addestrati in anticipo su molte foto di ogni prodotto, e lavora offline sul dispositivo di chi lavora sul campo. Vantage usa modelli generalisti senza addestramento per singolo marchio, dà loro degli strumenti e li lascia lavorare passo dopo passo. Quello che ancora non sappiamo è quanto il risultato tenga su categorie che non abbiamo testato.
Wojciech Koziej
System Architect, Asseco Platform
Si occupa di image recognition per l’esecuzione a scaffale. Vantage è il suo progetto di ricerca nel Laboratorio Asseco Platform.
