Zbudowaliśmy AI do audytu półki. Publikujemy, ile to kosztowało.
587 zdjęć półki. Na każdym 13 pytań kontrolnych na tak albo nie. W jednym audycie kwartalnym daje to około 7 600 osobnych ocen (587 × 13), a dziś każdą z nich wykonuje człowiek.
Pytania kontrolne są konkretne
Czy produkt, którego obecność na półce wynegocjowaliśmy z siecią, faktycznie tam stoi? Czy zgadza się liczba facingów? Facing to jedna sztuka produktu widoczna od frontu półki. Czy półka jest w pełni zatowarowana? W umowach są marki obowiązkowe. Jedna z umów wymaga, żeby w każdym sklepie stały dwie konkretne whisky.
Rozpoznawanie obrazu z półki ma być bardziej uniwersalne
Tę pracę automatyzuje już Retail Image Recognition. Przedstawiciel handlowy robi zdjęcie, a system przekłada je na gotowe KPI. Działa u producentów w kilkudziesięciu krajach, z dokładnością sięgającą 98%. Metoda ma jedno ograniczenie: model musi najpierw nauczyć się każdego produktu, więc nowa marka albo nowy rynek oznacza rundę uczenia z wyprzedzeniem.
W Laboratorium Asseco Platform sprawdzamy, jak uniezależnić rozpoznawanie obrazu z półki od uczenia pod każdy produkt. Chcemy, żeby radziło sobie z nowymi produktami i trudniejszymi pytaniami, a przy tym czytało całą półkę: produkty naszego klienta i konkurencji. Dlatego sięgnęliśmy po agentów wizyjnych. Agent to model, który sam używa narzędzi: decyduje, że uruchomi detektor produktów na zdjęciu, wytnie fragment kadru, spojrzy jeszcze raz i dopiero wtedy odpowie. Projekt nazwaliśmy Vantage.
Dlaczego to jest trudne
Człowiek z listą kontrolną ocenia subiektywnie, a żeby objąć audytem więcej sklepów, trzeba zatrudnić więcej ludzi. Model z samym promptem, nawet dobrym, też nie wystarcza. Przy łatwych pytaniach, na przykład czy marka w ogóle stoi na półce, radzi sobie dobrze. W naszym teście na 100 zdjęciach poprawnie ocenił 93,6% przypadków. Przy trudnych pytaniach się sypie. Gdy trzeba odróżnić opakowanie 71 g od 39 g albo budyń od kisielu na zdjęciu z dwóch metrów, dokładność spada do poziomu od 71% do 77%. To znaczy, że mniej więcej co trzecia albo co czwarta ocena jest błędna.
Ten błąd ma swój wzorzec. Model odpowiada „tak, jest”, choć na zdjęciu nie widać żadnego dowodu. Przy pytaniach o dostępność zrobił tak 17 razy na 49 zdjęć: raportował produkty, których na zdjęciu nie było. Przy takiej liczbie pomyłek przedstawiciel i tak musi wrócić do sklepu na weryfikację, a wtedy automatyzacja nie oszczędza już niczego.
Model jest zmienną w eksperymencie
Stanowisko testowe zbudowaliśmy tak, żeby dowolnego dostawcę AI (Google, Anthropic, OpenAI) podłączyć jedną zmianą ustawienia, bez przepisywania kodu. Każde uruchomienie korzysta z tego samego promptu, tych samych zdjęć i tego samego klucza poprawnych odpowiedzi. Dzięki temu porównujemy dostawców na tych samych warunkach, po dokładności i po koszcie.
Zrobiliśmy tak, bo rynek modeli wizyjnych zmienia się mniej więcej co kwartał, a cena katalogowa okazała się myląca. Dwa porównywane modele dzieliło w cenniku nie więcej niż 20%. Jeden z nich w praktyce wyszedł sześć razy drożej na zdjęcie i pracował dziewięć razy wolniej. Powód to tokeny rozumowania, czyli tekst, który model pisze sam do siebie, zanim odpowie. Za ten tekst też płacisz.
Narzędzia wygrywają z lepszym promptem
Najwięcej zmieniło się wtedy, gdy daliśmy modelowi narzędzia. Nasz agent krok po kroku decyduje, którego narzędzia użyć. Jedno wykrywa produkty na zdjęciu. Drugie to lupa: wycina fragment zdjęcia i czyta etykietę z bliska. Na 49 zdjęciach i 6 najtrudniejszych pytaniach (desery w proszku) droga wyglądała tak.
21 punktów procentowych. Liczba błędnych odpowiedzi „tak” przy dostępności spadła z 17 do 2. Jedno zastrzeżenie: te 96% dotyczy konkretnie tego trudnego zestawu 49 zdjęć i 6 pytań, a nie całego stanowiska testowego.
Ta dokładność kosztuje. W przeliczeniu na zdjęcie pełny agent jest około sześć razy droższy od modelu z samym promptem i pracuje cztery razy dłużej. I to już z tańszym formatem obrazu.
Zaufanie opiera się na dowodach z zewnątrz
Model potrafi ocenić, na ile jest pewny własnej odpowiedzi. Nasuwa się prosty pomysł: ufać mu, kiedy deklaruje pewność, a resztę oddać człowiekowi. Zmierzyliśmy to i nie działa. Model z samym promptem miał rację od 62% do 64% razy wtedy, gdy deklarował pewność. Agent w 74% przypadków. Nawet przy 74% błędna jest w przybliżeniu co czwarta „pewna” odpowiedź. Filtr oparty na własnej pewności modelu przepuszczałby te błędy jako rozstrzygnięte.
Dlatego nie opieramy się na samej pewności modelu. Lepiej działa zestawianie niezależnych źródeł: czy dwa różne modele odpowiadają tak samo, co zwróciły narzędzia i jak to pytanie wypadało wcześniej. Nie zbudowaliśmy jeszcze mechanizmu, który sam przekazuje niepewne przypadki człowiekowi. Mamy to wśród najbliższych kroków.
Ile to naprawdę kosztuje
Sposób, w jaki obraz trafia do modelu, zmienia koszt. Wycinek zakodowany jako tekst w treści zapytania kosztuje dużo więcej tokenów niż ten sam wycinek wysłany w formacie natywnym, czyli jako zwykły obraz, a nie jako opisujący go tekst. Do tego przechodzi przez kontekst modelu dwa razy zamiast raz. Przejście na format natywny obniżyło koszt zdjęcia do około jednej czwartej, bez spadku jakości.
W skali naszego testu, przy kilkudziesięciu zdjęciach, ten koszt jest bez znaczenia. Rozpoznawanie obrazu w produkcji działa w zupełnie innej skali: dziesiątki tysięcy sklepów, po kilka zdjęć na wizytę, powtarzane co miesiąc. Przy takich wolumenach nawet drobna kwota za zdjęcie robi się realną pozycją w budżecie. Żeby to zadziałało produkcyjnie, musimy albo optymalizować dalej, albo przejść na własne modele.
Na jakim etapie jesteśmy
Vantage to jeden z naszych wewnętrznych projektów badawczych, proof of concept, czyli sprawdzenie, czy pomysł w ogóle działa. To nie jest produkt i nie działa u żadnego klienta. Cała droga, od zdjęcia do gotowej oceny, przeszła test na danych od trzech producentów, w napojach, alkoholach mocnych i deserach w proszku.
Sama technologia też jest inna niż to, co sprzedajemy. Retail Image Recognition korzysta z modeli uczonych wcześniej na wielu zdjęciach każdego produktu. Działa offline, na urządzeniu przedstawiciela. Vantage bierze modele ogólnego przeznaczenia, bez uczenia pod konkretną markę, daje im narzędzia i pozwala pracować krok po kroku. Czego jeszcze nie wiemy: jak ten wynik wypadnie w kategoriach, których nie testowaliśmy.
Wojciech Koziej
System Architect, Asseco Platform
Zajmuje się rozpoznawaniem obrazu w egzekucji na półce. Vantage to jego projekt badawczy w Laboratorium Asseco Platform.
