Kluczem do sukcesu okazał się proces zwany segmentacją semantyczną i umożliwiający przypisywanie etykiet do każdego piksela na obrazie. Stanowi on podstawę funkcjonowania współcześnie używanych systemów rozpoznawania obrazów, choć te nie ze wszystkimi zadaniami radzą sobie w podobnym stopniu. Na przykład o ile identyfikacja ludzi i samochodów idzie im nieźle, tak więcej problemów sprawia roślinność czy niebo.
Czytaj też: Algorytm oceni, jak widzi Cię otoczenie. Wystarczy mu jedno zdjęcie
Przypisanie każdemu pikselowi etykiety jest niełatwym zadaniem, szczególnie bez pomocy ludzi. Z tego względu większość współcześnie wykorzystywanych algorytmów wykorzystuje gotowe etykiety, których tworzenie zajmuje człowiekowi wiele godzin. Kiedy sztuczna inteligencja ma za zadanie etykietować każdy pojedynczy piksel w przypadku stu tysięcy obrazów i to bez pomocy z zewnątrz, to wyzwanie jest ogromne.
Aby ułatwić sobie jego realizację, STEGO szuka podobnych elementów w całym zbiorze danych. Następnie kojarzy je ze sobą, aby stworzyć spójny obraz świata na wszystkich obrazach, na podstawie których się uczy.
Jeśli oglądasz skany onkologiczne, powierzchnię planet lub obrazy biologiczne o wysokiej rozdzielczości, trudno jest zrozumieć, jakich obiektów szukać bez wiedzy eksperckiej. W nowych dziedzinach nawet ludzcy eksperci czasami nie wiedzą, jakie obiekty będą właściwe. W takich sytuacjach, gdy chcesz zaprojektować metodę, która będzie działać na granicy nauki, nie możesz liczyć na to, że ludzie rozpracują ją wcześniej niż maszyny. wyjaśnia główny autor badania, Mark Hamilton
STEGO został przetestowany w różnych kategoriach, obejmujących między innymi obrazy dotyczące jazdy samochodem i zdjęcia lotnicze z dużych wysokości. Algorytm był w stanie identyfikować i klasyfikować kluczowe obiekty w sposób zbliżony do oceny dokonywanej przez człowieka. Najbardziej zróżnicowanym testem dla STEGO był zbiór danych COCO-Stuff zawierający różne obrazy z całego świata, ukazujące na przykład zwierzęta, rośliny czy ludzi uprawiających sport.
Czytaj też: Algorytm kwantowy, jakiego jeszcze nie było. Przełom w pracach nad komputerami kwantowymi
W zestawieniu z wcześniej stosowanymi algorytmami, STEGO okazał się dwukrotnie wydajniejszy i identyfikował obiekty takie jak zwierzęta, budynki, ludzie i meble. W przypadku obrazów o motoryzacyjnym podłożu poprawnie przypisywał natomiast etykiety ludzi i znaków drogowych z dużo wyższą rozdzielczością i ziarnistością niż poprzednie systemy. Na obrazach z przestrzeni kosmicznej system podzielił każdy metr kwadratowy powierzchni Ziemi na drogi, roślinność i budynki. Oczywiście rozwiązania wykorzystywane przez STEGO nie są idealne, dlatego w ramach dalszych działań autorzy chcieliby zbadać możliwość nadania algorytmowi nieco większej elastyczności. Niektóre obiekty mogą bowiem mieć wiele powiązań jednocześnie, na przykład szpinak będzie rośliną i żywnością.