Prace podjęły aż trzy zespoły naukowców firmy Raytheon, BAE Systems i Northrop Grumman, którzy mają uczynić z nowoczesnego systemu kamer FENCE coś rzeczywistego. Owoc tych prac ma na celu zwiększenie wydajności kamer widzenia komputerowego poprzez naśladowanie sposobu, w jaki ludzki mózg przetwarza informacje. Głównym elementem tego systemu będą kamery na podczerwień (IR), które podpięte do systemu będą musiały przetwarzać mniej danych, działać szybciej i dzięki temu zużywać mniej energii.
Czytaj też: Wojska USA w Afganistanie już nie ma, ale pozostawiło po sobie Pokemony
DARPA pragnie matryc FENCE, aby przyszłe systemy kamer nie były aż tak obciążone
Owoc FENCE ma więc rozwiązać nietypowy problem nowoczesnych systemów kamer, które stały się ofiarami własnego sukcesu. Z roku na rok stają się coraz bardziej wyrafinowane i wyższej jakości, dlatego, choć najnowocześniejsze kamery mogą rejestrować obrazy w wysokiej rozdzielczości i śledzić obiekty z dużą precyzją bez problemu, to wymagają przy tym ogromnej ilości energii i czasu. Nic dziwnego, jako że przy tym w grę wchodzi przetwarzanie dużych paczek danych.
DARPA, czyli Agencja Zaawansowanych Projektów Badawczych w Obszarze Obronności Stanów Zjednoczonych zauważyła, że choć śledzenie np. samolotu na błękitnym niebie jest dla systemu pestką, to samo to w zatłoczonych i szybko zmieniających się środowiskach jest już dla niego wyzwaniem. Tak się z kolei akurat składa, że ten scenariusz często ma miejsce w operacjach wojskowych.
Czytaj też: Nuklearne zbrojenie Chin trwa, zbudowano ponad sto nowych silosów
Dlatego program FENCE ma na celu stworzyć matryce, które są bardziej inteligentne dzięki wykorzystaniu systemu naśladującego ludzki mózg lub obwody neuromorficzne. Dzięki temu drastycznie zmniejszy ilości danych, które będzie musiał obsłużyć system, po prostu pomijając nieistotne części obrazu. My robimy to naturalnie, skupiając się na tym, na co akurat patrzymy, a kamera FENCE działałaby w podobny sposób, tyle że reagowałaby tylko na te piksele, które uległy zmianie.
Brzmi to w teorii prosto, ale jako że mówimy o operowaniu na obrazie w czasie rzeczywistym, prace się komplikują. Dlatego naukowcy w ramach FENCE pracują nad zupełnie nową matrycą płaszczyzny ogniskowej (FPA) na podczerwień (IR) o niskim opóźnieniu, niskim poborze mocy, asynchronicznym układzie scalonym do odczytu (ROIC) oraz warstwie przetwarzania, która pomaga ROIC zidentyfikować odpowiednie sygnały przestrzenne i czasowe.
Czytaj też: Nowy oficjalny render bombowca B-21 Raider ujawniony
Całość dopełnią zupełnie nowe algorytmy przetwarzania i uczenia się sygnałów cyfrowych, które będą również potrzebne do obsługi złożonych, zmieniających się środowisk. Finalnie rezultatem tych prac i połączenia będzie kamera, która zużywa mniej niż 1,5 wata mocy. Ponieważ nowa technologia jest przeznaczona do zastosowań wojskowych, które obejmują pojazdy autonomiczne, robotykę oraz wyszukiwanie i śledzenie w podczerwieni, opracowane w ramach FENCE matryce będą musiały być dodatkowo wszechstronne i elastyczne.