Inżynierowie z University of Pennsylvania opracowali oprogramowanie o nazwie Fast Feature Field (F³), które zamienia chaotyczny strumień danych z kamer zdarzeniowych w informacje zrozumiałe dla robotów. Narzędzie ma ułatwić stosowanie takich kamer w dronach i autonomicznych samochodach. Wyniki opisano w czasopiśmie Science Robotics.
Kamera, która działa jak siatkówka
Zwykła kamera zapisuje pełne obrazy w stałych odstępach, na przykład 30 razy na sekundę. Kamera zdarzeniowa działa inaczej: na bieżąco rejestruje zmiany natężenia światła i zgłasza, które fragmenty obrazu pojaśniały lub pociemniały. Przypomina to pracę pręcików i czopków w oku ssaków.
Problem w tym, że oko ma dodatkowe warstwy komórek, które porządkują sygnał, a kamery zdarzeniowe takiego etapu nie miały. Wynikiem jest strumień punktów, których tysiące na sekundę trzeba jakoś zinterpretować. Dotąd do każdego zadania pisano osobne, wyspecjalizowane algorytmy, co ograniczało te kamery głównie do badań laboratoryjnych.
Uczenie przez przewidywanie
Zespół początkowo próbował stworzyć odpowiednik szybkiej transformaty Fouriera, czyli popularnego narzędzia do rozkładania sygnałów na składowe. Po miesiącach prób nie udało się w ten sposób niezawodnie opisać ani układu sceny, ani ruchu w niej.
Przełomem było użycie sieci neuronowej uczonej przewidywania przyszłych zdarzeń na podstawie wcześniejszych. Aby to robić trafnie, sieć musi zrozumieć zarówno strukturę sceny, jak i zachodzący w niej ruch. Dzięki temu powstała uniwersalna reprezentacja danych, niezależna od konkretnego zadania.
Pierwsza wersja była jednak zbyt wolna. Badacze zauważyli, że około 95% możliwych pozycji w danych nie zawiera żadnych zdarzeń, więc obliczenia wykonywano tylko tam, gdzie coś się dzieje.
Wyniki testów
F³ sprawdzono na danych z samochodów, czworonogich robotów i dronów, w otoczeniu od nocnych ulic miast po zatłoczone wnętrza. Zadania obejmowały rozpoznawanie obiektów, szacowanie odległości i śledzenie ruchu.
- wyniki na poziomie najlepszych znanych metod w kilku zadaniach percepcji robotów,
- algorytmy oparte na F³ były około dwa do pięciu razy szybsze od wcześniejszych,
- przetwarzanie obrazu w wysokiej rozdzielczości: 120 razy na sekundę,
- przetwarzanie w rozdzielczości VGA: 440 razy na sekundę.
Autorzy podkreślają, że dotychczasowe systemy były budowane pod jedno zastosowanie. Przykładem jest robot Ace od Sony AI, grający w tenisa stołowego, który dzięki kamerom zdarzeniowym śledzi prędkość i rotację piłeczki. Jego układ wizyjny powstał specjalnie do tej dyscypliny.
Co to oznacza w praktyce
Dla zwykłego użytkownika zmiana nie będzie widoczna od razu. Chodzi o technologię „pod maską”, która może z czasem obniżyć koszt i próg wejścia dla producentów dronów, robotów czy systemów wspomagania kierowcy. Kamery zdarzeniowe dobrze radzą sobie z szybkim ruchem i trudnym oświetleniem, więc mogą uzupełniać zwykłe kamery tam, gdzie te zawodzą, na przykład nocą lub przy ostrym kontraście światła.
Wyniki pochodzą z amerykańskiego zespołu i nie dotyczą bezpośrednio przepisów w Polsce czy UE. Jeśli jednak rozwiązanie trafi do komercyjnych pojazdów i dronów, będzie podlegać tym samym wymogom bezpieczeństwa i certyfikacji co inne systemy percepcji. Na razie jest to wynik badawczy, a nie gotowy produkt.
Badacze pracują nad dronami, które z pomocą kamer zdarzeniowych i F³ będą się poruszać w zagraconych, słabo oświetlonych pomieszczeniach. W przyszłości chcą wbudować F³ bezpośrednio w układy kamer, tak by działały jak sterownik zamieniający surowe sygnały na format zrozumiały dla istniejącego oprogramowania wizyjnego. Jak mówi prof. Pratik Chaudhari: „Our goal is to make using an event camera as straightforward as using a conventional one”.
Źródło: Tech Xplore – „Fast Feature Field: The missing link between event cameras and robot vision”
