Algorytm NVIDII i MIT modyfikuje w nagraniach obraz

Wyobraźmy sobie, że oglądamy nagranie z kamery samochodu, na którym widać ulicę w mieście. Dzięki nowej metodzie NVIDII i MIT będzie można jednym kliknięciem zmodyfikować dowolny fragment nagrania – np. budynki zamienić w drzewa, a asfalt w kostkę brukową. Sieć neuronowa NVIDII potrafi przetwarzać filmy o rozdzielczości 2K w scenach trwających nie dłużej niż 30 sekund. Algorytm potrzebuje materiału źródłowego, który następnie mapuje w taki sposób, by wyodrębnić każdą jego część (np. oddzielić ulicę od samochodów, domów, nieba czy drzew). Jak to się dzieje, możecie zobaczyć w wideo poniżej.
Algorytm
Algorytm

Na podstawie własnej bazy plików oraz wstępnego szkicu przypominającego animowane kadry oprogramowanie umie także stworzyć film przedstawiający mówiącego lub tańczącego człowieka. W tym drugim przypadku warto zwrócić uwagę na realistycznie zachowujący się cień, który również został wygenerowany przez algorytm. I choć do idealnego fotorealizmu jeszcze daleka droga, widać, że postęp technologii przetwarzania obrazu jest spory. W dalszej części nagrania można zaobserwować, jak z tym wyzwaniem radziły sobie wcześniejsze metody.

Praca NVIDII i politechniki z Cambridge może znaleźć zastosowanie wszędzie tam, gdzie wykorzystuje się wizję komputerową: w robotyce, autonomicznych pojazdach czy grafice lub kinematografii. Producent kart graficznych z Santa Clara w ostatnim czasie jest mocno zaangażowany w rozwój nowych technik obróbki cyfrowego obrazu. Tylko w tym roku słyszeliśmy już o AI do rekonstruowania zdjęć oraz o opracowywaniu filmów slow motion na podstawie zwykłych nagrań. | CHIP