Naukowcom z Uniwersytetu w Waszyngtonie udało się zamienić pojedyncze zdjęcie w wideo. Wszystko dzięki technologii deep learning, która umie przewidzieć, co się wydarzy. Póki co technologia opracowana przez naukowców nie przedstawia się jednak szczególnie imponująco. Animowane może być wszystko, co płynie, czyli woda, dym czy chmury.

Pokazowe widea przedstawiają wodospady – faktycznie wydaje się jakby kaskady wody spływały w dół. Tymczasem jest to zaloopowany efekt przewidywań algorytmu.

– Zdjęcie uchwyciło chwilę zatrzymaną w czasie. Jednak w statycznym obrazie ginie wiele informacji. Co doprowadziło do tego momentu i jak się zmienia? Pomyśl o tym, kiedy ostatnio zafiksowałeś się na czymś naprawdę interesującym – są szanse, że nie było to całkowicie statyczne. Nasza metoda wyróżnia się tym, że nie wymaga żadnych danych wejściowych ani dodatkowych informacji od użytkownika – wszystko, czego potrzebujesz, to zdjęcie – tłumaczy główny autor badań, Aleksander Hołyński.

Jak to działa? Po pierwsze system przewiduje, w jaki sposób poruszały się rzeczy, gdy było robione zdjęcie. Następnie wykorzystuje te informacje przy tworzeniu animacji.

Sieć neuronowa szkolona była na tysiącach filmów przedstawiających wodospady, rzeki, oceany, chmury itp.

Następnie uczyła się, odgadując proces ruchu po jednej klatce filmu. W ten sposób zaczęła umiejętnie identyfikować wskazówki, które finalnie doprowadziły do zamiany zdjęć w wideo. – Kiedy widzimy wodospad, wiemy, jak powinna się zachowywać woda. To samo dotyczy ognia lub dymu. Tego typu ruchy podlegają temu samemu zestawowi praw fizycznych, a na obrazie są zwykle wskazówki, które mówią nam, jak powinny się poruszać – tłumaczy Hołyński. – Chcielibyśmy w przyszłości operować na szerszym zakresie obiektów, takich jak animowanie włosów na wietrze. Mam nadzieję, że wkrótce zdjęcia, którymi dzielimy się z przyjaciółmi i rodziną, nie będą obrazami statycznymi. Zamiast tego będą to animacje dynamiczne, takie jak te, które produkuje nasza metoda.

Gify: University of Washington
Tekst: NS