Powiedział bardzo ważną rzecz. Najpierw przypomniał, od czego zależy wartość i jakość zdjęcia w tradycyjnej fotografii (także cyfrowej, ale nie tej wykonywanej smartfonami). W pierwszym rzędzie od tematu, potem od światła, wreszcie od obiektywu i korpusu aparatu. Jeśli ktoś w tym przypadku chce się z tym nie zgodzić, przypominając, że „to nie aparat robi zdjęcie, ale fotograf”, to warto zwrócić uwagę, że fotograf został jak najbardziej wymieniony, i to na pierwszym miejscu. To on wybiera temat, czyli kadr i moment naciśnięcia spustu migawki. Ale nie wolno zapominać też o tym, że każdy fotograf potrzebuje do wykonywania zdjęć narzędzi, tak jak rzeźbiarz, nawet najlepszy, nie poradzi sobie bez dobrego dłuta. I stąd obiektyw i aparat.
Zaledwie chwilę później Marc Levoy zburzył zakreśloną przed chwilą hierarchię, prezentując inny porządek rzeczy, obowiązujący w fotografii smarfonowej. Na pierwszym miejscu pozostał temat, na drugim – nadal światło, nie zmienił się także obiektyw. Jednak na czwartym miejscu nie było już korpusu aparatu, czyli w domyśle – mniejszej lub większej matrycy, różniącej się także liczbą pikseli czy technologią działania. Zamiast niej na czwartym miejscu w hierarchii czynników, które mają decydujący wpływ na jakość zdjęcia, pojawiło się… oprogramowanie.
Cyfrowe ciasne pudełko
Jeff Bezos zauważył kiedyś, że ograniczenia są niezwykle skutecznym katalizatorem innowacji. Użył prostej metafory: „jeśli zamkniemy kogoś w ciasnym pudełku, to tym chętniej znajdzie drogę, żeby się z niego wydostać”. Takim „ciasnym pudełkiem” w przypadku smartfonów są właśnie mikroskopijne rozmiary modułu fotograficznego i samej matrycy światłoczułej (ostatnio nawet kilku matryc). Fizyka i prawa optyki są w tym przypadku bezwzględne – im mniejsza powierzchnia matrycy i mniejsze poszczególne piksele, tym jakość powinna być gorsza.
Dlatego producenci smartfonów musieli wykazać się innowacyjnością, która zaskoczyła zapewne większość tradycyjnych producentów aparatów cyfrowych. Znaleźli wyjście z ciasnego pudełka! Pokonali – przynajmniej w pewnym stopniu – ograniczenia, jakie niosą ze sobą matryce rozmiaru kawałka paznokietka i obiektywy, które można by schować w dziurce od guzika. Tym wyjściem jest właśnie oprogramowanie, wykorzystywane na kilka różnych, sprytnych sposobów. Oprogramowanie, które pozwala im dość skutecznie przekraczać ograniczenia stawiane przez prawa fizyki.
Kieszonkowi mocarze
Nie byłoby jednak oprogramowania obchodzącego prawa fizyki, gdyby nie potężna moc obliczeniowa współczesnych smartfonów. Każdy nowoczesny telefon jest w gruncie rzeczy komputerem osobistym, a nawet bardzo osobistym, trzymanym „gdzieś w pobliżu” niemal przez całą dobę. Komputerem, który wyposażony jest w mocny procesor, niezły układ graficzny, dużą ilość pamięci RAM i zazwyczaj naprawdę dobry ekran. Specyfikacja topowych smartfonów przewyższa nieraz notebooki sprzed kilku lat (o aparatach cyfrowych nie wspominając), a ich moc obliczeniowa pozwala na wykorzystanie zaawansowanego oprogramowania, które w ramach szeroko pojętej definicji zasługuje na miano sztucznej inteligencji. Sztucznej, ale sprawdzającej się praktyce.
Jak praktyka, to praktyka – przykład
W ostatnią sobotę znajoma podesłała mi z Bergen dwa zdjęcia. Chodziło o zagadkę – które z nich wykonane zostało smartfonem, a które aparatem cyfrowym. Oczywiście to zdjęcia wykonane z ręki, więc kadr trochę się różni, ale generalnie wykonane zostały z tego samego miejsca i w niemal tym samym momencie, a także w obu przypadkach w trybie Auto. Smartfon to jeden z topowych modeli poprzedniej generacji. Aparat także premierę miał w zeszłym roku – wysokiej klasy nowoczesny kompakt, kosztujący nawet teraz ponad 4000 zł.
Oto ta zagadka:
Ten artykuł ma w tle pewną tezę, dlatego łatwo domyślić się, jaka jest odpowiedź. Nie ma tu jednak jakiejkolwiek manipulacji – prawe zdjęcie, pochodzące ze smartfonu, większości osób po prostu podoba się bardziej, nawet jeśli niekoniecznie wiernie odwzorowuje rzeczywistość. Pokazuje ją… piękniej. Podobny efekt można by bez problemu wycisnąć w programie do grafiki z lewego zdjęcia, ale smartfon podaje nam to piękno na tacy, gotowe do natychmiastowego spożycia.
Tego typu sytuacje się powtarzają i – o czym pośrednio świadczą też wyniki sprzedażowe obu kategorii sprzętu – w tego typu „pojedynkach” coraz częściej wygrywają właśnie smartfony. Oczywiście dotyczy to zazwyczaj zdjęć, których jakość oceniana jest przez „laików”, na dodatek zwykle tylko na ekranie smartfonu, a nie na dobrym monitorze, w programie graficznym i przy powiększeniu 100%. Ale… czy to błąd? Jeśli ktoś prezentuje zdjęcia wyłącznie w mediach społecznościowych czy właśnie na smartfonie, to najważniejsze dla niego jest tylko to, by zdjęcie wyglądało dobrze w takich sytuacjach, a nie w podczas wnikliwej analizy jakiegoś laboratorium testowego.
Co ciekawe, w ciągu ostatnich dwóch lat można zaobserwować jeszcze jeden trend – smartfony coraz częściej wygrywają z aparatami także w przypadku zdjęć wykonywanych wieczorem, w nocy, w ciemnych wnętrzach – po prostu w trudnych warunkach oświetleniowych. Jak to możliwe? Znowu – to głównie zasługa oprogramowania…
Multiekspozycja, czyli nec Hercules…
Jak mawiali starożytni – i Herkules (nie zdzierży…), jeśli ludzi kupa. Przyjmijmy, że tym cyfrowym, potężnym herosem są duże matryce współczesnych lustrzanek czy bezlusterkowców – kilkadziesiąt, a nawet kilkaset razy większe pod względem powierzchni od matryc światłoczułych stosowanych w smartfonach. A jednak te ostatnie nadal mogą z nimi rywalizować. Producenci smartfonów stosują bowiem właśnie metodę „kupą, mości panowie”, czyli wielokrotne wykonywanie zdjęcia tego samego (lub zbliżonego) kadru – multiekspozycję.
Szczegóły tej techniki różnią się w zależności od producenta czy generacji telefonu, a nawet konkretnego modelu. Bywa, że smartfon wykonuje błyskawicznie zaledwie dwa zdjęcia, ale są też modele, w których seria ujęć wykonana w tej technice jest znacznie dłuższa – między 5 a 10 klatek (przy czym więcej nie zawsze znaczy lepiej). Zasada jest jednak taka sama – algorytmy analizy obrazu wyciągają to, co najlepsze, najbardziej kontrastowe i szczegółowe, z każdego ujęcia, tworząc w rezultacie obraz o znacznie lepszej sumarycznej jakości.
Warto przy tym pamiętać, że technika mutliekspozycji może być wykorzystywana w dwóch odrębnych rodzajach sytuacji. Pierwsza to popularny w nowych modelach telefonów tryb nocny. W tym przypadku smartfon rejestruje zazwyczaj kilka ujęć różniących się poziomem naświetlenia – od mocno niedoświetlonych, zbyt ciemnych, po lekko prześwietlone. Z każdej klatki wykorzystywane są następnie fragmenty najlepszej jakości, dzięki czemu nie tylko zwiększa się ostrość, szczegółowość obrazu, ale przede wszystkim zmniejsza się poziom zakłóceń obrazu – tzw. szumów. Przy okazji technika multiekspozycji pozwala zachować w tym przypadku szczegóły w najjaśniejszych elementach kadru (tzw. światłach), dzięki czemu np. nocne latarnie czy gwiazdy na niebie nie są „przepalone”.
Drugim rodzajem sytuacji jest wykorzystanie tzw. zoomu cyfrowego, czyli technika, w której smartfon „przybliża” fragment kadru, choć wyposażono go w obiektyw stałoogniskowy – wycinając go w gruncie rzeczy z i tak już maleńkiej matrycy. Jeszcze niedawno podobny zabieg można było wykonać równie dobrze po zrobieniu zdjęcia, np. w programie graficznym. Jednak dzięki technice multiekspozycji zdjęcia wykonane z zoomem cyfrowym bezpośrednio w smartfonie mają lepszą jakość. Dlaczego? Telefon wykonuje błyskawicznie kilka tak samo lub podobnie naświetlonych ujęć, a później z każdej klatki wybiera znów tylko to, co najlepsze – szczegóły, szczegóły, szczegóły.
Warto dodać, że technika wykorzystywania wielu klatek tego samego ujęcia znana jest w fotografii od dawna (np. HDR czy wielokrotna ekspozycja). Różnica polega na tym, że potężna moc obliczeniowa nowoczesnych smartfonów pozwoliła na wykorzystanie tej techniki w znacznie wygodniejszy, a równocześnie skuteczniejszy sposób. I rzeczywiście to działa.
Czwórkami do boju szli… – pixel binning
Kolejną techniką poprawy obrazu, którą stosują producenci smartfonów, jest metoda „łączenia” pikseli matrycy – pixel binning. To także działanie od strony oprogramowania, bo fizycznie nic się w sensorze nie zmienia; natomiast nie jest to już obchodzenie praw fizyki, ale ich respektowanie. Im większa powierzchnia piksela, tym więcej światła na niego pada, a im więcej światła, tym lepsza jakość obrazu. Jeśli zatem zwiększymy powierzchnię piksela czterokrotnie (łącząc software’owo 4 sąsiadujące piksele), jakoś obrazu nie poprawi się może aż tak mocno, ale poprawi na pewno.
Jak to wygląda w praktyce? Wiele modeli smartfonów z ostatnich lat (w tym np. najnowszy OPPO Reno 2, który wraz z OPPO Reno Zoom 10x wykorzystywaliśmy przy tworzeniu tego materiału) wykorzystuje jako matrycę głównego aparatu sensor o rozdzielczości 48 mln pikseli, który po zastosowaniu techniki pixel binning rejestruje 12-megapikselowe zdjęcia. Taka rozdzielczość obrazu, nawet po przycięciu fotografii w formacie 4:3 do panoramicznego 16:9, wystarcza w zupełności do prezentacji zdjęcia na dobrym monitorze czy telewizorze 4K. Mimo to kilku czołowych producentów zapowiedziało już smartfony z matrycami o rozdzielczości 64 mln pikseli (16 mln po pixel binning), a nawet 108 mln pikseli (27 mln).
Czy to ma sens? Czy nie lepiej zamiast matrycy z 48 mln światłoczułych punkcików zrobić właśnie sensor 12-milionowy, z większymi pojedynczymi pikselami? W kontekście samej ilości światła padającego na sensor i praw fizyki trend zwiększania rozdzielczości rzeczywiście przeczy zdrowemu rozsądkowi, ale znów warto wziąć pod uwagę… oprogramowanie.
Cyfrowe poprawianie świata – dane, dane, więcej danych!
Algorytmy poprawy obrazu (m.in. odszumianie, wyostrzanie, poprawa kontrastu, wyciąganie szczegółów z najciemniejszych i najjaśniejszych obszarów, redukcja wad optycznych obiektywu) działają w smartfonach naprawdę skutecznie – i tym skuteczniej, im więcej danych otrzymują. W uproszczeniu: nawet jeśli są to dane niskiej jakości, to mimo wszystko „sztuczna inteligencja” telefonu woli otrzymać cztery informacje o poziomach jasności dla poszczególnych kanałów barwnych (zwykle RGBG) z czterech maleńkich punktów, a nie jedną informację lepszej jakości z jednego większego. 48 mln maleńkich pikseli w tym kontekście jest zatem bardziej przydatne niż 12 mln większych punktów światłoczułych.
Wąskim gardłem wysokich rozdzielczości była niegdyś moc obliczeniowa procesora obrazowego, ale o nią w nowoczesnych smartfonach nie musimy się specjalnie martwić. Dlatego nawet obróbka „w locie” danych z matrycy 48-megapikselowej czy w przyszłości ponad 100-megapikselowej nie stanowi i nie będzie stanowiła specjalnego problemu, a przyczyni się do zwiększenia jakości obrazu.
Wracają na chwilę do pixel binning – jeśli chodzi o rejestrację samego poziomu jasności poszczególnych pikseli (luminancję), sprawdza się ona świetnie i dlatego jest stosowana. Natomiast gdy zaczynamy badać natężenie poszczególnych barw (chrominancję), między innymi w celu software’owej poprawy obrazu i wyciągnięcia z niego maksimum detali, duża rozdzielczość rzeczywiście okazuje się przydatna.
I znów drobna uwaga – zarówno techniki cyfrowej poprawy obrazu, jak i technologia łączenia pikseli zostały opracowane jeszcze w czasach królowania tradycyjnej fotografii cyfrowej (jak to brzmi…), czyli dla aparatów. Jednak dopiero w smartfonach doczekały się ona masowego wykorzystania (pixel binning jest teraz rzadko stosowany w aparatach) i prawdziwego rozwoju.
Stabilizacja i magia
Wiele dobrych słów padło już pod kątem współczesnych smartfonów, dlatego pora na łyżkę dziegciu – ich producenci nadal niezbyt dbają o uczciwe, wiarygodne i łatwo porównywalne prezentowanie parametrów fotograficznych i filmowych swoich urządzeń. W przypadku prawdziwych aparatów czy obiektywów sprawa jest prosta – ustandaryzowane testy japońskiej organizacji CIPA informują w stopniach ekspozycji (EV), jak skuteczna jest dana stabilizacja. Jeśli aparat X oferuje stabilizację na poziomie 3 EV, a aparat Y już 4,5 EV, to lepsza jest ta druga konstrukcja, nie ma zmiłuj. Proste.
W przypadku smartfonów sprawy się niestety komplikują. Zwykle dowiadujemy się, że stabilizacja jest (ale nawet i to nie zawsze!), ewentualnie wraz z kilkoma pustymi epitetami typu „niesamowita, wyjątkowa, rewelacyjna, skuteczna”. Czasem tylko w czasie prezentacji nowej generacji smartfonów jakiś producent przyzna, że tym razem stabilizacja jest np. 20% skuteczniejsza lub choćby i 3-krotnie lepsza. Brzmi to świetnie i bardzo przekonująco, a jedyny myk polega wtedy na tym, że nadal nikt nie informuje, jaką skuteczność miała stabilizacja starszej generacji, do której się odwołujemy.
Dużym plusem najlepszych nowoczesnych smartfonów jest za to dbałość producentów o to, by w stabilizację optyczną wyposażyć więcej niż jeden obiektyw. Bo tych jest z reguły już kilka, więc najlepszym ze spotykanych rozwiązań jest konfiguracja taka jak np. w OPPO Reno 10x Zoom – stabilizacja obiektywu standardowego i teleobiektywu o długiej ogniskowej.
Dlaczego zwłaszcza teleobiektyw potrzebuje stabilizacji, natomiast spotykany również coraz częściej obiektyw szerokokątny spokojnie sobie bez niej poradzi? Wynika to z prostej zasady mówiącej o tym, że im dłuższa ogniskowa obiektywu, tym łatwiej niechcący „poruszyć” rejestrowane z jego pomocą zdjęcie. Oczywiście ludzie różnią się między sobą, ale generalnie przyjmuje się, że najdłuższy bezpieczny czas naświetlania, podczas którego zdjęcie wykonywane z ręki będzie nadal nieporuszone, to odwrotność ogniskowej obiektywu, jaki jest wykorzystywany. Znów na przykładzie OPPO Reno 10x Zoom: bezpieczny czas naświetlania dla szerokokątnego obiektywu o ogniskowej 16 mm (w przeliczeniu na format małoobrazkowy) to całkiem długa 1/16 sekundy. Natomiast teleobiektyw o ogniskowej 160 mm wymaga już redukcji bezpiecznego czasu do 1/160 sekundy, a więc na tyle krótkiego, że trudno go już uzyskać przy słabym oświetleniu. I wtedy przydaje się stabilizacja, wydłużająca bezpieczny czas wykonania ostrego, nieporuszonego zdjęcia co najmniej kilkukrotnie.
Tak to działa w smartfonach ze stabilizacją i tak to działa w tradycyjnych aparatach i obiektywach, natomiast w smartfonach dochodzi do tego jeszcze cyfrowa magia. W trybie nocnym nowoczesne smartfony pozwalają na naświetlanie z ręki nawet przez dobre kilka długaśnych sekund – coś zupełnie niewyobrażalnego nawet dla najdroższych aparatów czy obiektywów świata. Wszystko dlatego, że układ żyroskopów smartfona rejestruje drgania podczas wykonywania zdjęcia, a procesor obrazowy analizuje surowy obraz, śledząc na nim „ścieżkę poruszeń”. Wszystko trwa tylko ułamki sekundy, ale działa – i to działa naprawdę skutecznie. Wbrew fizyce, wbrew ludzkiej fizjologii i wbrew zasadzie odwróconej ogniskowej. Działa – znów dzięki oprogramowaniu.
Szczypta tradycji – jasne obiektywy
Omawiając temat zdjęć wykonywanych smartfonami przy słabym świetle należy również wspomnieć o obiektywach, określanych w uproszczeniu jako „jasne”. To dość zgrabna, intuicyjna nazwa na otwór względny obiektywu, czyli liczbową relację między jego ogniskową a średnicą jego czynnej źrenicy wejściowej. W skrócie – im ten otwór większy, im obiektyw „jaśniejszy”, tym większa ilość światła doleci w określonym czasie do matrycy. W sytuacjach, gdy tego światła jest mało, duży otwór względny obiektywu pozwala wykonać zdjęcia przy bezpiecznie krótkim czasie naświetlania i bez nadmiernego podnoszenia czułości ISO, mającej negatywny wpływ na jakość obrazu.
Trzeba przyznać, że współczesne smartfony są wyposażone w dość „jasne” obiektywy, np. f/1,7 w OPPO Reno 2. Czy w kolejnych generacjach będzie jeszcze „jaśniej”? Trudno powiedzieć, ale warto pamiętać o tym, że im większy otwór względny obiektywu, tym – w pewnym uproszczeniu – większe też jego rozmiary. A rozmiar modułu fotograficznego w smartfonach ma swoje ograniczenia.
Sztuczna inteligencja działa, ale ty też włącz też myślenie
Możliwości sztucznej inteligencji „zaszytej” we współczesnych smartfonach i wykorzystywanej podczas wykonywania zdjęć robią ogromne wrażenie i zadziwiają skutecznością. To wszystko prawda, ale podsumowując ten tekst, zachęcam również do… włączenia myślenia.
Większość współczesnych smartfonów oferuje bowiem także zaawansowane tryby fotografowania, określane jako „Expert” albo „Pro” i umożliwiające ręczną kontrolę nad wieloma parametrami ekspozycji. W wielu trudnych sytuacjach zdjęciowych „magia oprogramowania” radzi sobie całkiem dobrze, jednak bywa i tak, że sztuczna inteligencja zawodzi. A wtedy najlepsze efekty osiągniemy najbardziej tradycyjnymi, sprawdzonymi fotograficznymi metodami, takimi np. jak fotografowanie ze statywu i użycie długiego czasu naświetlania. Warto spróbować!
