Aparat w smartfonie, czyli moduł aparatu
Aparaty stosowane w smartfonach (ich cena to kilka do kilkunastu procent wartości całego urządzenia) różnią się od aparatów, które znajdziemy w kompaktach, bezlusterkowcach czy lustrzankach. Przede wszystkim dlatego, że są to moduły, które integrują w jednej przypominającej kostkę obudowie wszystkie komponenty: sensor (wykonany w technologii CMOS lub CMOS BSI, co dodatkowo zmniejsza jego grubość), podstawową elektronikę, przysłonę, optykę i ewentualnie inne elementy jak mechanizm stabilizacji optycznej. Taki moduł ma grubość kilku milimetrów narzucaną między innymi przez oczekiwane wymiary obudów telefonów. Moduł połączony jest z płytą główną smartfonu za pomocą płaskiej taśmy sygnałowej.
Mimo różnic aparat w telefonie to nadal zwykły aparat, a zasady jego funkcjonowania są identyczne jak w przypadku tradycyjnego. Po „otwarciu” migawki (smartfonowe aparaty mają migawkę elektroniczną, bez mechanicznego elementu blokującego dopływ światła do sensora) ich czujniki rejestrują światło, które jest przetwarzane na sygnał cyfrowy. Sygnał po odczytaniu i przetworzeniu jest zapisywany przez oprogramowanie aparatu jako plik JPEG (lub DNG w zaawansowanych modelach po zastosowaniu profesjonalnego trybu fotografowania).
Rozmiar sensora, czyli dlaczego nie doczekamy się pełnej klatki?
Sensory stosowane w telefonach rozmiarami odpowiadają czujnikom z tradycyjnych kompaktów cyfrowych. Są to sensory typu 1/3 cale, 1/2,3 cala czy 1/1,7 cala. Im większą ogniskową przy zachowaniu niezmienionej grubości smartfonu chcemy uzyskać, tym mniejszy czujnik znajdziemy w danym module. Dlatego smartfonowe teleobiektywy sparowane są z sensorami o mniejszej rozdzielczości w Mpix dla zachowania dobrej jakości obrazu, bo mają one zazwyczaj mniejszy rozmiar niż sensory podstawowych aparatów (szerokokątnych). A co za tym idzie, ta sama co w podstawowym aparacie ogniskowa obiektywu w milimetrach przekłada się na dużo większy ekwiwalent ogniskowej dla pełnej klatki.
Czy w przyszłości da się zmieścić większe sensory w smartfonowych obudowach, zakładając, że trend będzie polegał na zmniejszaniu lub utrzymaniu obecnej ich grubości? Jeśli stosowana optyka będzie podlegać podobnym zasadom działania co obecnie, umieszczenie większego sensora równać się będzie znacznemu zwiększeniu grubości modułu – przypomnijmy sobie jak gruby był korpus Nokii 808PV, w którym znajdował się sensor typu 1/1,2 cala.
Pełna klatka czy nawet APS-C tudzież 4/3 to bardzo duże sensory, a ich zastosowanie w smartfonie o grubości kilku milimetrów jest albo niemożliwe, albo wymagałoby użycia na przykład metasoczewek, które na razie znajdziemy jedynie w laboratoriach. Nie mówię nie, ale najbliższa przyszłość fotografii smartfonowej będzie wyglądała inaczej.
Każdy aparat smartfonowy ma przysłonę
Tryb manualny, zwany też profesjonalnym, dodawany jest do oprogramowania sterującego aparatem w smartfonie od bardzo dawna. Pozwala na ręczną zmianę czasu ekspozycji, czułości ISO, ostrości, balansu bieli i to w zasadzie wszystko. Brak tu najważniejszej funkcjonalności, czyli opcji regulacji wartości przysłony. Aparaty smartfonowe są wyposażone w przysłonę, bo każdy element tworzący otwór, przez który pada na sensor światło, można tak nazwać, ale ta przysłona w przeciwieństwie do przysłony w tradycyjnym obiektywie nie zmienia swojej apertury. Jest stale otwarta w maksymalnym stopniu (wyjątek Samsung Galaxy S9), który określa jednocześnie jasność układu optycznego. Smartfonowe aparaty wyróżniają się bardzo dużą jasnością optyki – wartości f/2, f/1,8 nie należą do rzadkości – co pozwala na sprawną pracę aparatu nawet w dość słabym oświetleniu. Maksymalna jasność układu optycznego stosowanego obecnie w smartfonach to f/1,5. I wiele wskazuje, że nie jest to koniec możliwości konstrukcyjnych.
Czy w smartfonie możemy zmieniać przysłonę?
Zmienna przysłona w zwykłych aparatach cyfrowych pozwala nie tylko manipulować ilością docierającego do czujnika światła, ale też umożliwia manipulowanie plastyką obrazu. Im bardziej otwarta przysłona, czyli mniejsza jej liczba, tym mniejsza głębia ostrości. Dlatego obiektywy, które pozwalają mocno otworzyć przysłonę (mają dużą jasność) tak chętnie wykorzystują portreciści.
W smartfonie sprawa nie jest taka prosta. Przede wszystkim główny aparat, czyli ten umieszczony na tylnej ściance, najczęściej ma szerokie pole widzenia. To utrudnia uzyskanie rozmycia tła nawet pomimo zastosowania bardzo jasnego obiektywu. Dodatkowo, niewielki rozmiar smartfonowych sensorów wymusza stosowanie optyki o bardzo małej faktycznej ogniskowej (kilka mm), a to kolejne utrudnienie. Utrudnienie, które jednocześnie sprawia, że fotografując dalsze motywy nie musimy martwić się o głębię ostrości – i tak wszystko będzie ostre. Mała głębia ostrości daje się zauważyć dopiero przy fotografowaniu bliższych motywów, głównie w trybie makro.
Dotychczas fizyczna zmiana wartości przysłony w smartfonach nie była możliwa, a raczej nie stosowano takiego rozwiązania. Dawało się ją jedynie symulować. Wraz z pojawieniem się Samsunga Galaxy S9/S9+ pojawiła się możliwość zmiany wartości przysłony. Mamy do wyboru dwie wartości, a ich zmiana realizowana jest tak samo jak w tradycyjnym aparacie. Zwierane są lamelki przysłony (w tym przypadku dwie) i w ten sposób zmniejsza się efektywny otwór, przez który wpada światło.
Można wyobrazić sobie dalsze zwiększanie liczby przysłony, ale na razie stanowi to dla producentów pewne wyzwanie. Konstrukcyjne – bo lamelek musi być więcej, ale też trzeba zadać sobie pytanie czy ma to sens. Obraz nie stanie się ostrzejszy, a wręcz przeciwnie – ucierpi jego jakość. Z kolei w przypadku mocno otwartej przysłony, tak jak ma to miejsce w Samsungu, zmiana wartości z f/1,5 na f/2,4 może dać się odczuć w jakości obrazu i jego plastyce.
Na następnej podstronie opisujemy m.in., jak działa sensor monochromatyczny.
Po co sensor monochromatyczny w smartfonie?
Każdy sensor cyfrowy jest w praktyce sensorem monochromatycznym. Mówiąc inaczej, piksele nie są w stanie rozróżnić czy padające na nie światło ma kolor niebieski, zielony czy czerwony. W tym celu konieczna jest albo modyfikacja konstrukcji sensora (wprowadzenie kilku warstw czułych na różne długości fal światła, co pozwala wykryć kolory) albo zastosowanie filtrów koloru. W smartfonach podobnie jak w większości zwykłych aparatów cyfrowych stosuje się to drugie rozwiązanie, gdzie każdy piksel przesłonięty jest filtrem barwnym. Najczęściej mamy do czynienia z układem filtrów RGB zwanym maską Bayera, ale są też inne rozwiązania. Sony ma w swoim portfolio sensory z układem filtrów RGBW, w którym piksel W de facto nie ma filtra i rejestruje białe (czyli całe padające) światło. Takie rozwiązanie usprawnia pracę w słabym oświetleniu, ale jest tylko półśrodkiem w drodze do celu.
Dwa lata temu na rynku pojawił się Huawei P9 z monochromatycznym sensorem, który towarzyszył tradycyjnemu aparatowi RGB. Po co całkowicie monochromatyczny sensor? Okazuje się, że w przypadku monochromatycznych zdjęć taki sensor pozwala uzyskać wyższą rozdzielczość obrazu (mowa tu o szczegółowości, której nie należy mylić z rozmiarem zdjęcia w pikselach). W sensorze RGB piksele widzą tylko jedną z trzech składowych barw, więc efektywna rozdzielczość obrazu jest inna niż rozdzielczość barwna, bo konieczna jest interpolacja. Teraz ten sam producent w najnowszym modelu P20 Pro zastosował technikę Quad Pixel, która łączy sygnał z czterech pikseli, tworząc jeden duży piksel dysponujący pełną informacją o kolorze. I mimo że efektywny rozmiar zdjęć nie zmienił się przez ostatnie dwa lata (od premiery P9), a nawet nieznacznie spadł, jakość fotografii poprawiła się. Technologia zastosowana przez Huawei to dowód, że nadmiar pikseli potrafi być przydatny.
Piksele w sensorze monochromatycznym rejestrują realnie więcej światła niż piksele sensora RGB, w którym światło jest filtrowane. Przy podobnym oświetleniu sensor monochromatyczny może zapewnić podobny stosunek sygnału do szumu co sensor RGB już przy niższej wartości ISO (albo przy tym samym ISO, ale krótszym czasie ekspozycji).
Tę zaletę można wykorzystać na kilka sposobów. Po pierwsze we wspomnianej fotografii monochromatycznej – uzyskując ostrzejsze i mniej zaszumione zdjęcia. Po drugie, te same zalety przydają się podczas obliczeniowego zwiększania rozdzielczości i poprawy jakości obrazu rejestrowanego przez sensor RGB. Dlatego w przypadku kombinacji dwóch modułów aparatu – monochromatyczny i RGB, oba mają to samo pole widzenia. Różna może być rozdzielczość i, jak praktyka pokazuje, nie ma jednej reguły, który sensor powinien mieć wyższą.
Zaczęło się od jednego aparatu, potem było 3D
Pierwsze telefony komórkowe wyposażone w aparat fotograficzny (kilkanaście lat temu takie określenie można było swobodnie uznać za eufemizm) miały tylko jeden moduł. Ten umieszczano na tylnej ściance. Potem pojawiły się dodatkowe kamery (tak potocznie mówimy o aparatach w urządzeniach mobilnych) na przednim panelu, przeznaczone najpierw do rozmów wideo, a potem też albo przede wszystkim do selfie. Już wtedy można było powiedzieć, że telefon czy smartfon ma dwa aparaty. Jednak pojęcie podwójny to nie to samo co dwa aparaty. Pierwsze podwójne aparaty pojawiły się niespełna 10 lat temu w czasach boomu na fotografię 3D. Dwie kamery miały rejestrować dwa przesunięte względem siebie obrazy, by oprogramowanie mogło wygenerować zdjęcia lub filmy trójwymiarowe. Technologia 3D w smartfonach (a także w cyfrowych kompaktach) nie znalazła jednak uznania użytkowników (takie filmy i zdjęcia trzeba było przecież obejrzeć, a to wymagało mało komfortowych akcesoriów). I na kilka lat zapomnieliśmy o podwójnym aparacie. Przypomnieliśmy sobie o nim przy okazji pierwszych prób (między innymi HTC) wykorzystania dodatkowej informacji z drugiego sensora dla symulowania rozmycia tła. Kilka lat temu była to jednak bardziej zabawa niż cokolwiek poważnego – a z tym mamy do czynienia dziś.
Podwójny aparat – dwie, a nawet trzy różne ścieżki rozwoju
Na poważnie podwójne aparaty dały o sobie znać dwa lata temu. Najpierw poznaliśmy kombinację aparatu monochromatycznego i RGB (kolorowy) w Huawei P9, a potem pojawił się smartfon LG G5 z dwoma aparatami o różnych ogniskowych. Choć konstrukcyjnie ten ostatni był niezbyt udanym eksperymentem, to koncepcja dwóch różnych ogniskowych w dwóch modułach aparatu na tylnej ściance okazała się strzałem w dziesiątkę.
LG G5 miał jeden sensor z ultraszerokim polem widzenia, a drugi z tradycyjnym aparatem cyfrowym. Pierwszy nie grzeszył jakością, ale radość z jaką się nim fotografowało i filmowało wystarczała, by zapomnieć o niedociągnięciach. LG trzyma się tej koncepcji w swoich aparatach, tymczasem inni producenci (Apple, Samsung) zdecydowali się pójść w przeciwnym kierunku. Zamiast stosować ultraszerokie pole widzenia, w drugim aparacie zastosowali wąskokątną optykę (odpowiednik ogniskowej kilkudziesięciu mm). Tym samym smartfony zyskały możliwość wykonywania dobrej jakości zdjęć w trybie tele, przydatnym przy fotografowaniu dalszych motywów, ale też w fotografii portretowej. Wykonane na ogniskowej 50 czy 70 mm ujęcia nie zniekształcają twarzy tak jak zdjęcia zrobione na tradycyjnej dla większości smartfonów ogniskowej około 25-30 mm.
Skąd się bierze zoom w smartfonie?
Jedną z cech prostych kompaktów, która jest ostatnim argumentem w rywalizacji ze smartfonami, jest obecność zoomu optycznego. Moduł aparatu smartfonowego to najczęściej układy o pojedynczej ogniskowej, choć podobnie jak w przypadku tradycyjnych obiektywów, także i tutaj możemy mieć skomplikowaną wielosoczewkową konstrukcję. Standardowa ogniskowa w telefonie wynosi 25 lub 30 mm. Apple w starszych modelach iPhone’a preferował większe wartości ogniskowej, a miłośnicy tych smartfonów argumentowali ich stosowanie uzyskiwaniem ładniejszych (naturalniejszych pod względem rejestrowanego pola widzenia) zdjęć. Dziś wszyscy producenci dążą do tych mniejszych ogniskowych (w głównych modułach aparatu), które dają szersze pole widzenia.
Twórcy smartfonów próbowali poradzić sobie z problemem pojedynczej ogniskowej już dość dawno, ale okazuje się, że stosowanie optyki o płynnie zmiennej ogniskowej w smukłej konstrukcji jest niewygodne (konieczne w tym przypadku jest zastosowanie łamanej osi optycznej, z sensorem umieszczonym równolegle do płaszczyzny tylnej ścianki smartfonu). Z kolei rozdęty korpus smartfonowego aparatu jak w Samsungu Galaxy K Zoom czyni go bardziej aparatem niż telefonem, a to też okazało się nie do przyjęcia dla użytkowników. Złoty środek próbuje znaleźć Motorola, wykorzystując w serii smartfonów Moto Z moduł TrueZoom.
Czas pokazał, że zadowalający efekt można zyskać, stosując dwie graniczne ogniskowe i algorytmy obliczeniowe, które interpolują wygląd obrazu na pośrednich ogniskowych. Efekt jest dużo lepszy niż w przypadku pojedynczej ogniskowej i zoomu cyfrowego (wyjątkiem była Nokia 808PV, gdzie ogromny nadmiar pikseli w 40 Mpix sensorze pozwalał na wycinanie fragmentów kadru o nadal dużej rozdzielczości). Choć nadal trzeba pamiętać, że obraz dla pośredniej ogniskowej jest na swój sposób wynikiem cyfrowego przetwarzania. Oprogramowanie smartfonów radzi sobie jednak z nim dziś tak dobrze, że trudno będzie zauważyć czy uzyskana ogniskowa jest fizyczna czy symulowana.
Zakres dostępnych ogniskowych może nawet wykraczać poza wartości graniczne narzucone przez parametry zastosowanej optyki. Jest tak na przykład w Huaweiu P20 Pro, w którym ogniskowa optyczna teleobiektywu jest 3x większa niż obiektywu szerokokątnego, ale oprogramowanie zapewnia zoom nawet 5x przy minimalnej degradacji jakości obrazu.
Dzisiejszy zoom cyfrowy, o ile możemy tak nazwać obrazy na pośrednich ogniskowych uzyskane za pomocą technik fotografii obliczeniowej, to kompletnie inna liga niż zoom cyfrowy kilka lat temu. Kiedyś nie różnił się on niczym od powiększenia wycinka zdjęcia. Dziś to wynik skomplikowanych obliczeń.
Potrójny aparat – jeszcze wszystkiego nie widzieliśmy
W tym roku pojawił się pierwszy smartfon z potrójnym aparatem, czyli trzema modułami aparatu cyfrowego na tylnej ściance – Huawei P20 Pro. Mamy tu dwa moduły o tym samym polu widzenia, ale jeden z nich jest monochromatyczny, a drugi barwny. Trzeci moduł ma inną ogniskową – w tym przypadku węższe pole widzenia odpowiadające 70 mm obiektywowi. Z takiego potrójnego układu możemy czerpać korzyści związane z poprawą jakości obrazu (ostrość, niższe szumy), jak i korzyści będące wynikiem obliczeniowego zoomu na podstawie danych z dwóch realnych ogniskowych w dwóch aparatach.
Kombinacja sensorów mono + RGB + RGB to jedna z co najmniej dwóch możliwych ścieżek rozwoju smartfonów wyposażonych w trzy aparaty na jednej ściance. Wielce prawdopodobne jest, że w przyszłości ujrzymy też trzy aparaty o trzech różnych ogniskowych, a każdy z nich będzie miał sensor RGB. W tym przypadku rozszerzony zostanie zakres ogniskowych i zwiększony potencjał obliczeniowego zoomu.
Przedni aparat – czy musi być gorszy?
Zazwyczaj godzimy się z faktem, że przedni aparat w smartfonie daje gorszą jakość zdjęć niż aparat główny na tylnym panelu. Czy jednak tak musi być? Teoretycznie nie ma przeciwskazań, by przedni aparat zapewniał równie wysoką jakość obrazu. W kilku przypadkach producenci obeszli ten problem, stosując obrotowy moduł aparatu, dzięki czemu użytkownik dostawał identyczną jakość zdjęć niezależnie od ustawienia telefonu.
Jednak moduły montowane na stałe w obudowie muszą dzielić miejsce z innymi podzespołami i nie zawsze wychodzi im to na dobre. Uzyskanie dobrej jakości obrazu z przedniej kamery, która najczęściej korzysta z dużo mniejszego niż w głównym aparacie czujnika, jest zatem wyzwaniem dla konstruktorów. Poza tym nie oczekujemy od niej zwykle więcej niż dobrych autoportretów (producenci starają się nas przekonać do przednich kamer, stosując szerokokątne obiektywy, dodatkowe moduły wspomagające funkcje rozmycia tła czy zintegrowany autofokus, który w tym przypadku jest rzadkością). Przy tradycyjnym fotografowaniu (krajobraz, architektura, inni ludzie) chcemy mieć wygodny podgląd na ekranie LCD, a wtedy aparat ma znajdować się na przeciwnej ściance.
Jak smartfonowy aparat ustawia ostrość?
Odpowiedź jest prosta. Tak samo jak każdy inny aparat cyfrowy (z wyjątkiem może lustrzanek). Jednakże pewne techniki są charakterystyczne tylko dla smartfonów, inne pojawiły się w nich z opóźnieniem w porównaniu do tradycyjnych cyfrówek. A już sama procedura poruszania układem soczewek – technologia silników (siłowników) VCM albo MEMS (mikroukłady elektromechaniczne) jest dostosowana do niewielkich rozmiarów modułu aparatu, a tym samym mniejszych potrzebnych zmian położenia. Choć nie mniej precyzyjnych. W przeciętnym smartfonowym aparacie zmiana ostrości z nieskończoności na minimalną odległość ostrzenia wiąże się z przesunięciem soczewek o około 1/4 milimetra.
Podstawową techniką jest detekcja kontrastu. Aparat analizuje na bieżąco obraz i tak ustawia soczewki, by uzyskać obraz o największym możliwym kontraście szczegółów w kadrze. Technika detekcji fazy znana z lustrzanek pojawiła się wraz z sensorami, które mają wbudowane piksele zapewniające detekcję fazy. W smartfonach działa to podobnie jak w trybie podglądu na żywo w aparatach z hybrydowym AF, gdzie łączy się detekcję kontrastu i detekcję fazy.
Rozwinięciem tradycyjnej detekcji fazy zintegrowanej z sensorem (określanej jako PDAF) jest technologia DualPixel AF. W tym przypadku większość pikseli na powierzchni sensora to piksele zintegrowane z elementami zapewniającymi detekcję fazy. W ten sposób uzyskujemy szybki i pewny AF dla prawie całej powierzchni kadru.
Technologie detekcji fazy i kontrastu to nie wszystko. Smartfonowe aparaty mogą posiłkować się też autofokusem laserowym – w tym przypadku analizowany jest bieg światła laserowego LED-u. Ta technika wspomaga przede wszystkim fotografowanie z bliska (około jednego metra). W innych przypadkach nie ma zastosowania. Możliwe jest połączenie tych wszystkich wspomnianych technik, a nawet wzbogacenie ich o detekcję głębi (w wieloobiektywowych układach) i algorytmy przewidujące, które wykorzystują dane zgromadzone przez sensor w trakcie kadrowania, jeszcze przed naciśnięciem spustu migawki.
Zastosowanie autofokusu typu kilka-w-jednym nie oznacza jednak, że zawsze trafimy w dziesiątkę. O ile fotografia dalekich planów, nawet przy słabszym oświetleniu, rzadko już kiedy stanowi problem dla AF, to fotografia makro nadal jest wyzwaniem. Wtedy warto skorzystać z ręcznego ustawiania ostrości i, jeśli to możliwe, z funkcji podświetlania ostrych krawędzi (tzw. focus peaking).
Na kolejnej podstronie omawiamy stabilizację optyczną i wady aparatów w smartfonach.
Stabilizacja obrazu – elektroniczna czy jednak optyczna?
W aparatach smartfonowych mimo niewielkich rozmiarów modułów jest wystarczająco dużo miejsca, żeby zastosować mechanizm stabilizacji optycznej. Stabilizacji może podlegać cały układ soczewki plus sensor – tak by kompensować drgania smartfonu wprowadzane przez fotografującego – ale też wyłącznie układ soczewek, przy nieruchomym względem poruszanego układu sensorze. Ruch stabilizowanego układu wymuszają siłowniki, które mogą bazować na ciekłych soczewkach, stopach z pamięcią kształtu czy silnikach piezoelektrycznych. Drgania, a zarazem wywoływany przez nie ruch soczewek aparatu, wykrywany jest dzięki zintegrowanym z modułem kamery czujnikom Halla i/lub żyroskopom. Skuteczność działania stabilizacji optycznej w dużym stopniu zależy od stopnia zaawansowania algorytmu, który wykonywany jest przez mikrokontroler zintegrowany z modułem aparatu cyfrowego.
Stabilizacja optyczna w najmniejszym stopniu ingeruje w obraz, ale nie wszyscy producenci zaawansowanych smartfonów decydują się na jej stosowanie, nawet jeśli komponenty umożliwiają takie działanie. Mechanizmowi stabilizacji optycznej przeciwstawiają mechanizm stabilizacji elektronicznej. Ta wykorzystuje techniki obliczeniowe i analizę obrazu, by wprowadzić odpowiednie korekty. Jest to praktyczne szczególnie podczas filmowania, ale Sony czy Huawei w swoich flagowcach stosują stabilizację elektroniczną także w trybach fotograficznych. Huawei wzbogacił ją o elementy sztucznej inteligencji, przez co zyskała ona określenie AIS (Artificial Intelligence Stabilization).
Zastosowanie stabilizacji elektronicznej umożliwia teoretycznie zastosowanie mniejszych rozmiarowo modułów, a także dodanie tej funkcji do aparatów, które zwykle nią nie dysponują (np. przednie kamery).
Migawka elektroniczna, a sensory warstwowe
Jak już wspomniałem, w smartfonowych aparatach zamiast migawki mechanicznej mamy migawkę elektroniczną. Działa ona podobnie jak w tradycyjnych cyfrówkach. Dostęp światła jest blokowany poprzez odpowiednią konfigurację elektrycznych sygnałów sterujących działaniem pikseli w sensorze. Migawka elektroniczna eliminuje ten szybko zużywający się element mechaniczny, czyni aparaty w telefonach praktycznie niezniszczalnymi (kwestia zużycia się sensora to inna bajka) i ułatwia stałe monitorowanie padającego na sensor światła.
Migawka elektroniczna stosowana w dzisiejszych smartfonach ma też swoje wady. Największą z nich jest tak zwany efekt rolling shutter. Spowodowane jest to faktem, że zamknięcie cyfrowej migawki, które wiąże się z odczytem obrazu, wymaga odczytu linia po linii. Efektem takiej pracy migawki elektronicznej jest wypaczony kształt (czasem jest on wręcz nienaturalny) szybko poruszających się elementów w kadrze – takich jak samochody, samoloty czy śmigła. Z oczywistych powodów im krótszy czas ekspozycji tym mniej dokuczliwy będzie efekt rolling shutter.
Migawka elektroniczna w połączeniu z technologią CMOS pozwala uzyskać dużo wyższe prędkości rejestracji zawartości sensora niż migawka mechaniczna. Mogą to być dziesiątki, setki, a nawet tysiące klatek/s. W tym momencie na przeszkodzie staje jednak konstrukcja sensora. Tradycyjny sensor z warstwą światłoczułą i elektroniką poniżej nie jest w stanie przeprocesować tak dużej liczby danych. Dlatego na rynku pojawiły się moduły aparatów z sensorami wyposażonymi w warstwowe sensory. Pionierem tutaj było Sony (podobną ścieżką podążył potem Samsung i inni), które jako pierwsze pokazało sensor dla smartfonów z dodatkową warstwą bufora pamięci DRAM umieszczoną pomiędzy warstwą światłoczułą a elektroniką procesującą sygnał. Obraz po rejestracji jest natychmiast przenoszony do pojemnej i szybkiej pamięci, a dopiero potem odczytywany i przetwarzany. Taka technika umożliwiła uzyskanie prędkości rejestracji obrazu rzędu 1000 kl/s. Wciąż pojemność bufora jest zbyt mała, by taki zapis mógł odbywać się dłużej niż przez kilka sekund, ani by rozdzielczość była większa niż kilka Mpix, ale to i tak duży postęp. Po zmniejszeniu tempa rejestracji do około 100-200 kl/s możliwy jest ciągły odczyt nawet w zwykłej rozdzielczości sensora.
Smartfonowy aparat potrafi mieć humory
Każdy mobilny fotograf spotkał się zapewne z tym problemem. Aparat w smartfonie potrafi działać raz lepiej raz gorzej – i wcale nie determinują tego warunki panujące w otoczeniu. Smartfon to konglomerat wielu podzespołów, a te chcąc nie chcąc wzajemnie na siebie oddziałują. I o ile w tradycyjnym aparacie cyfrowym podzespoły odpowiadają przede wszystkim za wykonywanie zdjęć, tak w smartfonie aparat to tylko jeden z elementów składowych. Jest jeszcze duży ekran, chipset, który potrafi się nagrzać w niesprzyjających warunkach, inne podzespoły mogą wzajemnie zakłócać swoją pracę. Zdarzają się pomyłki w funkcjonowaniu oprogramowania. I tak przewidywalny z pozoru sprzęt nagle zaczyna mieć humory. To jednak i tak marginalny kłopot w porównaniu z kilkoma innymi kwestiami.
Rzeczy, które irytują w smartfonowym aparacie
Dotykowy ekran, ogromna zaleta smartfonu, potrafi stać się też problemem. Dotykowy przycisk migawki może być bardzo oporny, gdy chcemy go nacisnąć, trzymając aparat pod kątem. Tenże przycisk w zastosowaniu połączonym z wyborem punktu ostrości może z kolei zbyt łatwo reagować. Z tą „niedogodnością” można się pogodzić, gorzej jest z zagiętymi na krawędziach wyświetlaczami. Podczas fotografowania nietrudno o przypadkowe aktywowanie dodatkowych funkcji tylko dlatego, że lekko przesunęliśmy uchwyt.
Innym “irytatorem” jest nadmierna bezwładność aparatu w telefonie. Fachowcy doceniają konkretną wagę modułu fotograficznego, gdyż zapewnia ona stabilność podczas wyzwalania spustu migawki. W smartfonie naciskamy na ekran (chyba że korzystamy z głosowej migawki), a to wprowadza mimowolnie drgania. I choć staramy się, aby kadr był nieruchomy, zwykle niweczymy ten wysiłek w momencie wykonywania zdjęcia.
Ratunkiem zdawałby się specjalny, fizyczny przycisk, jednak producenci rzadko sięgają po to rozwiązanie. Owszem, można zaprogramować (zwykle jest to domyślne ustawienie) przyciski głośności, ale doskonale wiemy, że ich lokalizacja nie jest idealna.
Irytujące jest też, choć nie każdy może sobie z tego zdawać sprawę, opóźnienie migawki. W najnowszych modelach fotosmartfonów producentom udaje się skutecznie minimalizować czas, jaki upływa od naciśnięcia spustu migawki do zarejestrowania kadru, niestety nadal jesteśmy o krok za tradycyjnymi aparatami.
Smartfon to urządzenie wielofunkcyjne. Mobilne urządzenia doskonale radzą sobie w każdej przypisanej im roli, ale służą przede wszystkim do tego, by być w kontakcie ze światem. Dlatego złości fakt, że intensywne fotografowanie i filmowanie smartfonem prowadzi do rozładowania akumulatora, który przecież potrzebny jest też do innych zadań.
Lampa błyskowa typu prosto w oczy. Jak realizuje doświetlenie kadru przeciętny smartfon? Korzysta z wbudowanej lampy LED (lampy wyładowcze były rzadkością, a w epoce smukłych konstrukcji są niespotykane). Lampa LED-owa ma często dwa źródła światła o różnej barwie, by zapewnić na przykład prawidłowe oddanie koloru cery (doświetlanie osób to zresztą najczęstszy powód sięgania po lampę), ale świeci na wprost modela. Efekt – mało profesjonalne doświetlenie.
Zwykły aparat możemy na ogół postawić na płaskiej powierzchni i odejść, by wykonać sobie zdjęcie ze znajomymi. Większości smartfonów nie da się ustawić choćby na chwilę na żadnej z krawędzi. Smartfon musimy oprzeć, a wtedy będzie najczęściej skierowany obiektywem w górę, co potrafi zepsuć kadr. Mobilny fotograf nieraz marzy o smartfonie z płaską krawędzią (i o tym by w trakcie fotografowania nie wiał wiatr). Albo taszczy ze sobą statyw, co zaprzecza idei mobilności.
Ostatnią rzeczą, która jeszcze denerwuje, a która jest przejawem nadmiernych obaw twórców oprogramowania o jak najwyższą jakość obrazu, jest bardzo konserwatywne podejście do kwestii zmiany czułości ISO. Nawet mimo ciemności, oprogramowanie przesadnie wydłuża czas ekspozycji (nawet do 1/10 sekundy), a dopiero potem podnosi czułość. Mimo wszelkich wysiłków, wydajnego układu stabilizacji optycznej, w większości dłoni 1/10 sekundy to stanowczo za długi czas ekspozycji. Te czasy jednak powoli kończą się, bo nadeszła era inteligentnych aparatów cyfrowych.
Na ostatniej podstronie artykułu przeczytacie o fotograficznej inteligencji, poprawianiu rzeczywistości i o technologii RAW.
Po co ta inteligencja aparatom w smartfonach?
Pojęcie inteligencji, szczególnie sztucznej, jest często nadużywane. Odłóżmy jednak kwestię nazewnictwa na bok, a uzasadnijmy sens stosowania inteligentnych funkcji w aparatach telefonów.
Jak by nie był zaawansowany nasz aparat, jak dużej swobody by nie pozostawiał w trybie manualnym i w ustawieniach menu, i tak będziemy z niego korzystali podobnie jak z najtańszej cyfrówki w najtańszym smartfonie. Czyli wyjmujemy smartfon z kieszeni, włączamy aplikację aparatu i naciskamy spust migawki. Wszystko ma działać automatycznie, bez zbędnego filozofowania.
No i jakże w takiej sytuacji wykonać dobre zdjęcie, skoro automatyczny tryb jest najczęściej bardzo ograniczony. W tym momencie wkracza wspomniana inteligencja. Oprogramowanie aparatu analizuje zawartość sceny – ocenia, co się w niej znajduje (rozpoznawanie, klasyfikacja przedmiotów), analizuje ułożenie obiektów w kadrze (ocena artystyczna), sprawdza inne dane dostarczane przez czujniki aparatu i smartfonu (pora dnia, jasność otoczenia, dynamika sceny). Te wszystkie informacje są łączone i podsumowywane – należy przełączyć aparat w dany tryb, zastosować takie a nie inne ustawienia ekspozycji. To wszystko dzieje się w ułamkach sekundy, a my jesteśmy (zazwyczaj) zadowoleni ze zdjęcia.
Inteligencja w smartfonowych aparatach realizuje te zadania, które normalnie wykonać musiałby fotograf. Zdjęcia stają się lepsze nie tylko dzięki postępowi w technologiach sensorów. Dużo zawdzięczamy inteligencji, która domyśla się, o co chodziło fotografowi i dba o to, by automatyka nie zepsuła zdjęcia złym doborem parametrów ekspozycji.
Inteligentne oprogramowanie można było napisać już wiele lat temu. Tylko że wtedy umarlibyśmy z nudów, czekając na odpowiedź serwera, do którego przesłalibyśmy zapytanie. Dziś elektronika mobilna jest tak wydajna, że wszystkie analizy mogą być przeprowadzone na miejscu w pamięci aparatu.
I to właśnie sprawia, że smartfonowa inteligencja jest tak praktyczna i przydatna nie tylko przy wyborze trybu oprogramowania, ale również podczas samej sekwencji fotografowania, w trakcie której może być wykonywana seria ujęć potem komponowanych w jedno ujęcie. Tak działają funkcje zdjęć nocnych, przy których aparat musi poradzić sobie ze słabo oświetlonymi motywami, jak i jasnymi źródłami światła. Kiedyś zrobienie zdjęć nocnych wymagało podparcia telefonu, dziś wystarczy kilka sekund cierpliwości, a dzięki inteligentnym technologiom nie musimy martwić się o poruszenie obrazu.
Tajemniczy czujnik koloru
Kolor to dla człowieka pojęcie względne. Jednak aparat w smartfonie nie ma prawa się pomylić, musi dokładnie wiedzieć, jak dobrać balans bieli, by proporcje barw na zdjęciach były prawidłowe. Nie jest to proste zadanie, szczególnie w oświetleniu sztucznym lub mieszanym. Analiza danych rejestrowanych przez sensor aparatu może nie wystarczyć.
Dlatego od kilku lat w topowych fotosmartfonach pojawiają się tak zwane czujniki koloru (color sensor), które są w stanie określić proporcje barw w świetle widzialnym (RGB), a także składową podczerwieni (IR). Taki czujnik znajduje się najczęściej obok modułu aparatu i lampy LED z tyłu smartfonu.
Analiza danych z czujnika koloru umożliwia ocenę, czy źródło światła jest sztuczne czy naturalne, a zarazem dobór właściwego balansu bieli. Te dane pozwalają skorygować ewentualny nadmiar niepożądanych barw, które rejestruje sensor aparatu. Informacje z czujnika koloru służą też sterowaniu wbudowana lampą LED o zmiennej temperaturze światła dla prawidłowego doświetlenia fotografowanego motywu.
Uczciwie czy nieuczciwie – jak smartfony poprawiają rzeczywistość?
Coraz powszechniejsze techniki obliczeniowe w połączeniu ze sporą wydajnością stosowanych w smartfonach procesorów umożliwiają uzyskanie efektów, które w przypadku tradycyjnych technik fotografowania zmusiłyby nas do obróbki zdjęć lub stosowania dodatkowych technik oświetleniowych.
Na przykład technika HDR – od lat dużo lepiej realizowana przez smartfony niż zwykłe aparaty cyfrowe. Dziś, przy wydajnych procesorach i pojemnej pamięci podręcznej towarzyszącej mobilnym sensorom, która pozwala przechowywać wcześniejsze nawet nie zapisane kadry, osiąga swoje szczyty. Zdjęcia przypominają to, co widzimy ludzkim okiem, brak w nich zbyt ciemnych miejsc, a także tych, które zwykle byłyby wypalone.
Smartfonowe oprogramowanie potrafi też oszukiwać. Mówiąc inaczej, zapewnia nam efekty, których uzyskanie wymaga modyfikacji obrazu ponad to, co naturalnie widzimy albo to na co pozwalają parametry optyki. W pierwszym przypadku mam na myśli techniki analizy zawartości sceny, wykrywania twarzy tak, by potem cyfrowo móc ją doświetlić, tak jakbyśmy doświetlali ją, stosując dodatkowe źródła światła.
W drugim przypadku mowa o popularnej ostatnio technice kontroli stopnia rozmycia tła. Analiza obrazów, czasem wykonanych dwoma aparatami na dwóch ogniskowych, pozwala wyliczyć, jak wyglądałoby zdjęcie wykonane przy różnych wartościach przysłony. Możliwe jest zatem cyfrowe manipulowanie tym parametrem optyki, mimo iż zwykle smartfon ma obiektyw bez możliwości zmiany apertury.
Efekty nie muszą jeszcze zadowalać wszystkich. Niemniej obliczeniowa fotografia działa już na tyle dobrze, że trudno odmawiać jej sensu. A na pewno błędem byłoby stwierdzenie, że fałszowana jest rzeczywistość, bo nie jest tu wprowadzane nic, co nie mogłoby być zarejestrowane odpowiednim sprzętem.
Tryb ręczny i fotografia RAW – niedoceniane i tak pewnie pozostanie
Rozwijające się funkcje inteligentnego doboru sceny i parametrów fotografowania ewidentnie kierują nas ku coraz bardziej automatycznym, ale i nieomylnym aparatom cyfrowym w smartfonach. Sprawiają, że tryb ręczny i zapis zdjęć w formacie RAW, tak jak były niedoceniane, tak pozostaną niedoceniane. Z tego pierwszego nie będzie nam się chciało korzystać, skoro dostaniemy do dyspozycji dziesiątki zaawansowanych trybów tematycznych, a fotografia RAW jak wymagała, tak będzie wymagać talentu i cierpliwości podczas obróbki fotografii. A na to mobilni fotografowie nie mają ani czasu, ani ochoty.
Warto jednak pamiętać, że nasz smartfon może mieć funkcję manualnej ekspozycji. Pozwala ona uwolnić się od narzucanych przez oprogramowanie ustawień i wykonanie zdjęć tak, jak tego oczekujemy, w granicach, które narzuca nam dostępna ekspozycja. A niestety brak możliwości ustawienia przysłony na wyższe wartości mocno ogranicza potencjał użytkownika.
Parametrem, którego regulacja może być bardzo przydatna, jest ostrość. Użytkownicy smartfonów zwykle zapominają, że mogą ją ustawić na sztywno w trybie profesjonalnym. Jeśli zechcemy fotografować z bliska owady czy inne drobne motywy, szybko docenimy tę możliwość.
Dlaczego zdjęcia smartfonowe cieszą nasze oczy?
Zdjęcia ze smartfonów coraz bardziej zachwycają, od dawna ten fakt staramy się uzasadnić stosowaniem coraz lepszej elektroniki rejestrującej obraz. Istotnie, producenci elektroniki robią wiele, żeby poprawić parametry robocze aparatów mobilnych i lepiej spożytkować rejestrowane dane.
To jednak tylko połowa prawdy. Druga połowa kryje się w oprogramowaniu, w algorytmach, które służą zapisaniu zdjęć w jak najlepszy sposób. Niekoniecznie oznacza to najwyższą możliwą jakość obrazu, wręcz przeciwnie, oprogramowanie musi dbać o wyważenie pomiędzy jakością obrazu, a zużyciem energii (a tej smartfon ma ograniczone zasoby). Dlatego warto pamiętać, że zdjęcia ze smartfonu mogą być jeszcze lepsze niż są (dowodem są wyniki obróbki plików DNG rejestrowanych przez niektóre aparaty).
Zdjęcie z lustrzanki czy bezlusterkowca często wymaga dodatkowej obróbki poza aparatem. W smartfonie to wszystko dostajemy od razu bez zbędnych ceregieli i naszej ingerencji. Wystarczy tylko wyjąć smartfon z kieszeni i nacisnąć spust migawki aparatu. Reszta dzieje się automatycznie – oprogramowanie aparatu nie tylko odpowiednio dobiera tryb fotografowania, ale potem wzmacnia niektóre elementy (kolory, kontrast, krawędzie), sprytnie ukrywając wady obrazu.
Do tego dochodzi jeszcze odrobina “magii”, która kryje się w dodatkowych aplikacjach do obróbki zdjęć. Za ich pomocą szybko zmodyfikujemy zdjęcie przed umieszczeniem go na Facebooku czy Instagramie.
Co w przyszłości?
Czeka nas rozbudowana automatyka wspomagana przez systemy AI, która coraz lepiej radzi sobie w wymagających sytuacjach (fotografia nocna, sport i inne dynamiczne sceny), coraz więcej smartfonów z podwójnymi aparatami, a nawet potrójnymi. Oprócz tego coraz większe znaczenie metod fotografii obliczeniowej wspomaganej przez wyspecjalizowane chipsety, a w efekcie jeszcze lepsze techniki HDR, wyższe dostępne i użyteczne czułości ISO dla aparatów w smartfonach. I być może efektywniejsze lampy LED.
Tak można wyobrazić sobie najbliższą przyszłość fotografii mobilnej i to bez większych zmian w samej konstrukcji sensorów. To co dziś znajdujemy w topowych modelach, w najbliższych latach będzie trafiało do tańszych smartfonów, a to oznacza, że wysokiej klasy mobilna fotografia znajdzie się w zasięgu jeszcze większej liczby użytkowników. | CHIP
