Het draait niet om megapixels, maar om AI
Innovatie door limiet
Er is maar zoveel innovatie binnen een bepaald onderdeel mogelijk tot je het fysiek, of softwarematig zal moeten wijzigen. Apple heeft bij hun telefoons van de afgelopen jaren telkens een betere camerasensor geïntegreerd. Toen dit niet meer genoeg bleek om vernieuwend te blijven, kwamen er fysieke wijzigingen in de vorm van meer lenzen. Allereerst een telezoom, en laatst met de introductie van de iPhone Pro Max 11 ook een ultragroothoeklens. Toch gaat het al een tijdje niet meer om de hardware, maar draait het juist om wat je nog kan verbeteren op de softwareafdeling. Google had zo bijvoorbeeld al een jaar of twee een functie om foto’s te maken in het donker (waarbij de telefoon gebruik maakt van lange sluitertijden). Toen Apple dit jaar de iPhone 11, iPhone 11 Pro en iPhone 11 Pro Max introduceerde, samen met de verbeterde camerasystemen, toonde het ook een functie genaamd Deep Fusion. Een functie die tamelijk onbekend was, en in het begin zelfs nog niet eens beschikbaar was voor het grote publiek. Daar kwam verandering in met de iOS 13.2. firmware update. Hierdoor werd Deep Fusion beschikbaar voor de gebruiker, wat betekent dat foto's gemaakt met de camera's in de iPhone 11 en iPhone 11 Pro (en Max) nog indrukwekkender worden.
Wat is 'Deep Fusion' precies?
‘iOS 13.2 introduceert Deep Fusion, een geavanceerd beeldverwerkingssysteem dat de A13 Bionic Neural Engine gebruikt om beelden vast te leggen met een aanzienlijk betere textuur, detail en minder ruis bij weinig licht, op iPhone 11, iPhone 11 Pro en iPhone 11 Pro Max,’ zo kondigde Apple destijds de nieuwe software aan. Een lange tijd wisten we niet wat het moest voorstellen. Het klonk heel spannend, zelfs de naam alleen is al intrigerend. Maar hoe is het Apple gelukt om foto’s (en dan met name die genomen zijn in middelmatig of weinig licht) meer detail, meer scherpte en minder ruis te geven? We nemen een kijkje in de techniek die de nieuwe iPhones doet draaien.
Zo werkt het
Het begint allemaal al VOOR je een foto neemt. Wanneer de Deep Fusion-functie aanstaat en je op de ontspanknop van de camera drukt, heeft de software al drie frames vastgelegd van wat je wil fotograferen. Dit gaat razendsnel en de beelden worden nonstop in de buffer opgeslagen om extra beeldinformatie van de uiteindelijke opname te krijgen. Nadat je op de ontspanknop hebt gedrukt, legt de software nog eens drie extra beelden vast plus daarbij een lange belichting voor nog meer details.
Hierna begint het echte ‘deep learning’ gedeelte van het gehele proces. Deep Fusion selecteert de afbeelding met de kortste belichting en de meest beschikbare details en combineert deze automatisch met de lange belichting die op de achtergrond is gemaakt. Deze twee frames zijn de enige die samengevoegd worden, niets meer. De volgende stap draait om de bewerkingen die door de nieuwe A13 Bionic chip verzorgd wordt.
Pixel voor pixel loopt de opname nog vier extra stappen door (je merkt hier niets van aangezien het allemaal in milliseconden gebeurt) om het meeste detail te bereiken. De lucht en de muren krijgen zo bijvoorbeeld de beeldinformatie uit de foto met de lange sluitertijd. Haar, huid, stoffen en andere elementen pakken details uit de opname met de korte sluitertijd. Deep Fusion selecteert details van elk van de belichtingen die het krijgt om de meeste details, kleur, helderheid en toon te kiezen voor de uiteindelijke foto.
Merk je echt verschil?
De belangrijkste vraag na zoveel technische uitleg is natuurlijk; merk je het in de praktijk? We kunnen spreken van een volmondig ‘ja!’ Misschien zal het bij de doorsnee iPhonegebruiker niet meteen opvallen, maar de fotografieliefhebber zal zichzelf meteen verbazen over de scherpte in zijn beelden. En al zijn we natuurlijk nog altijd fan van het fotograferen met een spiegelreflex- of spiegelloze camera, we kunnen er niet meer omheen dat mobiele sensoren steeds beter worden.
En aangezien je telefoon je meest compacte camera is, kun je er maar beter je voordeel mee doen!
Dit artikel werd geschreven door Siem van Woerkom en gepubliceerd in editie 4.2019.
Lees meer
