Apple ProRAW: una rivoluzione nella fotografia computazionale

Fotografia computazionale

Avrete sicuramente sentito parlare di questo nuovo formato introdotto da Apple durante la presentazione fatta a ottobre 2020 in cui ha menzionato l’arrivo di questa novità con iPhone 12 Pro e iPhone 12 Pro Max. Durante la presentazione ricordo di essere sobbalzato dalla sedia mentre pensavo, “l’hanno fatto davvero!”. Andiamo quindi a vedere nello specifico com’è fatto questo nuovo formato e quali saranno le implicazioni nel prossimo futuro. Mettetevi comodi perché c’è molto di cui parlare.

Nella presentazione di Apple, della durata di circa un’ora, si è parlato di Apple ProRAW per 2 striminziti minuti, allora perché tutto questo chiasso mediatico? Beh perché è una “funzione” che qualunque fotografo vorrebbe nel proprio smartphone. Ok, il binomio fotografo-smartphone può sembrare strano: non faremo confronti fra device mobili e corpi medio formato, o discorsi filosofici sul fatto che un vero fotografo scatta anche con una compatta, non è questo il punto. Lo smartphone è solo l’inizio di una storia molto più ampia che cercheremo di approfondire in questo articolo.

Negli ultimi anni le macchine fotografiche hanno fatto dei salti da gigante, siamo nel pieno del passaggio da reflex a mirrorless, ci sono sensori full-frame retroilluminati, stabilizzazione attiva a 5 assi, ottiche super veloci, ecc. solo per citarne qualcuno. Negli ultimi 10 anni circa le fotocamere sono cambiate drasticamente e lo stesso si può dire anche per gli smartphone che hanno visto nella parte fotografica un’evoluzione incredibile con cambiamenti tangibili anno dopo anno. Fotocamere da una parte, smartphone dall’altra, due rami completamente diversi che hanno visto nella loro storia un incremento considerevole di investimenti e di sviluppo su fronti diversi.

Dal lato fotocamere si è puntato tutto sull’ottimizzazione dell’hardware per arrivare ad avere un file RAW sempre migliore lasciando in secondo piano il software che non ha fatto salti in avanti degni di nota, algoritmi per la messa a fuoco a parte. Dal lato smartphone invece l’evoluzione ha seguito una strada diversa, quasi opposta. Anche se indubbiamente i sensori utilizzati in ambito mobile hanno visto un miglioramento hardware incredibile, c’è una cosa dalla quale non si scappa: le dimensioni. A differenza di una fotocamera, le dimensioni di uno smartphone sono una cosa prioritaria. Aumentare lo spessore di 5 mm in un corpo macchina non è un problema, in un telefono si, potrebbe diventare invendibile. Risultato? Si possono montare solo sensori e ottiche minuscole, che confrontati con quelle delle fotocamere sono al limite del ridicolo se parliamo di dimensioni e quantità di luce catturata. Gli smartphone però hanno a disposizione un processore incredibilmente performante, gli ultimi modelli di fascia alta superano come velocità di calcolo la maggior parte dei notebook sul mercato. Questo ha portato ad uno straordinario sviluppo software per cercare di sopperire alle enormi mancanze del reparto hardware risicato nei pochi millimetri di spessore. La fotografia computazionale ha così trovato terreno fertile e negli ultimi anni ha raggiunto livelli di accuratezza molto alti, tanto da capovolgere il senso della frase “l’ho scattata con il cellulare”. Perché fino a qualche anno fa in ambito della fotografia di tutti i giorni (quella “punta e scatta” alla portata di tutti per capirci) il telefono comunque era sinonimo di fotografia di scarsa qualità ma adesso non è più così. Si è arrivati al punto che scattare un tramonto o un ritratto in controluce restituisce un risultato migliore con uno smartphone che con una fotocamera. Mi sono trovato in molte occasioni in cui dovevo scattare una foto da utilizzare subito per inviarla ad amici o da tenere come ricordo e di tirare fuori dallo zaino la mia fotocamera, scattare e vedere il risultato decisamente brutto rispetto a quello di qualche mio amico che senza preoccuparsi di nulla aveva già scattato con il suo iPhone e il risultato era decisamente migliore del mio. Certo, dentro di me sapevo che una volta arrivato a casa avrei potuto prendere il mio RAW da 42 Megapixel svilupparlo in Capture One, recuperare le luci del tramonto, ecc. tirando fuori un file che quanto a qualità e dettaglio non era neanche da mettere a confronto con quello di uno smartphone; ma il tempo che avrei dovuto impiegarci era decisamente sproporzionato per l’uso che volevo fare di quello scatto, senza contare che in certe situazioni si deve ricorrere a scatti multipli (bracketing) per poter arrivare a risultati che uno smartphone raggiunge in tempo zero.

Le conoscenze e gli sviluppi sulla fotografia computazionale portate avanti da aziende come Apple o Google sono talmente avanzate che ci possono far affermare, anche se con tutti i limiti del caso, che per l’uso comune uno smartphone scatta meglio di una fotocamera, il che è pazzesco ed era impensabile fino a qualche anno fa. Per creare lo scatto in JPEG o HEIC un iPhone esegue svariati scatti multipli istantaneamente eliminando il problema dei soggetti in movimento e riuscendo a fondere insieme immagini con esposizioni diverse per recuperare luci e ombre, oppure allineando e fondendo insieme più scatti per eliminare il rumore nel caso di scarsa illuminazione o anche riconoscendo un ritratto e sfuocando lo sfondo dopo aver elaborato una mappa di profondità della foto.

Partendo dal fatto che la miglior fotocamera è quella che ci si porta sempre con sè, è naturale pensare che per gli amanti delle foto lo smartphone sia di fatto la principale fotocamera se non ci si vuole portare sempre lo zaino appresso. Ma… C’è un ma. Se da una parte è vero che la foto così come appare è generalmente esposta ed elaborata bene, per un appassionato di fotografia il fatto di non poter mettere mano allo sviluppo di uno scatto è un limite non da poco. Infatti molti smartphone hanno come opzione lo scatto in formato RAW proprio per dare all’utente che lo richiede la possibilità di sviluppare la foto come preferisce. Esistono anche molte app a supporto, sia in fase di scatto che in fase di sviluppo. Ed è proprio questo il punto: il file grezzo di uno smartphone è molto scadente, ci si scontra con la dura realtà e i limiti di un sensore di dimensioni così ridotte. Scatto spesso in formato RAW con il mio iPhone, a volte sono abbastanza soddisfatto del risultato, altre invece decisamente no, motivo per il quale nell’applicazione che utilizzo (Halide) ho attivato la funzione RAW + JPEG in modo da avere a disposizione sia il file DNG (tutti gli smartphone lo utilizzano come formato RAW) sia il file elaborato (in formato HEIC) creato dagli algoritmi della fotografia computazionale di Apple.

Ovviamente queste due tipologie di scatto viaggiano su due binari completamente diversi: una salva i dati binari del sensore per darci la possibilità di sviluppare la foto ma ha molti limiti a causa dell’hardware miniaturizzato, l’altra ci offre un file JPEG o HEIC elaborato con algoritmi sofisticati ma su cui non abbiamo nessun controllo e che come ben sappiamo non offre la possibilità di essere post-prodotto più di tanto.

Più che due strade stiamo parlando di due mondi completamente diversi che si escludono vicendevolmente. Quanto sarebbe bello scattare una foto senza tutti questi compromessi? Un solo scatto, un solo file che porti con se tutti i miglioramenti della fotografia computazionale ma che dia la libertà di sviluppare ed editare lo scatto come si vuole. Questa cosa ce la siamo detti più volte fra colleghi, smorzando subito dopo questo sogno e guardando la realtà dei fatti: come si fa a unire uno scatto RAW con uno scatto già elaborato? “Impossibile!”, ecco a cosa stavo pensando mentre guardavo il keynote di Apple e incredulo ascoltavo le parole:

…combina il controllo di scattare in RAW
e la potenza della fotografia computazionale.

Sviluppo di un RAW

Dal momento in cui la luce passa attraverso le lenti e arriva al sensore, al momento in cui la fotocamera converte i valori in una foto succedono molte cose ma è possibile condensare il tutto in tre passaggi fondamentali: demosaicizzazione, elaborazione dell’immagine e ottimizzazione. Vediamo velocemente questi step che ci serviranno per comprendere al meglio l’Apple ProRAW.

Demosaicizzazione
Ogni pixel del sensore non è in grado di “vedere” il colore, è in grado di misurare solo la quantità di luce. Per questo viene messo un filtro sopra il sensore in modo da far passare solo la luce verde, rossa o blu con una particolare disposizione a mosaico: il pattern più utilizzato è chiamato Bayer (dal nome del suo inventore) ma ne esistono di altri tipi.

In questo step l’immagine acquisita somiglierebbe a qualcosa di questo tipo, ben lontana dalla nostra idea di fotografia.

Per questo l’immagine deve essere “demosaicizzata” utilizzando sofisticati algoritmi. Anche qui ne esistono di vari tipi e il risultato dipende dal tipo di sensore, dal tipo di impostazioni della macchina e non ultimo dal tipo di fotografia. Alcuni algoritmi risultano molto accurati con scatti dettagliati e luminosi, altri con scatti scuri come la foto di un cielo stellato.

Elaborazione dell’immagine
Una volta demosaicizzato, lo scatto viene elaborato per arrivare ad avere un aspetto simile a quello che percepivamo nel momento in cui abbiamo premuto il pulsante. Le elaborazioni sono molteplici: dalla mappatura dei colori all’intento dello spazio colore definito, al bilanciamento del bianco, all’esposizione globale e selettiva del frame con il recupero delle luci e delle ombre, correzione della distorsione della lente, ecc.

Ottimizzazione
Il questa ultima fase l’immagine viene ridotta di dimensione e salvata in base alle impostazioni del software. Il formato può essere molto pesante con compressione non distruttiva oppure più leggero adatto ad uno scambio più agevole ma con una perdita di dati come accade con la compressione JPEG o con la più recente ed efficiente compressione HEIC.

Apple ProRAW

Un nuovo formato che già conosciamo
Fin da subito sembrava che questo file avesse una sua estensione, che fosse a tutti gli effetti un nuovo tipo di file, invece quando sono state pubblicate le specifiche molti sono rimasti basiti. Il file ProRAW non esiste, di fatto è un normalissimo file DNG. Sembra una soluzione strana ma una volta compreso il funzionamento tutto diventerà molto più sensato e affascinate.

Per chi non lo conosce il file DNG (acronimo di Digital Negative) è un formato di memorizzazione di immagini RAW introdotto da Adobe nel 2004 con l’idea di portare un unico formato di riferimento nella giungla di formati RAW proprietari. La parte più interessante di questo progetto è che questo formato è libero. Apple infatti ha lavorato proprio su questo, utilizzando delle specifiche poco sfruttate del DNG e lavorando insieme ad Adobe per aggiungere dei nuovi tag, portando di fatto all’uscita di una nuova versione del DNG, nello specifico la 1.6.

Avrete intuito quindi che il formato Apple ProRAW non è né un formato chiuso né tantomeno proprietario di Apple. E se ci pensate bene questa cosa è fantastica! Per questo mi sono spinto a utilizzare il termine “rivoluzione” nel titolo di questo articolo: non stiamo parlando di iPhone, di Apple o di ecosistemi proprietari. Apple ha lavorato per migliorare lo standard libero DNG e non c’è assolutamente nulla che blocchi questo formato ai suoi dispositivi o sistemi operativi. Quando la ricerca e l’innovazione viene resa libera a tutti è una vera rivoluzione! E visti i benefici che porta con sè l’Apple ProRAW non fatico a credere che ne sentiremo parlare sempre di più e che lo troveremo in moltissimi dispositivi.

Cos’è Apple ProRAW
Abbiamo detto che alla fine questo formato non esiste, è di fatto un DNG, ma quali sono le differenze con i DNG che siamo abituati ad utilizzare tutti i giorni?

Per prima cosa il ProRAW non memorizza i dati grezzi del sensore come avviene con un normale RAW ma memorizza i valori subito dopo la demosaicizzazione, in uscita dal primo step che abbiamo visto poco fa. Questi valori rappresentano l’immagine non ancora elaborata con la gamma dinamica originale, contengono quindi tutti i dati che ci permettono di lavorare con la flessibilità con cui siamo abituati a sviluppare un normale RAW. Così facendo si perde solo la possibilità di scegliere quale algoritmo di demosaicizzazione utilizzare, ma è anche vero che iOS è in grado di eseguire questo passaggio meglio di qualsiasi altro motore di sviluppo RAW di terze parti in quanto Apple ha una conoscenza molto approfondita dell’hardware che utilizza nei suoi dispositivi e di conseguenza anche della parte software che lo gestisce. Ad esempio, saprà benissimo come si comporta il sensore in base ai vari ISO e tecnicamente potrebbe sfruttare il riconoscimento intelligente della scena per determinare se si tratta di un cielo stellato o di un ritratto per scegliere l’algoritmo di demosaicizzazione più accurato.

Tecnicamente tutto questo potrebbe dare ad Apple la libertà di lavorare ad un proprio sensore, magari con qualche filtro particolare al posto del comune Bayer che abbiamo visto prima. In un contesto normale, se questo dovesse succedere, i vari software di sviluppo di terze parti (come ad esempio Lightroom) dovrebbero essere aggiornati con nuovi algoritmi per poter decifrare i dati di un sensore di nuova generazione, ma con il formato Apple ProRAW tutto questo non è necessario perché i dati salvati sono già demosaicizzati e il file sarebbe leggibile da tutti i software dal giorno zero senza dover aspettare che gli sviluppatori aggiornino i loro software.

A questo ovviamente vanno sommati i risultati degli algoritmi della fotografia computazionale che vengono salvati proprio all’interno del file RAW. Questi algoritmi lavorano sul colore, altra ragione per la quale hanno bisogno di avere a disposizione dati demosaicizzati e non grezzi. Apple ha lavorato con Adobe per introdurre un nuovo tag nello standard DNG chiamato “Profile Gain Table Map” che contiene tutti i dati che servono per mappare correttamente l’immagine e che vengono poi sfruttati dallo Smart HDR, nel caso di iPhone (arrivato alla versione 3), per migliorare l’aspetto della foto. Inoltre questi dati aggiuntivi sono separati da quelli dell’immagine vera e propria e quindi possono essere dosati a piacere oppure ignorati. Nei dati inclusi nel ProRAW troviamo anche quelli utilizzati per il DeepFusion (serie di algoritmi che Apple utilizza per ridurre il rumore e aumentare i dettagli) e le mappe di profondità per intervenire su livelli differenti di profondità dell’immagine e creare la sfocatura, specialmente in modalità ritratto.

Arriviamo al fattore peso: quanto pesa un file ProRAW per riuscire a contenere tutte queste informazioni? Ovviamente il peso varia in base all’immagine ma indicativamente è all’incirca di 25MB a scatto contro i 12MB di un normale RAW. Di default il ProRAW è a 12 bit a differenza dei canonici 8 bit di un file JPEG, aumentando drasticamente il numero di colori a disposizione e riuscendo a gestire gradienti praticamente perfetti senza creare soglie. Le API danno la possibilità di usare anche il formato a 10 bit che per molti può essere già abbastanza; di fatto significa 4 volte la precisione che si ha con un 8 bit ma facendo scendere il peso del file a circa 8MB al posto dei 25MB di partenza.

Elaborare un file con tutte queste informazioni è una bella sfida. Ecco perché questo formato è stato introdotto solo ora da Apple, in un momento in cui i processori a disposizione sono talmente veloci da poterlo gestire in tempi relativamente rapidi anche se con dei limiti: non è infatti possibile scattare in modalità burst o in modalità Live Photo. Inoltre c’è bisogno di molta più memoria per non avere rallentamenti, ecco perché è supportato solamente dai modelli PRO, non è un fatto di marketing come sostenuto da molti ma di performance hardware. Giusto per capire l’ordine di grandezza di complessità di questo tipo di file basti pensare che un iPhone impiega circa 50 millisecondi per acquisire un normale RAW e 2-3 secondi per terminare l’elaborazione di un ProRAW.

Sembra tutto bellissimo ma salvare tutti gli scatti in DNG significa che non tutte le applicazioni (e sono un’infinità) saranno in grado di leggerlo: pensiamo ad esempio alle varie app di messaggistica o social. Invece si è scoperto che all’interno del ProRAW può essere salvata anche l’immagine JPEG elaborata dando la possibilità alle app che non supportano il RAW di leggere ugualmente la foto.

Apple ha fatto un lavoro incredibile con il ProRAW rendendolo un formato per tutti, non solo per i nerd della fotografia. Infatti per chi non sa nulla di RAW può semplicemente scattare la foto, toccare il tasto “modifica” che trova all’interno dell’app di scatto nativa e modificare la foto come ha sempre fatto, ma con risultati decisamente più accurati impensabili con un normale JPEG. Per gli appassionati invece si apre un nuovo mondo fatto di sviluppo RAW sia direttamente su iPhone con app di terze parti che su desktop con i software che si è abituati ad utilizzare da sempre come Photoshop, Lightroom o Capture One (appena verranno aggiornati per supportare i nuovi tag del DNG 1.6).

Le possibilità per le app di terze parti sono molteplici: Apple ha rilasciato delle API molto avanzate e se siete appassionati di fotografia e state cercando un’app avanzata con cui scattare vi consiglio senza ombra di dubbio Halide.

Siamo arrivati alla fine di questo articolo: a questo punto mettiamo da parte le specifiche tecniche e parliamo delle implicazioni che avrà un formato di questo tipo. Sicuramente questo è solo l’inizio e chissà quali altre interessanti novità potranno arrivare in futuro magari con un’altra versione del formato DNG. Abbiamo visto come il mondo delle fotocamere sia lontano da quello degli smartphone per la natura fisica e hardware dei dispositivi e per il tipo di evoluzione che hanno seguito. Questo nuovo formato però, a mio avviso, potrebbe fare da ponte fra questi due mondi che inizieranno ad avvicinarsi, al contrario di quello che succede ora. Se nell’uso comune per pubblicare una foto su Instagram scatta meglio uno smartphone che una fotocamera che costa cinque volte tanto, quanto ci impiegherà la fotografia computazionale ad arrivare nel mondo professionale? Certo in fotografia professionale in un set con flash, modificatori di luce ecc. la fotografia computazionale è ancora difficile da immaginare, siamo abituati ad avere il pieno controllo di tutto con i limiti del caso, senza aggiungere la variabile dell’elaborazione computazionale che è quasi impossibile da prevedere prima dello scatto e potrebbe variare in base al soggetto: basti pensare ad uno shooting di oggetti still life. Ma quanto sarebbe comoda e interessante in tutti gli altri casi? Pensiamo in primis alla fotografia di reportage, documentaria e paesaggistica.

Non passerà molto tempo prima di vedere la fotografia computazionale arrivare anche sulle fotocamere, forse proprio con il formato Apple ProRAW, e sarà sicuramente fantastico! Molti vedranno questa evoluzione come la fine della fotografia affermando “adesso sono tutti fotografi” ma sappiamo quanto sia sterile questo pensiero. Ormai siamo abituati a sentirlo di continuo, prima con le compatte, poi con gli smartphone. Per alcuni la fotografia è già morta con le mirrorless perché nel mirino non si vede la realtà. Affermazioni che lasciano il tempo che trovano di persone che non abbracciano e non sfruttano i cambiamenti che in questo settore per fortuna sono molto frequenti. La magia del processo di sviluppo di una pellicola rimarrà sempre unico, e tutti i ricordi e la filosofia che richiama. Sono cose bellissime ma bisogna saper sfruttare l’evoluzione se vogliamo migliorare.

Apple ProRAW è il primo passo della fotografia computazionale verso il mondo professionale, la strada da percorrere è sicuramente molta ma la via è tracciata. È solo questione di tempo.

Fonte: lux.camera