Trasforma un JPG in un file Ultra HDR con gain map

Che cos'è davvero una gain map

Un JPEG normale descrive la luminosità su una scala che termina con il bianco. Uno schermo ad alta gamma dinamica può essere molto più luminoso di quel bianco — diverse volte più luminoso nelle aree piccole — e il formato non ha modo di indicare quali parti dell'immagine debbano usare quel margine.

Una gain map è l'istruzione mancante. È una seconda immagine in scala di grigi, più piccola, memorizzata accanto alla prima, in cui ogni valore indica quanta luminosità aggiuntiva debba ricevere la parte corrispondente dell'immagine, espressa in stop. Un renderer con margine HDR moltiplica; uno che non lo possiede ignora tutto e mostra l'immagine di base. Questa è l'intera idea, e la sua eleganza sta nel fatto che il file degrada perfettamente: su uno schermo del 2012 è semplicemente un JPEG.

Google ha distribuito questa tecnologia come Ultra HDR con Android 14. Il contenitore è una directory XMP che nomina le due immagini, più un indice Multi-Picture Format — lo standard CIPA scritto inizialmente per le fotocamere stereoscopiche — che fornisce l'offset in byte della seconda. Le fotografie HDR di Apple usano la stessa idea di fondo, e in seguito ISO 21496-1 l'ha formalizzata.

La versione onesta di «convertire SDR in HDR»

Cercando questa espressione si trova molto software che promette di aggiungere gamma dinamica a una fotografia già pronta. Ciò che viene aggiunto è un'interpretazione, non un'informazione.

Quando una fotocamera ha tagliato una luce, ogni canale di quel pixel legge 255 e dietro non c'è nulla. Nessun processo successivo recupera ciò che il sensore non ha registrato; il massimo che un upscaler o un modello generativo può fare è inventare qualcosa di plausibile, che può andare bene per uno sfondo ma è inaccettabile ovunque l'immagine debba servire come prova.

Questo strumento fa invece una cosa diversa: decide, per ogni pixel, quanto del margine dello schermo debba essere assegnato alle alte luci che esistono davvero, e registra questa decisione nel formato letto da ogni pipeline HDR attuale. Su uno schermo HDR il risultato è una versione più luminosa e tridimensionale della stessa fotografia — una finestra che sembra una finestra anziché un rettangolo bianco, un riflesso con qualche scintilla. Su ogni altro schermo è, byte per byte, la stessa immagine da cui sei partito.

È un miglioramento reale e modesto, e la differenza tra dirlo e dire «converti le tue foto in vero HDR» è l'intero motivo per cui esiste questa sezione.

Perché solo le alte luci

Il modo più comune di creare male una gain map è applicare il guadagno ovunque. È facile, rende l'immagine evidentemente diversa e sembra che qualcuno abbia alzato la luminosità dello schermo — che è esattamente ciò che accade. La gamma dinamica riguarda la distanza tra le parti scure e quelle luminose, quindi sollevare entrambe le estremità allo stesso modo non ne aggiunge alcuna.

La curva usata qui è pari a zero sotto circa il 35 per cento della luminanza lineare e aumenta gradualmente al di sopra con una smoothstep, quindi mezzitoni e ombre non ricevono alcun guadagno e l'effetto si concentra dove si trovano le alte luci speculari: una finestra, il sole sull'acqua, un bordo cromato, una sorgente luminosa nell'inquadratura. Il resoconto indica il guadagno massimo richiesto effettivamente dall'immagine, che di solito è molto inferiore al limite preimpostato — una fotografia senza alte luci intense riceve pochissimo guadagno indipendentemente dal preset scelto, e questo è un comportamento corretto, non un difetto.

I tre preset sono leggera at uno stop, standard at 2 stop, forte at 3 stop. Tre stop sono all'incirca ciò che una fotocamera moderna di telefono registra nativamente, quindi rappresentano il limite superiore onesto per una mappa sintetizzata; oltre quel punto il risultato smette di sembrare una fotografia.

Cosa contiene il file

L'output è un singolo JPEG. Leggendolo dall'inizio: il marker di inizio immagine, un header JFIF, un pacchetto XMP che dichiara una directory contenitore con due elementi — un Primary e una GainMap con la sua lunghezza esatta in byte — poi un segmento Multi-Picture Format contenente un indice a due voci, quindi i normali dati immagine compressi della fotografia SDR. Dopo il marker di fine immagine di quella fotografia segue un secondo JPEG completo: la gain map, con metà della risoluzione lineare, che contiene il proprio XMP con i parametri necessari a un renderer — il guadagno massimo in stop, la gamma, gli offset e l'intervallo di capacità.

Due numeri di questa struttura devono corrispondere alla realtà, altrimenti tutto resta inattivo: la lunghezza dichiarata della gain map e l'offset in byte nell'indice MPF, misurato a partire da un'origine interna allo stesso segmento MPF invece che dall'inizio del file. Quell'origine relativa è la parte che ogni implementazione sbaglia almeno una volta.

Per questo lo strumento rilegge il proprio output prima di offrirlo. Analizza nuovamente XMP e controlla che siano dichiarati entrambi gli elementi; segue l'offset MPF e verifica che arrivi a un marker di inizio immagine JPEG; confronta la lunghezza dichiarata con i byte effettivamente presenti; e conferma che la gain map contenga una versione e un valore massimo. Ogni risultato viene stampato nel resoconto. Se uno solo dei controlli fallisce, non viene prodotto nulla: un file i cui header mentono sul proprio contenuto fallisce altrove, più avanti, in un modo che nessuno riconduce a questo punto.

Dove lo vedrai e dove non lo vedrai

L'effetto appare su Android 14 e versioni successive in Google Photos e Chrome, sulle versioni recenti di iOS e macOS in Photos e Safari quando lo schermo dispone di margine HDR, e in Chrome su un monitor HDR desktop. Un monitor da ufficio standard non ha margine da utilizzare, quindi mostra correttamente l'immagine di base e non sembra accadere nulla.

Questo è anche il limite di ciò che può essere verificato qui. Nulla di ciò che gira in una scheda del browser può misurare la luminanza di picco del tuo schermo o testare il renderer di un altro dispositivo, quindi lo strumento dichiara ciò che ha controllato — il contenitore — e non lascia intendere nulla su ciò che non ha controllato. Quando una pagina di questo sito non può verificare un'affermazione, lo dice; è la stessa regola alla base del rifiuto del generatore di QR di promettere che una determinata fotocamera leggerà una determinata stampa.

I software che non comprendono le gain map — un visualizzatore desktop meno recente, un flusso di stampa, la maggior parte dei sistemi di gestione dei contenuti — vedono un JPEG con due segmenti di metadati sconosciuti e mostrano l'immagine di base. È il formato che funziona come previsto. Alcuni strumenti eliminano i segmenti aggiuntivi quando salvano di nuovo il file, rimuovendo l'HDR senza avvisare; se un file deve attraversare una pipeline, controllalo alla fine.

Il costo e quando non vale la pena

Una gain map aggiunge circa dal 15 al 30 per cento alle dimensioni del file. Le gain map sono naturalmente uniformi e si comprimono bene; metà della risoluzione lineare è visivamente indistinguibile da quella completa perché la mappa viene moltiplicata su un'immagine a piena risoluzione.

Non vale la pena crearne una per un'immagine senza alte luci intense — un interno illuminato in modo uniforme, un cielo grigio uniforme, la scansione di un documento. Non c'è nulla su cui il margine possa intervenire, il resoconto dirà che il guadagno di picco era vicino allo zero e avrai pagato il costo in termini di dimensioni del file senza ottenere nulla. Ne vale invece la pena per un tramonto, una finestra, una scena notturna con sorgenti luminose, o qualsiasi immagine con acqua o metallo nell'inquadratura.

Una fotografia davvero scura è un problema diverso e richiede lo strumento per aumentare la luminosità, che modifica i pixel visibili a tutti invece di cambiare il modo in cui uno schermo compatibile li gestisce. E come per ogni strumento qui che ricodifica l'immagine, l'output non conserva i metadati della fonte: nessuna posizione, nessuna fotocamera, nessun numero di serie — lo strumento per i metadati è il posto giusto per vedere cosa contiene un file prima di decidere cosa farne.