Photo en infra-rouge ou ultra violet, un nouveau format de fichier JPEG émerge enfin.
-
Au-delà du RVB : un nouveau format de fichier image stocke efficacement les données de lumière invisible
La nouvelle compression Spectral JPEG XL réduit la taille des fichiers, rendant l’imagerie spectrale plus pratique.
Imaginez travailler avec des caméras spéciales captant une lumière invisible à l’œil nu : les rayons ultraviolets responsables des coups de soleil ou les signatures thermiques infrarouges révélant des écritures cachées . Ou peut-être utiliser des caméras spécialisées suffisamment sensibles pour distinguer de subtiles variations de couleur dans la peinture, parfaitement adaptées à un éclairage spécifique. Scientifiques et ingénieurs le font quotidiennement, et ils sont submergés par les données qui en résultent.
Un nouveau format de compression appelé Spectral JPEG XL pourrait enfin résoudre ce problème croissant de la visualisation scientifique et de l’infographie. Les chercheurs Alban Fichet et Christoph Peters d’Intel Corporation ont détaillé ce format dans un article récent publié dans le Journal of Computer Graphics Techniques (JCGT). Il s’attaque à un sérieux obstacle pour les industries travaillant avec ces images spécialisées. Ces fichiers spectraux peuvent contenir 30, 100 points de données, voire plus, par pixel, ce qui fait grimper la taille des fichiers à plusieurs gigaoctets, ce qui les rend difficiles à stocker et à analyser.
Lorsqu’on pense aux images numériques, on imagine généralement des fichiers ne contenant que trois couleurs : rouge, vert et bleu (RVB). Cette approche est efficace pour les photos de tous les jours, mais capturer la véritable couleur et le comportement de la lumière exige beaucoup plus de détails. Les images spectrales visent cette fidélité accrue en enregistrant l’intensité lumineuse non seulement dans les grandes catégories RVB, mais aussi sur des dizaines, voire des centaines, de bandes de longueurs d’onde étroites et spécifiques. Ces informations détaillées couvrent principalement le spectre visible et s’étendent souvent aux régions du proche infrarouge et du proche ultraviolet, essentielles pour simuler avec précision l’interaction des matériaux avec la lumière.
les taux de compression relatifs pour une image spectraleContrairement aux images RVB standard à trois canaux, ces fichiers stockent des informations sur de nombreux canaux, chacun représentant l’intensité lumineuse dans une bande de longueurs d’onde étroite et très spécifique. Cet article aborde l’utilisation d’images spectrales contenant 31 canaux distincts et présente même des exemples comportant jusqu’à 81 bandes spectrales.
Ces canaux doivent souvent capturer une plage de valeurs de luminosité bien plus large que les photos classiques. Pour ce faire, les images spectrales utilisent fréquemment des formats haute précision, comme des nombres à virgule flottante 16 ou 32 bits pour chaque canal, permettant ainsi la capture de données HDR (High Dynamic Range). Ce format est très éloigné des images 8 bits standard et est essentiel pour représenter avec précision des éléments tels que la luminosité intense des sources lumineuses et les éléments plus sombres de la scène.
Explorer un monde au-delà du RVB
Pourquoi aurait-on besoin d’un tel niveau de détail en longueur d’onde dans une image ? Les raisons sont multiples. Les constructeurs automobiles souhaitent prédire précisément l’aspect de la peinture sous différents éclairages. Les scientifiques utilisent l’imagerie spectrale pour identifier les matériaux grâce à leurs signatures lumineuses uniques. Les spécialistes du rendu en ont besoin pour simuler avec précision des effets optiques réels comme la dispersion (arcs-en-ciel produits par les prismes, par exemple) et la fluorescence.
Par exemple, les reportages passés d’Ars Technica ont mis en évidence comment les astronomes ont analysé les lignes d’émission spectrales d’une explosion de rayons gamma pour identifier les produits chimiques dans l’explosion, comment les physiciens ont reconstitué les couleurs originales dans des photographies pionnières du XIXe siècle et comment l’imagerie multispectrale a révélé des textes et des annotations cachés, vieux de plusieurs siècles, sur des manuscrits médiévaux comme le manuscrit de Voynich , découvrant parfois même l’identité d’anciens lecteurs ou scribes à travers de faibles gravures de surface .
La médiéviste Lisa Fagin Davis a examiné des images multispectrales de 10 pages du manuscrit de VoynichLe format standard actuel pour le stockage de ce type de données, OpenEXR , n’a pas été conçu pour répondre à ces exigences spectrales massives. Même avec des méthodes de compression sans perte intégrées comme ZIP, les fichiers restent difficiles à manipuler en pratique, car ces méthodes peinent à gérer le grand nombre de canaux spectraux.
Le format Spectral JPEG XL utilise une technique utilisée pour les images visibles par l’homme, une astuce mathématique appelée transformée en cosinus discrète (DCT), pour réduire la taille de ces fichiers volumineux. Au lieu de stocker l’intensité lumineuse exacte à chaque longueur d’onde (ce qui crée des fichiers volumineux), il transforme cette information sous une forme différente.
Imaginez : lorsque vous observez la transition de couleur d’un arc-en-ciel, il n’est pas nécessaire d’enregistrer toutes les longueurs d’onde possibles pour comprendre ce que vous voyez. La DCT convertit ces courbes de longueur d’onde régulières en un ensemble de courbes ondulatoires (coefficients de fréquence) qui, additionnées, recréent l’information spectrale d’origine.
Pour reprendre une analogie avec la musique, le fonctionnement de la compression MP3 est similaire à celui de l’audio : elle préserve sélectivement les fréquences les plus facilement perceptibles par l’humain, éliminant les détails subtils que la plupart des auditeurs ne manqueront pas. De même, le format Spectral JPEG XL préserve les motifs clés qui définissent l’interaction de la lumière avec les matériaux, éliminant les détails moins significatifs.
Il est important de noter qu’une étape de pondération est ensuite appliquée, divisant les coefficients spectraux de haute fréquence par la luminosité globale (composante continue), ce qui permet de compresser plus agressivement les données moins importantes. Ces données sont ensuite transmises au codec et, plutôt que d’inventer un type de fichier entièrement nouveau, la méthode utilise le moteur de compression et les fonctionnalités du format d’image standardisé JPEG XL pour stocker les données spectrales spécialement préparées.
Rendre les images spectrales plus faciles à utiliser
Selon les chercheurs, la taille importante des fichiers d’images spectrales constituerait un véritable obstacle à leur adoption dans les secteurs qui pourraient bénéficier de leur précision. Des fichiers plus petits permettent des transferts plus rapides, des coûts de stockage réduits et une utilisation plus interactive de ces images sans matériel spécialisé.
Les résultats rapportés par les chercheurs semblent impressionnants : grâce à leur technique, les fichiers d’images spectrales sont réduits de 10 à 60 fois par rapport à la compression sans perte standard OpenEXR, les ramenant à des tailles comparables à celles de photos classiques de haute qualité. Ils préservent également les fonctionnalités clés d’OpenEXR, comme les métadonnées et la prise en charge de la plage dynamique élevée.
Bien que certaines informations soient sacrifiées dans le processus de compression (ce qui en fait un format « avec perte »), les chercheurs l’ont conçu pour éliminer d’abord les détails les moins visibles, en concentrant les artefacts de compression dans les détails spectraux haute fréquence les moins importants afin de préserver les informations visuelles importantes.
Bien sûr, il existe certaines limites. La traduction de ces résultats de recherche en une application pratique généralisée repose sur le développement et l’amélioration continus des outils logiciels prenant en charge l’encodage et le décodage JPEG XL. Comme pour de nombreux formats de pointe, les premières implémentations logicielles nécessiteront peut-être des développements supplémentaires pour exploiter pleinement toutes les fonctionnalités. Ce travail est en cours.
Bien que le format Spectral JPEG XL réduise considérablement la taille des fichiers, son approche avec pertes peut présenter des inconvénients pour certaines applications scientifiques. Certains chercheurs travaillant avec des données spectrales pourraient facilement accepter ce compromis au profit de fichiers plus petits et d’un traitement plus rapide. D’autres, manipulant des mesures particulièrement sensibles, pourraient devoir rechercher d’autres méthodes de stockage.
Pour l’instant, cette nouvelle technique intéresse principalement des domaines spécialisés comme la visualisation scientifique et le rendu haut de gamme. Cependant, à mesure que des industries comme la conception automobile et l’imagerie médicale continuent de générer des ensembles de données spectrales plus volumineux, des techniques de compression comme celle-ci pourraient faciliter l’exploitation de ces fichiers volumineux.
