GeForce RTX : avec DLSS 5 et son rendu photoréaliste, l’IA de NVIDIA va-t-elle trop loin ?

[Raccoon]

Sur la partie matériel, les annonces de NVIDIA se concentrent exclusivement sur les datacenters et l’IA, avec Vera Rubin en ligne de mire. Pour le grand public et les amateurs de jeux vidéo, pas de nouvelles GeForce RTX, mais des « améliorations » logicielles. Des nouveautés pour DLSS 4.5 arrivent, tandis que DLSS 5 est annoncé… et reçoit un accueil plus que mitigé, accusé par certains d’AI Slop.

En janvier, lors du CES de Las Vegas, NVIDIA présentait la version 4.5 de son DLSS, le Deep Learning Super Sampling, avec la fonction Super Resolution dotée d’un « modèle transformer de deuxième génération », fonctionnant sur toutes les GeForce RTX à partir de la série 20.

DLSS 4.5 avec Dynamic Multi Frame Generation et mode 6x le 31 mars

« Il utilise cinq fois la puissance de calcul du modèle transformer original et a été entraîné sur un ensemble de données haute fidélité considérablement élargi », affirme l’entreprise. Autre annonce à l’époque, l’arrivée au printemps du Dynamic Multi Frame Generation. On connait désormais la date précise : le 31 mars, « dans le cadre de la prochaine bêta opt-in de l’application NVIDIA ».

Cette fonction, explique NVIDIA, ajoute un nouveau mode 6x (cinq images générées par IA pour une image réellement calculée par le GPU) au Multi Frame Generation (MFG) ainsi que le « Dynamic Multi Frame Generation, permettant aux jeux et à l’application NVIDIA d’ajuster le multiplicateur de frames en temps réel pour atteindre la fréquence d’images cible du joueur ou correspondre au taux de rafraîchissement de son écran ».

Ni trop de frames générées par IA (elles seraient inutiles), ni trop peu grâce à un nouveau coefficient 6x. Vous avez un écran à 240 Hz ? DLSS 4.5 avec le mode 6x permet de monter à 240 fps avec seulement 40 fps en sortie de carte graphique.

Actuellement, le mode dynamique ne fonctionne qu’avec un coefficient multiplicateur entier (de x2 à x6), il n’y a pas de multiplicateur avec un nombre à virgule afin de s’approcher au mieux de la fréquence cible de l’écran. Le Dynamic Multi Frame Generation et le mode 6x sont réservés aux GeForce RTX de la série 50.

D’autres annonces avaient été faites lors de la GDC il y a quelques jours, notamment que, « à partir du 19 mars, GeForce Now supportera jusqu’à 90 FPS sur les casques de réalité virtuelle, dont l’Apple Vision Pro et le Meta Quest, contre 60 FPS auparavant ».

DLSS 5 veut « transformer la fidélité visuelle dans les jeux »

En cette période de GTC orientée IA, NVIDIA annonce la suite avec le DLSS 5, mais il faudra être patient puisque l’arrivée n’est prévue qu’à l’automne 2026. NVIDIA n’y va pas avec le dos de la cuillère : « DLSS évolue au-delà de la performance pour transformer la fidélité visuelle dans les jeux ».

Si les modèles d’IA sont capables depuis un moment maintenant de réaliser des images (et donc des vidéos) photoréalistes, ils ont plusieurs problèmes si on veut les utiliser dans des jeux. Ils sont notamment « difficiles à contrôler avec précision et manquent souvent de prévisibilité ». De plus, chaque nouveau prompt change la donne.

« Pour les jeux, les pixels doivent être déterministes, livrés en temps réel et solidement ancrés dans l’univers 3D et l’intention artistique du développeur du jeu ». C’est là qu’entre en piste DLSS 5, affirme NVIDIA, qui « _utilise un modèle d’IA pour infuser la scène d’un éclairage photoréaliste et de matériaux ancrés pour fournir du contenu en 3D, et cohérent d’une image à l’autr_e ». DLSS 5 prendra en charge les résolutions jusqu’à la 4K maximum.

NVIDIA insiste sur son modèle d’IA qui a été entraîné « pour comprendre la sémantique complexe de scènes », aussi bien les personnages, leurs cheveux et leur peau que les conditions d’éclairage ; et « le tout en examinant une seule image ».

Du côté des développeurs, DLSS 5 propose des contrôles pour ajuster l’intensité, l’étalonnage des couleurs, etc. « L’intégration est fluide, utilisant le même framework NVIDIA Streamline que les technologies existantes DLSS et NVIDIA Reflex », affirme NVIDIA. Une longue liste de partenaires est déjà citée : Bethesda, Capcom, NetEase, NCSOFT, Tencent, Ubisoft, Warner Bros. Games…

NVIDIA propose plusieurs vidéos de DLSS, avec (forcément) des résultats « bluffants » (ou inquiétants, cela dépend des points de vues comme nous allons le voir). Il faudra maintenant attendre les tests indépendants pour transformer (ou pas) l’essai. Des « avants / après » sur des images de jeu sont aussi disponibles par ici.

…

Suit de l’article en accès libre : next.ink

[Raccoon]

Une instance Nitter qui reprend les mêmes de certains internautes moqueurs.

[michmich]

l’IA de NVIDIA va-t-elle trop loin ?

La réponse est oui!

[Violence]