Mise à l’échelle de l’IA de 2K ARRI ALEXA Classic Footage à 8K
Dans cette expérience très intrigante, un métrage ARRI ALEXA Classic 2K a subi un « traitement » IA pour produire un métrage 8K en utilisant des technologies d’apprentissage automatique. Dans quelle mesure les méthodologies d’intelligence artificielle peuvent-elles nous aider à augmenter la résolution, au lieu de parcourir les capteurs 8K ?
Dans une vidéo intitulée « Voilà à quoi ressemblerait une ARRI ALEXA 8K… », une démonstration très soignée de la technologie appelée AI upscaling a été présentée. Le concept est très simple. Prenez les images 2K ProRes de très haute qualité de l’ancien mais puissant ARRI ALEXA Classic, et en utilisant la technologie d’apprentissage automatique de mise à l’échelle AI (intelligence artificielle), transformez-les en images 8K. Comme vous pouvez le constater, le processus demande un certain temps (pour une vidéo de HD à 8K, cela prend généralement 2 à 3 secondes pour chaque image). Cette technologie a été mise en place par une société appelée Topaz. Son produit connexe s’appelle Video Enhance AI, qui peut améliorer et améliorer de nombreux aspects des vidéos, de la mise en œuvre du ralenti à la mise à l’échelle de la résolution.
Comme l’a déclaré Topaz : « En utilisant la puissance de la technologie d’IA d’apprentissage automatique, Video Enhance AI est formé sur des milliers de vidéos et combine les informations de plusieurs images vidéo d’entrée. Il peut agrandir la vidéo HD à une résolution 8K avec des détails corrects et une cohérence de mouvement. Par exemple, vous pouvez convertir la vidéo SD en résolution HD ou même 4K ». La technique présentée ici est connue sous le nom de « mise à l’échelle de l’IA ». Essentiellement, vous alimentez un algorithme avec une image basse résolution et, sur la base des données d’entraînement qu’il a vues, il crache une version qui a la même apparence mais qui contient plus de pixels. « Nous prenons en charge une sortie vidéo jusqu’à 8K. Toute taille supérieure à 8K entraînera un échec. Mais vous pouvez définir le format de sortie comme une séquence d’images (png/tif/tiff) qui peut prendre en charge presque toutes les tailles », souligne Topaz.
La mise à l’échelle, en tant que technique générale, existe depuis longtemps, mais l’utilisation de l’IA a considérablement amélioré la vitesse et la qualité des résultats. Dans le cas d’algorithmes d’upscaling banals, ces règles sont souvent assez simples. Si vous souhaitez mettre à l’échelle une image de 50 x 50 pixels pour doubler sa taille, par exemple, un algorithme traditionnel insère simplement de nouveaux pixels entre ceux existants, en sélectionnant la couleur des nouveaux pixels en fonction d’une moyenne de ses voisins. Cependant, Video Enhance AI utilise des algorithmes d’intelligence artificielle créés par l’apprentissage automatique en « regardant » des sections entières d’images à la fois.
« Nous avons initialement conçu Video Enhance AI pour améliorer les problèmes de qualité les plus courants affectant les vidéos, y compris le désentrelacement des séquences, la mise à l’échelle intelligente jusqu’à la résolution 8K et la conversion transparente de la fréquence d’images », déclare Topaz, et ajoute : « Parce qu’il traite la vidéo comme un série d’images à fréquence constante, cela a entraîné des problèmes lorsque les modèles d’IA de l’application devaient traiter des séquences à fréquence d’images variable, des répétitions d’images et des changements de scène. Cela a également compliqué notre capacité à développer de nouveaux modèles pour traiter la stabilisation ou la détection de scène car ils nécessitent plusieurs passages sur la vidéo ». Par conséquent, pour développer ces nouvelles fonctionnalités et continuer à innover, Topaz a construit cette nouvelle génération de l’application au sommet avec une base de code entièrement nouvelle et une toute nouvelle interface utilisateur avec de nombreuses améliorations de fonctionnalités, telles que l’empilement de plusieurs modèles d’IA, l’exécution parallèle tâches et filtrage de la file d’attente des projets.
Le prix de l’application Topaz Video AI est de 300 $. Vous pouvez également l’essayer gratuitement. Les exigences minimales du système sont :
- PC: Un GPU compatible DirectX12 (NVidia ou AMD). Un processeur Intel à partir de 2015 ou un processeur AMD à partir de 2016 sont nos exigences minimales pour le processeur. Sur un PC avec Nvidia GTX 1080 pour une vidéo de HD à 8K, chaque image prend généralement 2-3 secondes. Si vous mettez à l’échelle une vidéo de SD à HD, cela prendra environ 0,4 seconde pour chaque image.
- Mac: 8 Go ou plus de RAM, 2 Go de VRAM. MacOS 10.14 (Mojave) pour fonctionner uniquement sur CPU. MacOS 10.15 (Catalina) ou plus récent pour fonctionner sur GPU. Cela donne les meilleures performances.
Retour à l’expérience ALEXA Classic. Ce n’est pas un secret que cet appareil photo possède une histoire très solide sur grand écran. Ses séquences de résolution 2K ont été utilisées dans les cinémas IMAX (équivalent à une résolution de 11K). Par conséquent, ce n’est pas grave que ses fichiers aient l’air bien à 8K. Cependant, nous pouvons discuter de la course à la résolution 8K qui obsède de nombreux fabricants d’appareils photo. Les solutions de mise à l’échelle de l’IA sont là pour rester. Si tel est le cas, un capteur 4K serait suffisant pour une amélioration 8K sans qu’il soit nécessaire de développer un capteur 8K avec des capacités de plage dynamique réduites. Ainsi, un capteur 4K et un logiciel d’apprentissage automatique peuvent faire un meilleur travail qu’un capteur 8K natif pour l’imagerie 8K. Que pensez-vous de cela?
