Cette nouvelle IA de NVIDIA génère des vidéos avec du texte - exemples

Lors de la conférence IEEE, NVIDIA a présenté sa nouvelle technologie: un générateur de vidéos qui se base sur un modèle open source de Stability AI, une intelligence artificielle entraînée pour générer des images à partir de textes. Les chercheurs de NVIDIA (Nvidia Corporation est l'un des plus grands fournisseurs de processeurs graphiques, de cartes...) ont réussi à ajouter une étape supplémentaire dans laquelle ils tentent d'animer une image. L'IA se base sur ce qu'elle a appris en analysant des milliers de vidéos sur Internet (Internet est le réseau informatique mondial qui rend accessibles au public des services...).


L'IA estime ce qui est susceptible de changer dans chaque zone d'une image. Dès lors, elle crée des images clés tout le long de la séquence et utilise un autre générateur d'images pour créer à son tour des "liens" entre les images clés. Ceci génère des images de qualité similaire à insérer dans la séquence, ce qui permet de donner un résultat dynamique (Le mot dynamique est souvent employé désigner ou qualifier ce qui est relatif au mouvement. Il...): une vidéo (La vidéo regroupe l'ensemble des techniques, technologie, permettant l'enregistrement ainsi que la...).

NVIDIA a testé le système en se basant sur des vidéos extraites de faible qualité de dashcam pour parvenir à générer des vidéos de conduite, cohérentes, de plusieurs minutes à une résolution de 512 x 1024 pixels. Une grande avancée dans le domaine de la génération de contenus. Encore à ses débuts, les images de la vidéo (La vidéo regroupe l'ensemble des techniques, technologie, permettant l'enregistrement ainsi que la...) se révèlent bluffantes et cohérentes mais manquent encore de réalisme.


Le système est conçu pour prendre des images ainsi que des requêtes textuelles. Ceci signifie que l'on pourra être en mesure de télécharger nos propres images ou peut-être même des images générées par une autre IA, puis les développer en vidéos. L'équipe de NVIDIA a utilisé sa technologie pour générer une multitude de vidéos d'exemple en résolution 1280 x 2048 pixels, simplement à partir de requêtes textuelles.


Dans un avenir très proche, il pourrait être possible de fusionner ces IA ensemble pour créer du contenu en un temps (Le temps est un concept développé par l'être humain pour appréhender le...) record, avec pour exemple l'essor des IA génératrices d'art que l'on observe actuellement.

Actuellement, NVIDIA considère ce système comme un projet de recherche (La recherche scientifique désigne en premier lieu l’ensemble des actions entreprises en vue...) plutôt qu'un produit grand public.