Collanews

🔒
❌ À propos de FreshRSS
Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierVos flux RSS

Comment Mac Guff a ressuscité Lady Di, Mitterrand et Jean Gabin

Par : Shadows

Le deep learning est désormais LA grande tendance à suivre dans le secteur des effets visuels, avec des usages surprenants : nous en avons récemment parlé sur 3DVF avec un spot mettant en scène Bruce Willis, via un générateur d’animations de danse ou encore du côté de NVIDIA. Des projets d’autant plus prometteurs que l’application de l’IA aux effets visuels n’en est qu’à ses débuts.

En France, Mac Guff a su voir le potentiel immense de ces technologies et s’est pleinement lancé dans ce nouvel eldorado. A la clé, un gain de temps et de réalisme phénoménaux.
La preuve : pour l’émission Hôtel du temps, qui sera bientôt présentée sur France 3 et mettra en scène Thierry Ardisson interviewant des célébrités décédées, Mac Guff n’a mis que 3 mois pour truquer 50 minutes de contenu.

En voici la bande-annonce, qui vous permettra de juger du résultat :

Hôtel du Temps

Le concept de l’émission Hôtel du Temps pose plusieurs défis de taille : le grand public a déjà une image précise de ces personnalités en tête, et le format interview implique un cadrage serré.

Rodolphe Chabrier, président de Mac Guff, nous a indiqué que les équipes du studio n’avaient pas pour mission d’embellir les personnalités, même si ce serait techniquement possible : l’idée était donc réellement de proposer un résultat proche des visages réels, et non une version idéalisée.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson
Lady Di dans Hôtel du Temps
Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

Une autre question consistait à définir l’âge cible pour chaque personnalité : souhaite-t-on interviewer un Jean Gabin dans sa jeunesse, ou plus tardivement ? Cette problématique est évidemment définie en amont du tournage, puisque comme seul le visage est remplacé, le comédien doit adapter son jeu et avoir une coiffure adaptée (l’outil Face Engine de Mac Guff ne gère pas encore les cheveux).

Une fois ces paramètres définis, le plus difficile reste à faire : trouver les bonnes données qui permettront de rendre vie aux personnalités.
En effet, le deep learning implique de disposer de données d’entrée qui vont servir à « entraîner » l’outil afin qu’il génère correctement les images du visage de chaque célébrité.

Jean Gabin dans Hôtel du temps
Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

Problème, les images d’archives de l’ère pré-HD et pré-numérique, d’une définition réduite, avec du grain et donc d’une qualité toute relative, ne constituent pas la source idéale. D’où la notion de « Face Retriever » mise en avant par Thierry Ardisson lors des interviews autour de son émission : l’idée est de souligner qu’il a fallu « récupérer » les visages en travaillant en profondeur sur le choix des images sources et leur amélioration. Sur ce dernier point, Mac Guff préfère ne pas trop s’étendre, le studio souhaitant évidemment préserver ses méthodes afin de garder un temps d’avance.

Rodolphe Chabrier a néanmoins pu nous donner quelques informations générales. Il souligne qu’il peut arriver qu’une personnalité « ne se ressemble pas » sur certaines archives. Un éclairage atypique, une posture ou expression inhabituelles pour une personne peuvent changer ponctuellement son apparence, auquel cas il faudra éviter d’utiliser les images associées.

Par ailleurs, un des problèmes classiques en deep learning est le côté « boîte noire » des outils, qui empêche d’avoir un contrôle artistique.
Cet obstacle a ici été surmonté grâce à une approche mixte et pas uniquement des outils de deep learning en boîte noire (là encore, Rodolphe Chabrier n’a pas pu nous donner trop de détails). Les artistes du studio ont donc le contrôle sur les images : il est donc possible de faire des retakes, d’ajuster certains détails. Une expression faciale inadaptée, un regard mal positionné peuvent être modifiés.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

« Industrialiser la bidouille »

Mac Guff a donc su mettre sur pied des outils expérimentaux, puis en faire un nouveau pipeline utilisable en production. Une démarche que Rodolphe Chabrier résume ainsi : « industrialiser la bidouille ».

Cette démarche du studio était déjà engagée depuis un certain temps (comme en témoigne le travail fait sur la série Le Bureau des légendes), mais elle a paradoxalement été accélérée par la pandémie : lors du début de la crise, l’effondrement du nombre de projets a libéré du temps. Rodolphe Chabrier et Martial Vallanchon (superviseur VFX au sein du studio) ont alors pu passer 3 à 4 mois à se focaliser sur le deep learning, à faire des tests qui ont aussi permis de convaincre l’ensemble de la direction du studio de la viabilité de cette technique. Mac Guff a ensuite mis en place une démarche pragmatique, avançant pas à pas, explorant peu à peu.

Le résultat de ce travail fastidieux est donc la création de 50 minutes de plans truqués en l’espace de 3 mois. Une rapidité impressionnante qui change radicalement la manière d’aborder un projet, la phase la plus lente étant le choix des données et l’entraînement de l’outil, tandis que la génération des images se fait très rapidement (mais pas encore en temps réel, malgré la puissance des GPUs actuels).

Le passage au deep learning n’est donc pas un simple changement d’outil, mais une véritable révolution qui impacte la fabrication comme la production. Comme le résume Rodolphe Chabrier : « les flux changent, les coûts changent, la crédibilité visuelle change ».

En revanche, explique-t-il, comme les autres innovations passées (y compris l’invention des VFX), l’IA n’a pas vocation à tuer des emplois, mais bien à en créer, à élargir les possibilités narratives en rendant possible ce qui ne l’était pas.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson
Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

Un atout concurrentiel

Une telle technologie peut évidemment constituer un atout pour les studios qui sauront prendre le train avant les autres. Même si Mac Guff est avant tout un studio généraliste (là où d’autres se spécialisent dans certains types d’effets, comme les créatures ou les simulations), ce travail sur les visages pourrait attirer des clients spécifiquement intéressés par cette compétence, en France comme à l’étranger.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

Et demain ?

Le studio ne compte évidemment pas en rester là, et l’objectif est d’étendre l’IA à de nouveaux domaines.

Les cheveux, d’abord, puisque comme indiqué plus haut seuls les visages ont été traités pour Hôtel du Temps (les cheveux sont donc ceux des acteurs, ou des perruques).
L’idée serait également de travailler sur les corps complets avec un « Body Engine », et même d’appliquer l’IA à d’autres champs techniques. Bref, de continuer l’approche pragmatique déroulée jusqu’ici.
Outre les humains, la rotoscopie est un autre bon candidat au deep learning. Ici, l’IA pourrait permettre de diminuer les coûts, d’automatiser le travail mais aussi de relocaliser une tâche souvent confiée à des studios asiatiques.

Reste à concrétiser cet avenir. Si Mac Guff dispose déjà d’un début de département dédié à l’IA et au deep learning, avec des ingénieurs issus de l’X ou des Ponts et Chaussées, le but est à terme mettre en place une équipe de 4 ou 5 personnes focalisées à 100% sur le sujet.

Ceci représentera un investissement conséquent, puisque les profils nécessaires sont issus d’écoles d’ingénieur et que les entreprises de tous secteurs s’arrachent actuellement les spécialistes de l’IA.
Le CNC sera un soutien précieux : Mac Guff vient de remporter un appel à projets « Choc de Modernisation » avec à la clé une aide financière. Si la somme accordée n’est pas aussi élevée que ce qu’aurait souhaité le studio, elle constitue tout de même un accélérateur précieux, et Rodolphe Chabrier nous a clairement indiqué à quel point Mac Guff peut remercier le CNC : sans ce support, les fonds propres du studio n’auraient pas suffi pour lancer le futur département IA.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

Le secret de la longévité ?

Visages rajeunis, maquillés, remplacés, et demain coiffures, corps, animation, décors… Mac Guff ouvre un nouveau chapitre de son histoire.

Une trentaine d’années après ses travaux pionniers en morphing – pour rappel, ILM n’a devancé l’équipe française que de quelques mois -, Mac Guff continue d’appliquer la recette qui a fait son succès : l’innovation.

L’émission Hôtel du Temps sera prochainement diffusée sur France 3.


En bonus de cet article, voici (en exclusivité !) l’ensemble des visuels que nous a transmis Mac Guff. Pour chaque paire d’images, celle de gauche est la version d’origine sans retouche, celle de droite la version en sortie du Face Engine de Mac Guff, mais avant le finishing (et donc sans l’étalonnage final).
Vous pouvez cliquer sur les images pour les ouvrir en pleine résolution.

Crédit : Mac Guff pour Troisième Œil Productions (Groupe Mediawan) – Thierry Ardisson

L’article Comment Mac Guff a ressuscité Lady Di, Mitterrand et Jean Gabin est apparu en premier sur 3DVF.

Annecy 2021 : Mac Guff redonne vie à Jean Gabin, Weta expérimente en IA

Par : Shadows

A l’occasion du Festival d’Annecy, Mac Guff, Weta Digital et Epic Games ont évoqué lors d’une table ronde leurs derniers progrès en matière de doublures numériques.

Mac Guff nous bluffe

Au cours de cette rencontre, titrée Doubles numériques et « virtual beings » : la technologie au cœur de l’acting, Rodolphe Chabrier est revenu sur le travail bluffant de ses équipes pour la série Le Bureau des Légendes. En coulisses, on trouve le Face Engine, une technologie maison. Si ce système peut redonner leur teint de jeunesse à des acteurs, il ne s’arrête pas là et peut aussi vieillir ou gérer des cicatrices, a expliqué Rodolphe Chabrier

Mieux encore, le studio travaille aussi sur du remplacement de visage. Rodolphe Chabrier nous a présenté un court extrait datant d’il y a quelques mois dans lequel l’acteur Cedric Weber se métamorphosait en Jean Gabin grâce à cette technologie.

Cette prouesse répond directement à un besoin client : la future émission L’Hôtel du Temps, prévue pour la rentrée sur France 3. Thierry Ardisson y proposera des interviews de personnalités décédées, telles que Jean Gabin. François Mitterrand, Lady Diana, Johnny Halliday, Yves Montand Louis de Funès, Michèle Morgan, entre autres, devraient également faire partie du casting.
Le budget est à la hauteur de la prouesse (environ 600 000€ selon Le Parisien).

Dernier point : selon Rodolphe Chabrier, si le système met du temps à être mis en place, il est ensuite « proche du temps réel » : de quoi imaginer, à terme, des usages de ce type de technologie lors d’émissions en direct ?

MetaHuman, une magie qui reste limitée

Du côté d’Epic Games, nous avons eu une nouvelle fois droit à la présentation de MetaHuman Creator et de ses possibilités. Pour rappel, cet outil disponible en accès anticipé permet de créer des humains photoréalistes temps réel.

Nina Ward, Product Manager de MetaHuman Creator chez Epic Games, a indiqué que selon elle, le talent des artistes reste visible avec ce type de solution, car ils poussent l’outil plus loin.

Elle a confirmé qu’il y avait une forte demande sur le fait de pouvoir créer des doublures à partir de l’apparence d’une personne réelle (que ce soit via des photos ou un scan 3D) : or, ceci n’est actuellement pas possible, du fait de la technologie sous-jacente. On le voit d’ailleurs en utilisant MetaHuman : l’outil nous propose initialement de choisir des visages, qui servent ensuite d’espace créatif. Il est impossible de créer un visage totalement arbitraire qui se se rapproche pas un tant soit peu de ces références.

En l’état, Nina Ward ne peut donc rien promettre sur l’arrivée d’éventuelles doublure à votre image : il faudrait soit modifier l’approche technique, soit élargir de façon significative la taille des données de scan employées.

Weta Digital : l’IA sous contrôle

Enfin, Sidney Kombo, Animation Supervisor chez Weta Digital, a aussi donné sa vision des doublures numériques.
Il a indiqué que le studio se tourne « lentement mais sûrement » vers l’IA ; l’équipe cherche par contre à garder un contrôle artistique sur les détails, ce qui est évidemment une contrainte de plus.

Sidney Kombo a aussi souligné que la ressemblance physique ne fait pas tout : le reste du corps, la façon de bouger sont d’autres éléments clés pour qu’une doublure numérique soit acceptée comme réaliste par le public.

Un domaine prometteur

On le voit, les technologies évoquées ont loin d’avoir livré tout leur potentiel. Il sera d’autant plus intéressant de suivre les évolutions à venir, notamment du côté de Mac Guff.

L’article Annecy 2021 : Mac Guff redonne vie à Jean Gabin, Weta expérimente en IA est apparu en premier sur 3DVF.

Tous en Scène 2, une bande-annonce qui a du rythme!

Par : Shadows

Illumination est de retour au cinéma ! Après une longue attente en raison de la pandémie, voici la bande-annonce du film Tous en Scène 2.

Pour les fêtes de fin d’année, Buster, Rosita, Darius et les autres sont de retour dans Tous en Scène 2, réalisé par Garth Jennings.

Nos héros devont cette fois convaincre Clay Calloway, ancienne star de la musique vivant désormais recluse, de se joindre à la troupe pour un nouveau spectacle.

L’article Tous en Scène 2, une bande-annonce qui a du rythme! est apparu en premier sur 3DVF.

Chris Meledandri d’Illumination Entertainment rejoint Nintendo : une annonce de taille

Par : Shadows

Nintendo annonce que Chris Meledandri, fondateur et dirigeant d’Illumination Entertainment, rejoindra son conseil d’administration le 29 juin. Une nouvelle majeure à plus d’un titre.

Meledandri prendra le poste d’administrateur externe au sein de ce conseil. Il apportera son expertise dans le domaine du cinéma ; par ailleurs, cette nouvelle rapproche un peu plus Illumination et Nintendo, qui travaillent déjà étroitement sur un film d’animation reposant sur la licence Super Mario. Le Film est justement produit par Meledandri en compagnie de Shigeru Miyamoto. On sait d’ailleurs que Nintendo est très impliqué dans la production, le groupe n’ayant manifestement pas envie de laisser carte blanche à une autre entité, et privilégiant plutôt un partenariat étroit.

Dans une interview récente chez Fast Company, le président de Nintendo Shuntaro Furukawa soulignait par ailleurs que son groupe s’intéressait à l’animation en général, et pas uniquement pour la franchise Mario.

Volonté de se développer dans le milieu de l’animation, contrôle sur les projets : l’entrée de Chris Meledandri au sein du conseil d’administration de Nintendo, tout en conservant ses fonctions chez Illumination, répond clairement à tous les objectifs du géant japonais du divertissement.

Du côté d’Illumination, la nouvelle est de taille également puisqu’elle conforte évidemment l’idée que Nintendo lui accorde sa confiance. Mieux encore : au-delà de sa juteuse licence Moi, Moche et Méchant/Les Minions, Illumination pourrait bien trouver avec ces futurs projets une nouvelle poule aux oeufs d’or.

L’article Chris Meledandri d’Illumination Entertainment rejoint Nintendo : une annonce de taille est apparu en premier sur 3DVF.

❌