Collanews

🔒
❌ À propos de FreshRSS
Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hier3dvf.com - Actualité quotidienne

Grâce à l’IA, l’expérience du stade depuis votre canapé

Par : Shadows

Depuis plusieurs années, des projets visent à améliorer l’immersion au sein des matches sportifs, en permettant aux spectateurs d’observer le terrain sous tous les angles.

De nombreux projets, une mise en place complexe

Dès 2017, nous vous avions par exemple parlé de Free Viewpoint Video System, un projet de Canon. Intel a lancé une initiative similaire avec True View. Dans les deux cas, l’idée est de disposer une armée de caméras autour du terrain, afin de générer de la vidéo volumétrique qui peut ensuite être observée sous tous les angles.

Dans le même esprit, Unity vient de dévoiler Metacast, qui utilise là aussi de la vidéo volumétrique.

Outre le fait de proposer de nouvelles images aux téléspectateurs, ces techniques peuvent avoir d’autres applications : VR, analyse de stratégie d’équipe, optimisation des performances sportives, arbitrage, etc.

Toutes ces annonces sont prometteuses, mais elles ont plusieurs défauts, comme la nécessité de devoir utiliser un ensemble complexe de caméras synchronisées. Le volume de données à traiter pose aussi question, d’autant que le temps réel est indispensable pour ce marché.

L’IA, une alternative ?

C’est ici qu’intervient un projet de R&D de l’ingénieur en vision informatique Guillaume Chican, qui propose une alternative beaucoup moins contraignante : n’utiliser qu’une seule caméra, et laisser le deep learning faire le reste.

Guillaume Chican (que nous avions déjà eu l’occasion de croiser durant Laval Virtual 2017, sur un tout autre projet) nous explique que dans son approche, le deep learning est utilisé à la fois pour la capture de la géométrie et le rendu des joueurs. Dans la vidéo de démonstration ci-dessous, qui alterne prises de vue réelles et survols du match générés par son approche, seul le terrain est créé avec du rendu 3D classique. Les joueurs sont entièrement confiés au machine learning.

Si la méthode n’a pour le moment été testée que sur du football, elle se déclinerait sans difficulté sur d’autres sports comme le basket, le tennis. En revanche, des disciplines comme le rugby poseront sans doute des défis, certaines manœuvres comme les mêlées représentant des cas très spécifiques qui demanderont probablement un développement dédié.
La technique n’est pas encore temps réel, mais Guillaume Chican y travaille. Un autre axe d’amélioration étant de proposer un rendu de meilleure qualité.

En termes d’usages, cette approche pourrait comme les propositions d’Intel, Canon et Unity être utilisée pour proposer de nouvelles images aux spectateurs, avec des analyses de matches, des retours sur une action précise, ou encore la possibilité, en temps réel, de changer de point de vue (un peu à la manière d’un jeu vidéo). En revanche, comme le rendu neural implique que l’image est générée de toutes pièces, un usage en arbitrage serait sans doute exclu.

Guillaume Chican souligne que combinée à un dispositif de réalité augmentée ou virtuelle, sa technique permettrait aux fans de reproduire l’expérience du stade grâce à une loge virtuelle, entre amis.

A noter enfin : puisque le système ne nécessite pas de matériel lourd, on peut imaginer un déploiement moins coûteux et plus facile. De quoi, peut-être, et dans un futur plus ou moins lointain, rendre cette technique accessible à davantage d’équipes, au sport amateur ou encore au secteur de l’éducation…
Pour le moment, nous n’en sommes évidemment pas là.

Pour en savoir plus

Pour toute question, Guillaume Chican peut être contacté sur LinkedIn.

L’article Grâce à l’IA, l’expérience du stade depuis votre canapé est apparu en premier sur 3DVF.

Gladius : un ex gladiateur hanté par son passé (court ESMA – sélection SIGGRAPH 2021)

Par : Shadows

Découvrez Gladius, court-métrage réalisé par Margaux Latapie, Grégory Diaz, Florian Cazes, Marie-Charlotte Deshayes-Ducos, Clément Petellaz, Baptiste Ouvrard, Jimmy Natchoo, Guillaume Mellet (promotion ESMA 2020).

Mis en avant dans le festival d’animation du SIGGRAPH 2021, ce film se démarque notamment par son traitement atypique des gladiateurs, loin de certains clichés hollywoodiens.

Pendant la Grèce antique, Marcus, vigneron, est hanté par son passé de gladiateur.

Musique / music: Sophian Alkurdi
Son / sound: José Vicente, Yoann Poncet, Sébastien Fournier, Tristan Le Bozec – Studio des Aviateurs

L’article Gladius : un ex gladiateur hanté par son passé (court ESMA – sélection SIGGRAPH 2021) est apparu en premier sur 3DVF.

SIGGRAPH 2021 : un algorithme met de la vie dans vos paysages

Par : Shadows

Dans le cadre du SIGGRAPH 2021, Pierre Ecormier-Nocca, Guillaume Cordonnier, Philippe Carrez, Anne‑marie Moigne, Pooran Memari, et al. présentent leur publication Authoring Consistent Landscapes with Flora and Fauna.

Un paysage peuplé d’espèces animales et végétales, en quelques minutes

Ce projet de recherche propose une méthode pour créer des paysages avec faune et flore, en s’appuyant sur les interactions inter-espèces et sur des conditions climatiques choisies en amont.

Autrement dit, plutôt que de générer et placer à la main les êtres vivants sur un terrain (ce qui prend du temps) ou d’utiliser une approche aléatoire (ce qui donne des résultats qui ne seront pas forcément crédibles), la méthode proposée prend en compte les liens entre espèces pour automatiser le processus tout en restant crédible.
Concrètement, l’algorithme prend en entrée une chaîne alimentaire, certains éléments fixés par l’utilisateur comme un ratio entre espèces en compétition. Il génère des maps de densité pour chaque espèce, mais aussi leurs circuits quotidiens. Un terrain modifié est ensuite généré avec par exemple le rajout des pistes utilisées par les animaux et donc l’érosion qui en résulte.
Mieux encore, le système présenté permet d’explorer interactivement sous Unity le paysage résultant de ces calculs, avec instanciation à la volée de la faune et de la flore. Enfin, l’utilisateur peut éditer le résultat en modifiant/peignant manuellement les maps.

A partir d’un terrain et de conditions climatiques, la technique proposée permet de générer des maps et de visualiser une version « vivante » du terrain.

Trois innovations principales

En coulisses, la méthode proposée s’appuie notamment sur le Resource Access Graph (RAG), une structure de données qui encode les interactions entre les niveaux de la chaîne alimentaire ainsi que les déplacements des animaux sur le terrain pour accéder aux ressources.
En outre, la publication met en avant l’usage d’un algorithme procédural permettant d’approximer rapidement un écosystème stationnaire à chaque étape de la chaîne alimentaire.
La génération des maps sur une machine équipée d’un Xeon E5 et de 32Go de RAM se fait en 15 minutes en moyenne pour des terrains de l’ordre de 16km² ; en cas de modification manuelle des maps, la re-génération des maps prend de quelques secondes à quelques minutes, selon le type de modification.
Enfin, l’équipe décrit dans la publication une méthode pour l’instanciation à la volée de plantes animaux durant l’exploration interactive du terrain. Avec la machine évoquée dans le point précédent, équipée d’une Quadro M2000, la visualisation est temps réel.

Ces trois points sont les contributions principales du projet de recherche par rapport à l’état de l’art.

Exemple de maps générées par l’algorithme du projet de recherche, avec les trajectoires de différentes espèces (herbivores en vert, loups en noir, ours en brun) : ces trajectoires dépendent des ressources telles que les points d’eau mais aussi des interactions entre espèces.

De vastes débouchés, du cinéma à la recherche

Les débouchés de cette publication sont multiples : on pense évidemment à des usages artistiques, pour générer un terrain avec écosystème afin d’utiliser le résultat pour des effets visuels, de l’animation ou du jeu vidéo. L’équipe de recherche souligne en outre que les sciences peuvent bénéficier du projet, qu’il s’agisse de biologistes ou paléontologues, afin de disposer d’un outil supplémentaire pour explorer leurs modèles.
Des expérimentations ont d’ailleurs été menées pour évaluer le système proposé, avec deux groupes de personnes :

  • des paléontologues, qui se sont montrés enthousiastes à l’idée de pouvoir valider visuellement des hypothèses. ils ont également salué le gain de temps permis par l’outil, avec ses cartes générées rapidement tout en étant précises. Une de leurs critiques concerne l’envie de rajouter d’autres espèces en plus de celles incluses dans le prototype.
  • des infographistes davantage intéressés par l’aspect artistique. Ces derniers ont surtout fait des suggestions pour améliorer les contrôles manuels et la visualisation : le prototype actuel montre toujours le terrain en fin de matinée, avec un ciel ensoleillé de début d’été : un ajustement manuel des saisons, de l’heure et de la météo serait bienvenus. Un utilisateur de Unity a souligné le gain de temps massif apporté par le système : générer à la main les trajectoires de 120 troupeaux de 7 espèces différentes aurait pris au moins 10h à la main, contre quelques minutes avec l’algorithme.

Quelles limites et améliorations à venir ?

Comme toujours en recherche, le projet comporte des limites et améliorations possibles. En voici quelques-unes citées dans l’article :

  • Outre certaines approximations, les chercheurs ont pris en compte des chaînes alimentaires simplifiées, sans oiseaux, espèces animales de petite taille, faune sous-marine. Une approche plus complète serait toutefois totalement possible techniquement.
  • Visuellement, le réalisme du paysage pourrait être largement amélioré : par exemple, avec des dégâts sur les arbres situés à proximité des pistes utilisées par les gros animaux.
  • Le système pourrait prendre en compte les coopérations entre espèces : impact de la pollinisation par les insectes sur la végétation, déjections animales qui fertilisent le sol.
  • Au lieu de se contenter de générer un écosystème stable, on pourrait imaginer un système permettant de contrôler les évolutions temporelles, afin d’avoir un paysage évoluant graduellement au fil des années, siècles, millénaires.

Malgré les limitations actuelles, ce projet de recherche n’en reste pas moins passionnant, et laisse envisager de vastes débouchés.
La publication est disponible publiquement en ligne : Authoring Consistent Landscapes with Flora and Fauna.

Différentes maps générées pour un même terrain, avec des conditions climatiques diverses (ère glaciaire ou climat tempéré).

L’article SIGGRAPH 2021 : un algorithme met de la vie dans vos paysages est apparu en premier sur 3DVF.

❌