Collanews

🔒
❌ À propos de FreshRSS
Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierVos flux RSS

Andrew Hutchings joins Pebble as Engineering Manager

August 24, 2021 Pebble, the leading automation, content management, and integrated channel specialist, is delighted to announce the appointment of Andrew Hutchings to the role of Engineering Manager for the company’s research and development department. Joining at a time that sees Pebble launching a number of new solutions and enhancements to support broadcasters to transition ...

The post Andrew Hutchings joins Pebble as Engineering Manager appeared first on Broadcast Beat - Broadcast, Motion Picture & Post Production Industry News and Information.

SIGGRAPH 2021 : Adobe évoque avenir de Substance 3D, projets de recherche

Par : Shadows

A l’occasion du SIGGRAPH 2021, Adobe a voulu dévoiler quelques éléments sur l’avenir de sa gamme Substance 3D.

Sébastien Deguy (Vice-Président, 3D & Immersive – Adobe), Guido Quaroni (Senior Director of Engineering) et l’équipe de recherche Adobe ont donc pris une trentaine de minutes pour présenter à la fois quelques éléments des prochaines mises à jour, mais aussi des projets de R&D : l’occasion, donc, de revenir sur certaines publications techniques.

L’article SIGGRAPH 2021 : Adobe évoque avenir de Substance 3D, projets de recherche est apparu en premier sur 3DVF.

SIGGRAPH 2021 : un projet de recherche nettoie vos dessins

Par : Shadows

Nous continuons notre couverture des innovations présentées durant le SIGGRAPH avec une publication axée sur la 2D et l’esquisse : StrokeStrip : joint parameterization and fitting of stroke clusters.

Ce projet de recherche est issu du travail de Dave Pagurek van Mossel, Chenxi Liu (University of British Columbia), Nicholas Vining (University of British Columbia & NVIDIA), Mikhail Bessmeltsev (University of Montreal), Alla Sheffer (University of British Columbia).

En dessin, il est courant d’esquisser un tracé avec de multiples coups de crayon. Les humains devinent aisément la forme voulue par l’artiste :

En revanche, il est plus difficile de demander à une machine de générer ce tracé à partir des esquisses. Les travaux existants (méthodes d’Orbay et Kara en 20211, Lieu et al. en 2018) produisent des résultats intéressant mais les méthodes manquent de robustesse. La publication présente StrokeStrip, une nouvelle approche qui donne de bien meilleurs résultats :

En outre, StrokeStrip s’appuie sur une paramétrisation qui peut avoir des usages multiples, comme la colorisation ou la déformation facilitée du tracé.

Pour plus d’informations, nous vous invitons à lire la publication complète ( StrokeStrip : joint parameterization and fitting of stroke clusters). Vous y trouverez aussi le code utilisé.
Vous pouvez également jeter un oeil sur les vidéos de l’auteur principal, Dave Pagurek : la présentation du projet est disponible en trois versions de 30 secondes, 5 minutes et 20 minutes, selon le niveau de détail et technicité que vous souhaitez.

L’article SIGGRAPH 2021 : un projet de recherche nettoie vos dessins est apparu en premier sur 3DVF.

SIGGRAPH 2021 : derrière un projet NVIDIA, un pas vers une révolution ?

Par : Shadows

A première vue, Neural Scene Graph Rendering est une publication anodine, voire décevante : avec des résultats qui se limitent à des rendus de scènes 2D et 3D particulièrement basiques, on peut même se demander si l’on est bien en 2021.

Mais les apparences sont trompeuses.

Le meilleur des deux mondes

Les auteurs de la publication, Jonathan Granskog, Till Schnabel, Fabrice Rousselle, Jan Novak de NVIDIA, nous proposent en fait ici davantage qu’un simple projet de recherche : leurs travaux s’inscrivent dans une vision à long terme, qui pourrait révolutionner la manière dont nous rendons nos scènes.

En effet, on dispose actuellement de deux approches radicalement différentes pour effectuer un rendu, autrement dit générer une image :

  • Le rendu 3D « classique », qui règne en maître dans les effets visuels et l’animation 3D, permet de créer des scènes très diverses mais pour lequel le photoréalisme parfait est très difficile à atteindre.
Projet Meet Mike (SIGGRAPH 2017) : un exemple des capacités du rendu 3D (ici, 3D temps réel)
  • Le rendu neural : il s’agit ici de rendu s’appuyant sur les techniques d’intelligence artificielle (deep learning).
    Les outils que vous avez pu voir ces dernières années qui créent des portraits d’humains qui n’existent pas, ou les outils GauGAN/Canvas de NVIDIA permettant de créer des paysages à partir d’une simple esquisse, font partie de cette catégorie.
    Ici, la « représentation neurale » sera un ensemble de variables, et le « moteur de rendu neural » sera la partie de l’outil qui génère l’image finale.
Images générées par un StyleGAN : aucun de ces humains n’est réel, les visages ont été créées par une intelligence artificielle.

Si l’on compare les deux approches, et par exemple dans le cas du rendu d’un visage, on a d’un côté le rendu 3D qui crée des résultats très bons mais sans doute pas aussi bons que l’approche neurale, qui s’appuie « juste » sur une architecture adaptée et la phase d’apprentissage à partir d’un ensemble de données.

Inversement, expliquent les auteurs de la publication, si l’on veut modifier le résultat (par exemple générer un visage d’extraterrestre), le rendu 3D permet facilement de changer le matériau ou le modèle utilisés. L’approche neurale, en revanche, est fortement contrainte par les données d’apprentissage et produire un résultat radicalement différent de ces données sera difficile.

En haut, le rendu 3D classique
En bas, le rendu neural

Souplesse, contrôle artistique, réalisme… Au fond, chaque approche a ses avantages et inconvénients.

D’où la vision à long terme qui sous-tend la publication : au lieu d’opposer les techniques, pourquoi ne pas les combiner ? Pourquoi ne pas générer des images en partie avec du rendu neural, en partie avec un moteur de rendu 3D classique ?
Par exemple, suggèrent les auteurs, le rendu neural pourrait se charger des parties difficiles à gérer avec le rendu 3D classique comme les visages, la fourrure.

L’idée est alléchante, mais n’est à ce stade qu’une simple idée. Reste donc à la concrétiser et à faire cohabiter deux approches qui n’ont rien à voir.

Une scène 3D rendue sans moteur de rendu classique

Nous arrivons enfin au projet de recherche proprement dit : l’équipe s’est intéressée à la façon dont un scene graph classique, autrement dit la description d’une scène 3D dans un outil traditionnel (avec liste des modèles, leur position, matériaux…) pourrait être traduite en représentation neurale, puis envoyée à un moteur de rendu neural.

A ce stade, il ne s’agit donc pas encore de mêler les rendus, mais uniquement de faire en sorte que des scènes 3D classiques puissent être « comprises » et traitées par une approche neurale.

L’équipe est parvenue à des résultats concluants, et en montre quelques exemples :

  • Une animation de volley :
  • un petit outil qui permet d’éditer en temps réel un scene graph neural, et avec rendu neural : autrement dit, sur cette session de création 3D, les objets et leurs matériaux, le rendu de la scène ne sont pas gérés par du rendu 3D classique mais bien par de l’intelligence artificielle.
  • La méthode peut aussi être appliquée à des animations 2D à base de sprites : là encore, le visuel est donc issu de rendu neural, pas d’un moteur 2D.

Retour vers la vision globale

Encore une fois, ces premiers résultats restent très basiques, mais il faut les considérer avec du recul : ce sont des tests précurseurs, pas une méthode destinée à être utilisée dès demain en studio.

En revanche, avec ces essais, l’équipe de recherche a prouvé la validité de son concept. L’approche a pu être appliquée a des cas variés et a donc un bon potentiel de généralisation a des situations et usages très différents.

Une première brique est donc posée vers la vision plus large évoquée par les auteurs, avec à terme une interopérabilité entre les maillons de la chaîne de rendu 3D classique et celle du rendu neural.

Pour autant, est-ce vraiment le début d’une révolution ? Réponse dans quelques années, selon les progrès techniques qui seront accomplis.

Pour aller plus loin, nous vous invitons à visionner cette vidéo de présentation d’une quinzaine de minutes, et en particulier le passage à partir de la 30ème seconde, qui revient sur cette vision à long terme.
Vous pouvez aussi consulter la page de la publication : Neural Scene Graph Rendering.

L’article SIGGRAPH 2021 : derrière un projet NVIDIA, un pas vers une révolution ? est apparu en premier sur 3DVF.

Recherche : NVIDIA transforme une photo en objet 3D, sans photogrammétrie

Par : Shadows

NVIDIA Research a dévoilé un aperçu de ses derniers travaux : un système de deep learning qui transforme des images 2D en modèles 3D.
Pas de photogrammétrie ici, l’idée est de recréer un modèle complet à partir d’une unique photo.

Résultat : une simple image de voiture peut être automatiquement transformée en une version 3D certes approximative, mais fonctionnelle (roues et phares inclus).
L’intérêt est évident : en créant facilement des modèles plausibles, architectes, artistes, développeurs de jeux et designers pourraient peupler très rapidement leurs prototypes, quitte à remplacer en aval ces modèles par des versions plus poussées, ou à les placer en arrière-plan pour que l’illusion fonctionne.

En coulisses, l’équipe a travaillé sur ce projet en plusieurs étapes :

  • un GAN (generative adversial network) a permis de synthétiser des images du même objet sous différents angles de vue ;
  • ces images ont servi à entraîner le coeur du projet, qui tente de créer des modèles 3D à partir d’images 2D.

Le résultat étant donc GANverse3D, outil qui peut prendre une image 2D, générer un mesh. Le modèle peut par ailleurs être utilisé en complément d’un « moteur de rendu neural 3D », qui permet aux développeurs de personnaliser les objets.

Si des systèmes de ce genre existaient déjà par le passé, la nouveauté ici est de ne pas avoir eu à s’appuyer sur des formes 3D pour l’entraînement du système, et non des images.

Des voitures, et bien plus encore

Si NVIDIA choisit de communiquer sur l’automobile, les chercheurs se sont aussi intéressés à d’autres types d’éléments, comme des oiseaux et chevaux. Là encore, le résultat est approximatif mais prometteur : on peut imaginer, à terme, qu’il sera possible de créer en quelques clics des esquisses de véhicules, personnes, animaux très divers afin de s’en servir pour prototyper un projet.

Bien entendu, tout ceci n’a d’intérêt que si les performances sont au rendez-vous. Nous avons justement pu poser la question directement à NVIDIA Research : le temps de génération d’un modèle est de l’ordre de l’interactif. On est donc loin, très loin devant la photogrammétrie ou la sculpture 3D rapide d’un modèle.

Extrait de la publication

Pour plus d’informations, on consultera un article de blog chez NVIDIA, qui renvoie également à la publication complète.

On y trouvera tous les détails techniques, y compris les limitations et échecs : si un sujet sort trop des données d’apprentissage (un oiseau atypique, une voiture type batmobile très éloignée des standards, une peluche de cheval…), le système donne des résultats parfois très exotiques.

Extrait de la publication

Comme l’explique l’article, NVIDIA souhaite proposer cette technologie sur Omniverse, son système de collaboration dans le cloud. Bien entendu, rien n’empêchera une autre entreprise de reprendre le même système et d’en proposer une implémentation sous une autre forme.

L’article Recherche : NVIDIA transforme une photo en objet 3D, sans photogrammétrie est apparu en premier sur 3DVF.

Majority of broadcasters optimistic about 5G

Par : Editor

A global poll of broadcasters conducted by OnePoll on behalf of Nevion, the architects of virtualized media production, has found that over a third (39%) of respondents expect their organization will be ready to adopt 5G within a year, while a further 53% believe they will be able to do so within the following year. ...

The post Majority of broadcasters optimistic about 5G appeared first on NAB Show News | 2020 NAB Show Media Partner and Producer of NAB Show LIVE. Broadcast Engineering News.

tvONE Will Showcase CORIOmaster2 Video Wall Processor at 2020 NAB Show

  This upcoming 2020 NAB Show, tvONE will be showcasing the new CORIOmaster2, an all-in-one, multi-window video processor delivering unprecedented processing power with more pixels than you will ever need. CORIOmaster2 supports more windows with higher quality than ever before with uncompromised 4K60 and 8K ready performance. Standout features of CORIOmaster2 include its exceptionally high ...

The post tvONE Will Showcase CORIOmaster2 Video Wall Processor at 2020 NAB Show appeared first on NAB Show News | 2020 NAB Show Media Partner and Producer of NAB Show LIVE. Broadcast Engineering News.

❌