Collanews

🔒
❌ À propos de FreshRSS
Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierVos flux RSS

RipX DeepRemix: split stereo files, create and remix stems with this AI software

Audio software manufacturer Hit’n’Mix has released a new source separation, sampling, and song creation program: RipX: DeepRemix. The new software sits at a price reachable for all levels of musicians: £79 inc VAT for UK, €85 inc VAT for EU, and $99 for North America & rest of the world. DeepRemix uses AI isolation algorithms […]

The post RipX DeepRemix: split stereo files, create and remix stems with this AI software appeared first on DJ TechTools.

Recherche : NVIDIA transforme une photo en objet 3D, sans photogrammétrie

Par : Shadows

NVIDIA Research a dévoilé un aperçu de ses derniers travaux : un système de deep learning qui transforme des images 2D en modèles 3D.
Pas de photogrammétrie ici, l’idée est de recréer un modèle complet à partir d’une unique photo.

Résultat : une simple image de voiture peut être automatiquement transformée en une version 3D certes approximative, mais fonctionnelle (roues et phares inclus).
L’intérêt est évident : en créant facilement des modèles plausibles, architectes, artistes, développeurs de jeux et designers pourraient peupler très rapidement leurs prototypes, quitte à remplacer en aval ces modèles par des versions plus poussées, ou à les placer en arrière-plan pour que l’illusion fonctionne.

En coulisses, l’équipe a travaillé sur ce projet en plusieurs étapes :

  • un GAN (generative adversial network) a permis de synthétiser des images du même objet sous différents angles de vue ;
  • ces images ont servi à entraîner le coeur du projet, qui tente de créer des modèles 3D à partir d’images 2D.

Le résultat étant donc GANverse3D, outil qui peut prendre une image 2D, générer un mesh. Le modèle peut par ailleurs être utilisé en complément d’un « moteur de rendu neural 3D », qui permet aux développeurs de personnaliser les objets.

Si des systèmes de ce genre existaient déjà par le passé, la nouveauté ici est de ne pas avoir eu à s’appuyer sur des formes 3D pour l’entraînement du système, et non des images.

Des voitures, et bien plus encore

Si NVIDIA choisit de communiquer sur l’automobile, les chercheurs se sont aussi intéressés à d’autres types d’éléments, comme des oiseaux et chevaux. Là encore, le résultat est approximatif mais prometteur : on peut imaginer, à terme, qu’il sera possible de créer en quelques clics des esquisses de véhicules, personnes, animaux très divers afin de s’en servir pour prototyper un projet.

Bien entendu, tout ceci n’a d’intérêt que si les performances sont au rendez-vous. Nous avons justement pu poser la question directement à NVIDIA Research : le temps de génération d’un modèle est de l’ordre de l’interactif. On est donc loin, très loin devant la photogrammétrie ou la sculpture 3D rapide d’un modèle.

Extrait de la publication

Pour plus d’informations, on consultera un article de blog chez NVIDIA, qui renvoie également à la publication complète.

On y trouvera tous les détails techniques, y compris les limitations et échecs : si un sujet sort trop des données d’apprentissage (un oiseau atypique, une voiture type batmobile très éloignée des standards, une peluche de cheval…), le système donne des résultats parfois très exotiques.

Extrait de la publication

Comme l’explique l’article, NVIDIA souhaite proposer cette technologie sur Omniverse, son système de collaboration dans le cloud. Bien entendu, rien n’empêchera une autre entreprise de reprendre le même système et d’en proposer une implémentation sous une autre forme.

L’article Recherche : NVIDIA transforme une photo en objet 3D, sans photogrammétrie est apparu en premier sur 3DVF.

Deep Nostalgia anime vos ancêtres… Et pas seulement !

Par : Shadows

Si vous suivez les réseaux sociaux, vous avez sans doute déjà vu passer les résultats de Deep Nostalgia, un système d’animation de visages mis en place sur la plateforme généalogique MyHeritage.

Le principe : après avoir envoyé une photo, l’outil en ligne détecte le visage et vous propose quelques secondes plus tard une animation.
Si l’outil est présenté comme un moyen d’animer vos photos de famille, rien ne vous empêche de l’utiliser sur d’autres clichés.

Voici un aperçu du résultat, avec une photo animée de la réalisatrice Alice Guy :

Ainsi que celle de Georges Méliès, réalisateur et illusionniste :

Walt Disney a également prêté son visage pour notre test :

Bien entendu, le système a des limites. L’idéal est de travailler avec des photos présentant un visage dont les traits sont bien visibles.

En coulisses, la technologie est en fait issue de D-ID, société israélienne dont les secteurs d’activités couvrent notamment les deep fakes et la création de têtes animées : si l’outil de MyHeritage ne propose aucun contrôle, D-ID est capable d’animer une photo en suivant une performance donnée. De quoi imaginer des débouchés intéressants, par exemple dans le secteur de la publicité.
D-ID travaille aussi dans des domaines tels que la sécurité (biométrie).

Bien entendu, face à un outil, il est toujours utile de tester ses limites. Nous avons par exemple obtenu des résultats convaincants à partir de photos de tableaux, sculptures :

  • portrait de Sarah Bernhardt par Georges Clairin :
  • Animation d’une sculpture se trouvant sur la façade d’un bâtiment parisien (le strabisme divergent n’est pas un artefact et était présent à l’origine) :
  • un portrait féminin exposé au Musée du Louvre (2ème siècle après JC, Memphis, Egypte)
  • Bodhisattva Vajrapani, statue cambodgienne exposée au Musée Guimet (Xe-XIe siècle)

Ne vous attendez toutefois pas à une réussite systématique si vous sortez comme nous des sentiers battus : le taux d’échec est assez important sur des photos de statues/peintures.

Si vous aussi vous souhaitez tester l’outil, rendez-vous sur Deep Nostalgia. Notez qu’une inscription est nécessaire (gratuite, mais qui est évidemment destinée à vous inciter à utiliser les services MyHeritage par la suite). Un nombre limité de tests est inclus dans le compte gratuit : au-delà, il faudra payer un abonnement MyHeritage.

L’article Deep Nostalgia anime vos ancêtres… Et pas seulement ! est apparu en premier sur 3DVF.

OWNZONES Presents Latest Content Workflow Technologies to Online Audience

Webinar includes demonstration of Connect™ SaaS platform that re-imagines the video supply chain in the cloud  OWNZONES Entertainment Technologies will present its latest products and technologies in a global webinar, taking place on April 7th, 2020 at 9:15am PST. The cloud pioneer will highlight the latest developments within OWNZONES Connect™, the next-gen content servicing and ...

The post OWNZONES Presents Latest Content Workflow Technologies to Online Audience appeared first on NAB Show News | 2020 NAB Show Media Partner and Producer of NAB Show LIVE. Broadcast Engineering News.

❌