Collanews

🔒
❌ À propos de FreshRSS
Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierVos flux RSS

L’IA au service du montage, de l’animation et des métadonnées

Par : Shadows

Nous poursuivons notre retour sur le SATIS 2021 avec un sujet d’actualité : l’IA et le deep learning dans le secteur de la création.

Stéphane Singier, responsable filière des Industries Culturelles et Créatives chez Cap Digital, avait convié plusieurs personnes pour en discuter, avec de droite à gauche et par ordre d’intervention :

  • Matthieu Parmentier – Head of Data & Artificial Intelligence chez France Télévisions ;
  • Fabien Pisano – Sales Head South Europe chez Sony France ;
  • Olivier Reynaud – CEO chez Aive ;
  • Yassine Tahi – Co-founder / CEO chez Kinetix

Vous trouverez sous la vidéo un compte-rendu des échanges.

France Télévisions : la métadonnée vaut de l’or

Matthieu Parmentier de France Télévisions a entamé le tour de table avec une présentation des usages d’IA et des données au sein de France Télévisions. Depuis deux ans, le groupe dispose d’un département dédié sur ce sujet. L’idée est de mettre en place au sein de l’espace sécurisé France Télévisions une plateforme de services (qu’ils soient développés en interne ou chez des tiers) pour les entités du groupe, de façon à ce que les données ne quittent jamais cet espace sécurisé : hors de question de faire transiter massivement données et contenus en externe.

Un des enjeux majeurs est la mise en avant des programmes et contenus générés par France Télévisions sur Internet, en replay ou encore via les nouvelles plateformes, ce qui nécessite des métadonnées adaptées comme les tags, une description mais aussi des timings de début et fin de générique (indispensable pour pouvouvoir zapper ce dernier, enchaîner les épisodes / contenus). Sans ces éléments, un contenu sera difficilement mis en valeur et donc moins regardé, moins facile à valoriser.
Problème, cette étape est fastidieuse, l’idée est donc d’utiliser de l’IA pour automatiser cette étape.

En pratique, un des enjeux est d’entraîner les IA au quotidien, afin de les améliorer progressivement. A terme, d’autres objectifs sont envisageables, comme le sous-titrage.

Sony : le sport, secteur de rêve pour l’IA ?

Fabien Pisano de Sony France, de son côté, a souligné que les contenus répétitifs sont la cible idéale des traitements par IA. Le sport est donc un secteur de choix, à plus forte raison pour les disciplines très codifiées, avec des actions qui se retrouvent encore et encore : on peut penser ici aux sports de ballon (à plus forte raison si les arrêts de jeu sont fréquents, comme en football américain ou rugby).
Résultat : pour un sport comme le football américain, on peut demander à une IA de préparer environ 80% des moments forts qui seront ensuite utilisés lors d’une mi-temps, d’un récapitulatif de fin de match.

Aive : le montage les yeux fermés

Chez Aive, on s’intéresse à un autre enjeu : le montage. Avec la démultiplication des réseaux et plateformes, créer les multiples déclinaisons d’un projet est devenu un défi à part entière pour les marques et créatifs. Chaque contenu doit être créé en plusieurs formats (classique, carré, vertical…) et durées (2 minutes, 1 minute, 10 secondes…) pour mieux toucher les multiples cibles.

L’objectif d’Aive est de “rendre élastique” les vidéos en termes de durée et contenu afin d’éliminer ce problème. Concrètement, le principe est le suivant : un humain crée la vidéo standard, par exemple un contenu de 2 minutes en 16/9, et Aive se charge automatiquement de générer les multiples variantes utiles en termes de durée, format, avec mentions à indiquer (par exemple des mentions légales, le site mangerbouger.fr en bas d’une pub de céréales, etc) et sous-titres selon le cas.

Pour l’heure, Aive cible surtout les formats courts et le secteur des marques, donc de la publcité : un choix logique, ce domaine étant plus codifié. Mais à terme, l’entreprise se verrait bien travailler sur des formats plus longs, en prenant en compte des données comme l’intensité des émotions générées par tel ou tel segment d’une vidéo.

La commercialisation du service devrait se faire en 2022.

Kinetix : l’animation sans effort ?

Enfin, place à Kinetix, que nous vous avions présentée plus tôt dans l’année via une interview. La startup propose de générer des animations à partir de vidéos envoyées sur sa plateforme.

Notez que depuis nos premiers articles, le modèle économique a évolué : alors qu’auparavant la limitation majeure portait sur la durée des vidéos traitées, désormais le décompte ne se fait que si vous exportez les animations. Rappelons également qu’il est possible de tester gratuitement la plateforme (avec une limite de 30 secondes d’export par mois et un usage non commercial des résultats).

En outre, la nouvelle version 1.3 est sortie depuis le tournage de la table ronde, avec une timeline qui permet d’éditer, mêler des animations, ainsi que des librairies. On y trouve également une meilleure gestion du sol ou encore un système de fonds et props.

Le SATIS a été l’occasion pour Kinetix de présenter plus en détail ses plans ; en particulier, la volonté de KInetix n’est pas de se limiter au marché des studios et de l’animation professionnelle, mais de surfer sur l’engouement actuel pour la notion de metaverse, de mettre des outils créatifs entre les mains d’un public large, sans nécessiter de maîtrise technique.

L’article L’IA au service du montage, de l’animation et des métadonnées est apparu en premier sur 3DVF.

The Lost Passage

Par : eulphean
The Lost Passage
The Lost Passage is an interactive experience for the web that creates a new digital home for an extinct species called passenger pigeon. It’s a digitally crafted world of a swarm of artificial pigeons, which seem to be inhabiting a sublime yet destitute memory of a lost landscape.

Latentscape – Franz Rosati

Latentscape – Franz Rosati
Created by Franz Rosati, 'Latentscape' depicts exploration of virtual landscapes and territories, supported by music generated by machine learning tools trained on traditional, folk and pop music with no temporal and cultural limitations.

Grâce à l’IA, l’expérience du stade depuis votre canapé

Par : Shadows

Depuis plusieurs années, des projets visent à améliorer l’immersion au sein des matches sportifs, en permettant aux spectateurs d’observer le terrain sous tous les angles.

De nombreux projets, une mise en place complexe

Dès 2017, nous vous avions par exemple parlé de Free Viewpoint Video System, un projet de Canon. Intel a lancé une initiative similaire avec True View. Dans les deux cas, l’idée est de disposer une armée de caméras autour du terrain, afin de générer de la vidéo volumétrique qui peut ensuite être observée sous tous les angles.

Dans le même esprit, Unity vient de dévoiler Metacast, qui utilise là aussi de la vidéo volumétrique.

Outre le fait de proposer de nouvelles images aux téléspectateurs, ces techniques peuvent avoir d’autres applications : VR, analyse de stratégie d’équipe, optimisation des performances sportives, arbitrage, etc.

Toutes ces annonces sont prometteuses, mais elles ont plusieurs défauts, comme la nécessité de devoir utiliser un ensemble complexe de caméras synchronisées. Le volume de données à traiter pose aussi question, d’autant que le temps réel est indispensable pour ce marché.

L’IA, une alternative ?

C’est ici qu’intervient un projet de R&D de l’ingénieur en vision informatique Guillaume Chican, qui propose une alternative beaucoup moins contraignante : n’utiliser qu’une seule caméra, et laisser le deep learning faire le reste.

Guillaume Chican (que nous avions déjà eu l’occasion de croiser durant Laval Virtual 2017, sur un tout autre projet) nous explique que dans son approche, le deep learning est utilisé à la fois pour la capture de la géométrie et le rendu des joueurs. Dans la vidéo de démonstration ci-dessous, qui alterne prises de vue réelles et survols du match générés par son approche, seul le terrain est créé avec du rendu 3D classique. Les joueurs sont entièrement confiés au machine learning.

Si la méthode n’a pour le moment été testée que sur du football, elle se déclinerait sans difficulté sur d’autres sports comme le basket, le tennis. En revanche, des disciplines comme le rugby poseront sans doute des défis, certaines manœuvres comme les mêlées représentant des cas très spécifiques qui demanderont probablement un développement dédié.
La technique n’est pas encore temps réel, mais Guillaume Chican y travaille. Un autre axe d’amélioration étant de proposer un rendu de meilleure qualité.

En termes d’usages, cette approche pourrait comme les propositions d’Intel, Canon et Unity être utilisée pour proposer de nouvelles images aux spectateurs, avec des analyses de matches, des retours sur une action précise, ou encore la possibilité, en temps réel, de changer de point de vue (un peu à la manière d’un jeu vidéo). En revanche, comme le rendu neural implique que l’image est générée de toutes pièces, un usage en arbitrage serait sans doute exclu.

Guillaume Chican souligne que combinée à un dispositif de réalité augmentée ou virtuelle, sa technique permettrait aux fans de reproduire l’expérience du stade grâce à une loge virtuelle, entre amis.

A noter enfin : puisque le système ne nécessite pas de matériel lourd, on peut imaginer un déploiement moins coûteux et plus facile. De quoi, peut-être, et dans un futur plus ou moins lointain, rendre cette technique accessible à davantage d’équipes, au sport amateur ou encore au secteur de l’éducation…
Pour le moment, nous n’en sommes évidemment pas là.

Pour en savoir plus

Pour toute question, Guillaume Chican peut être contacté sur LinkedIn.

L’article Grâce à l’IA, l’expérience du stade depuis votre canapé est apparu en premier sur 3DVF.

Inside Inside – Remixing video games and cinema with ML

Inside Inside – Remixing video games and cinema with ML
Created by Douglas Edric Stanley, Inside Inside is an interactive installation remixing video games and cinema. In between, a neural network creates associations from its artificial understanding of the two, generating a film in real-time from gameplay using images from the history of cinema.

Memo Akten

At Audiovisual City, it’s always a pleasure to discover new audiovisual artists, and sometimes even artists that we should already know, but that we discover late, like Memo Akten.

I stumbled upon Memo’s work in my investigations and learnings of the well-known VJ software, VDMX (which is to put it quite lightly – VDMX is a very powerful visual creation tool).

Memo Akten describes himself as:


“an artist and researcher from Istanbul, Turkey. He works with emerging technologies as both a medium and subject matter, investigating their impact on society and culture – with a specific interest in the collisions between nature, science, technology, ethics, ritual and religion.”

http://www.memo.tv/

Artificial Intelligence

His work goes much further your average visual artist, as he specialises in Artificial Intelligence, works with algorithms and large-scale responsive installations with image, sound and light. In AV culture’s layman terms he’s an audiovisual jack-of-all-trades and a true techy, oh and he’s studying for a PhD in AI as if that wasn’t enough. Here you can see a selection of his work in the very accurately named video, ‘Selection of work in 3 minutes’ (2017).

Audiovisual awards and prizes

Akten received the Prix Ars Electronica Golden Nica – the most prestigious award in Media Art – for his work ‘Forms’ in 2013. He has exhibited and performed internationally at exhibitions including The Grand Palais’s “Artistes & Robots” in 2018 (Paris FR), The Barbican’s “More than human” in 2017 (London UK) and the Victoria & Albert Museum’s landmark “Decode” exhibition in 2009 (London UK). He has shown work at venues such as the Moscow Museum of Modern Art (Moscow RU), Shanghai Ming Contemporary Art Museum (Shanghai CN), Mori Art Museum (Tokyo JP), Royal Opera House (London UK), Lisbon Architecture Triennale (Lisbon PT), Itaú Cultural (Sao Paulo BR) and many others.

Creative Collaborations

He has collaborated with celebrities such as Lenny Kravitz, U2, Depeche Mode and Professor Richard Dawkins, and brands including Google, Twitter, Deutsche Bank, Coca Cola and Sony PlayStation. Akten’s work is in numerous public and private collections around the world.

Alongside his practice, Akten is currently working towards a PhD at Goldsmiths University of London in artificial intelligence and expressive human-machine interaction, to deepen collaborative creativity between humans and machines and augment human creative expression. Fascinated by trying to understand the world and human nature, he draws inspiration from fields such as physics, molecular & evolutionary biology, ecology, abiogenesis, neuroscience, anthropology, sociology and philosophy.

Photo credit: http://www.memo.tv/works/bodypaint/



Marshmallow Laser Feast

Memo hasn’t just emerged on the scene by any means. In 2007 Akten founded The Mega Super Awesome Visuals Company (MSA Visuals), an art and tech creative studio. For some of those who have been following audiovisual culture since before even Audiovisual City was born, then they’ll recognise the name Marshmallow Laser Feast (MLF) – the evolution of MSA Visuals in 2011. In more recent years and a lot of success, Akten is now focusing on his own work and research, though his contribution to audiovisual culture and performance, must not go unmentioned. I strongly recommend that you explore his exceptionally wide and varied body of artwork and scientific investigations, as it takes you on a socia cultural journey that goes beyond audiovisual art.

Website

Instagram | Vimeo

BUY US A COFFEE?BUY US A COFFEE?

The post Memo Akten appeared first on Audiovisualcity.

FACTORY BERLIN: Artist Residency

Par : Marco Savo

DEADLINE: 17 June 2020 1 July 2020

PROGRAM: 27 July – 30 November 2020

Factory Berlin, Sónar+D, and Beats by Dr. Dre launch an open call for audiovisual artists who would like to participate to the 2nd edition of Artist in Residence program in the Creators Lab at Factory Gorlitzer Park.

The residency supports artists exploring new lines of inquiry intersecting technology & society. The aim of this program is to facilitate dialog, partnership, and collaboration at the intersection of technology and exploratory arts. By focusing on this synthesis, the program empowers artists to create work which inspires shifts in perspective and cross-collaboration.

These are the categories covered by the open call:

COMPUTATIONAL CREATIVITY & HUMAN-MACHINE COLLABORATION

EXPLORING NEW FORMATS & APPLICATIONS FOR FORWARD-THINKING MUSIC

BUILDING CREATIVE BUSINESSES

CREATING EXPERIENTIAL CONTENT

READ MORE AND APPLY

The post FACTORY BERLIN: Artist Residency appeared first on Audiovisualcity.

❌