Connexion
Depuis plusieurs années, des projets visent à améliorer l’immersion au sein des matches sportifs, en permettant aux spectateurs d’observer le terrain sous tous les angles.
Dès 2017, nous vous avions par exemple parlé de Free Viewpoint Video System, un projet de Canon. Intel a lancé une initiative similaire avec True View. Dans les deux cas, l’idée est de disposer une armée de caméras autour du terrain, afin de générer de la vidéo volumétrique qui peut ensuite être observée sous tous les angles.
Dans le même esprit, Unity vient de dévoiler Metacast, qui utilise là aussi de la vidéo volumétrique.
Outre le fait de proposer de nouvelles images aux téléspectateurs, ces techniques peuvent avoir d’autres applications : VR, analyse de stratégie d’équipe, optimisation des performances sportives, arbitrage, etc.
Toutes ces annonces sont prometteuses, mais elles ont plusieurs défauts, comme la nécessité de devoir utiliser un ensemble complexe de caméras synchronisées. Le volume de données à traiter pose aussi question, d’autant que le temps réel est indispensable pour ce marché.
C’est ici qu’intervient un projet de R&D de l’ingénieur en vision informatique Guillaume Chican, qui propose une alternative beaucoup moins contraignante : n’utiliser qu’une seule caméra, et laisser le deep learning faire le reste.
Guillaume Chican (que nous avions déjà eu l’occasion de croiser durant Laval Virtual 2017, sur un tout autre projet) nous explique que dans son approche, le deep learning est utilisé à la fois pour la capture de la géométrie et le rendu des joueurs. Dans la vidéo de démonstration ci-dessous, qui alterne prises de vue réelles et survols du match générés par son approche, seul le terrain est créé avec du rendu 3D classique. Les joueurs sont entièrement confiés au machine learning.
Si la méthode n’a pour le moment été testée que sur du football, elle se déclinerait sans difficulté sur d’autres sports comme le basket, le tennis. En revanche, des disciplines comme le rugby poseront sans doute des défis, certaines manœuvres comme les mêlées représentant des cas très spécifiques qui demanderont probablement un développement dédié.
La technique n’est pas encore temps réel, mais Guillaume Chican y travaille. Un autre axe d’amélioration étant de proposer un rendu de meilleure qualité.
En termes d’usages, cette approche pourrait comme les propositions d’Intel, Canon et Unity être utilisée pour proposer de nouvelles images aux spectateurs, avec des analyses de matches, des retours sur une action précise, ou encore la possibilité, en temps réel, de changer de point de vue (un peu à la manière d’un jeu vidéo). En revanche, comme le rendu neural implique que l’image est générée de toutes pièces, un usage en arbitrage serait sans doute exclu.
Guillaume Chican souligne que combinée à un dispositif de réalité augmentée ou virtuelle, sa technique permettrait aux fans de reproduire l’expérience du stade grâce à une loge virtuelle, entre amis.
A noter enfin : puisque le système ne nécessite pas de matériel lourd, on peut imaginer un déploiement moins coûteux et plus facile. De quoi, peut-être, et dans un futur plus ou moins lointain, rendre cette technique accessible à davantage d’équipes, au sport amateur ou encore au secteur de l’éducation…
Pour le moment, nous n’en sommes évidemment pas là.
Pour toute question, Guillaume Chican peut être contacté sur LinkedIn.
L’article Grâce à l’IA, l’expérience du stade depuis votre canapé est apparu en premier sur 3DVF.
Memo Akten describes himself as:
http://www.memo.tv/
“an artist and researcher from Istanbul, Turkey. He works with emerging technologies as both a medium and subject matter, investigating their impact on society and culture – with a specific interest in the collisions between nature, science, technology, ethics, ritual and religion.”
His work goes much further your average visual artist, as he specialises in Artificial Intelligence, works with algorithms and large-scale responsive installations with image, sound and light. In AV culture’s layman terms he’s an audiovisual jack-of-all-trades and a true techy, oh and he’s studying for a PhD in AI as if that wasn’t enough. Here you can see a selection of his work in the very accurately named video, ‘Selection of work in 3 minutes’ (2017).
Akten received the Prix Ars Electronica Golden Nica – the most prestigious award in Media Art – for his work ‘Forms’ in 2013. He has exhibited and performed internationally at exhibitions including The Grand Palais’s “Artistes & Robots” in 2018 (Paris FR), The Barbican’s “More than human” in 2017 (London UK) and the Victoria & Albert Museum’s landmark “Decode” exhibition in 2009 (London UK). He has shown work at venues such as the Moscow Museum of Modern Art (Moscow RU), Shanghai Ming Contemporary Art Museum (Shanghai CN), Mori Art Museum (Tokyo JP), Royal Opera House (London UK), Lisbon Architecture Triennale (Lisbon PT), Itaú Cultural (Sao Paulo BR) and many others.
He has collaborated with celebrities such as Lenny Kravitz, U2, Depeche Mode and Professor Richard Dawkins, and brands including Google, Twitter, Deutsche Bank, Coca Cola and Sony PlayStation. Akten’s work is in numerous public and private collections around the world.
Alongside his practice, Akten is currently working towards a PhD at Goldsmiths University of London in artificial intelligence and expressive human-machine interaction, to deepen collaborative creativity between humans and machines and augment human creative expression. Fascinated by trying to understand the world and human nature, he draws inspiration from fields such as physics, molecular & evolutionary biology, ecology, abiogenesis, neuroscience, anthropology, sociology and philosophy.
Memo hasn’t just emerged on the scene by any means. In 2007 Akten founded The Mega Super Awesome Visuals Company (MSA Visuals), an art and tech creative studio. For some of those who have been following audiovisual culture since before even Audiovisual City was born, then they’ll recognise the name Marshmallow Laser Feast (MLF) – the evolution of MSA Visuals in 2011. In more recent years and a lot of success, Akten is now focusing on his own work and research, though his contribution to audiovisual culture and performance, must not go unmentioned. I strongly recommend that you explore his exceptionally wide and varied body of artwork and scientific investigations, as it takes you on a socia cultural journey that goes beyond audiovisual art.
BUY US A COFFEE?
The post Memo Akten appeared first on Audiovisualcity.
The residency supports artists exploring new lines of inquiry intersecting technology & society. The aim of this program is to facilitate dialog, partnership, and collaboration at the intersection of technology and exploratory arts. By focusing on this synthesis, the program empowers artists to create work which inspires shifts in perspective and cross-collaboration.
These are the categories covered by the open call:
COMPUTATIONAL CREATIVITY & HUMAN-MACHINE COLLABORATION
EXPLORING NEW FORMATS & APPLICATIONS FOR FORWARD-THINKING MUSIC
BUILDING CREATIVE BUSINESSES
CREATING EXPERIENTIAL CONTENT
The post FACTORY BERLIN: Artist Residency appeared first on Audiovisualcity.
Collanews 