FTS Talk #1 : Musique, animation et programmation : l’art du VJ selon Suriteka

Depuis les débuts de Fantassin, on sait que la curiosité nourrit l’inspiration. Et que les personnes qui travaillent avec nous savent faire bien plus que ce qu’on leur demande. Du coup, on s’est dit qu’on allait les laisser régulièrement s’exprimer dans des mini-conférences, ateliers, ou tutoriels participatifs. On a appelé ça les FTS Talks, et c’est Jonathan, notre apprenti développeur, qui a inauguré le format avec un workshop consacré à l’art du VJ. 

Mais c’est quoi un VJ ? C’est comme un DJ, mais avec un V pour Vidéo. Là où le DJ mixe des disques et interagit avec la musique, le VJ fait pareil avec de l’image animée. Comme un DJ, il peut simplement enchaîner des vidéos existantes avec quelques effets de transition et de fondu, mais il peut aussi créer ses propres motifs qui vont répondre en direct à la musique et aux élans créatifs du VJ. Au niveau Expert, ça peut ressembler à ça : 

Et comment on fait ça ? Patience, Jonathan (aka Suriteka) va vous expliquer. 

Les ingrédients créatifs du VJ selon Suriteka

Pour concevoir une bonne création de VJ, et ainsi assister à la naissance d’un élément interactif inédit à ajouter au grand catalogue de l’histoire des arts, on peut s’appuyer sur cinq ingrédients : 

• De la musique
• Des formes
• Des mathématiques
• Du code
• Et surtout une idée

La musique, c’est la base sur laquelle les images et les formes vont interagir. Et comme pour une pizza base tomate ou base crème, on ne va pas mettre les mêmes choses dessus : les animations ne seront pas les mêmes sur un titre house aux basses qui tabassent ou sur un titre ambient centré sur des fréquences medium et des aigus en contrepoint. 

Les formes, ce sont elles qui vont s’animer en fonction du spectre sonore : leurs contours et leurs textures vont prendre vie au gré des mesures. On peut aussi agir avec quelques lignes de code sur les mouvements de caméra, l’éclairage… Sur des formes en 3D, les possibilités sont potentiellement infinies. 

Ensuite il faut faire intervenir les mathématiques, pour que la musique et les formes se mettent à parler le même langage. Et pour ça, on va avoir recours à la transformation de Fourier, déterminée par le mathématicien du même nom au début du XIXe siècle (on sait jamais, vous allez peut être participer à Questions pour un Champion bientôt). Pour faire simple, il s’agit de représenter un phénomène physique, comme un signal sonore, sous la forme d’un spectre. En ce qui concerne le son, ce spectre mesure des fréquences. 

En effet, le son est de nature ondulatoire. C’est une vibration qui se déplace dans l’air et le temps. Mais quand on écoute de la musique, l’oreille ne perçoit pas une vibration, mais une note, c’est-à dire une fréquence. Elle a pesé le poids relatif de chaque fréquence dans le signal pour le transformer : elle a fait elle-même, toute seule, sa propre transformée de Fourier. 

À partir de cette représentation spectrale des ondes, on va décomposer le son pour dénicher des fréquences utiles à la conception visuelle du produit final. C’est à ce moment là qu’on fait intervenir le code, pour faire correspondre à un type de fréquence donné une réaction qui donne vie aux images. 

Et enfin l’idée, qui va lier tous ces éléments entre eux, et imaginer un univers visuel qui laisse s’exprimer toute la personnalité artistique et la signature technique du VJ. Ou pas. 

Maintenant qu’on a les ingrédients, on peut évoquer les outils qui vont faciliter la préparation. 

Les outils préférés de Suriteka – san

Après des années d’expérimentations et de créations décomplexées, notre orateur a sélectionné les outils qui lui permettaient de s’exprimer : 

• Le logiciel de création 3D Blender
• Le langage de programmation Javascript pour afficher dans le navigateur
• Deux mains et un cerveau

On commence par Blender, un logiciel libre et gratuit de modélisation 3D qui peut paraître très compliqué au premier abord, mais qui révèle sa puissance après un peu de persévérance. On peut y créer ses jolies formes, qu’elles soient simples ou complexes, les perfectionner sous tous les angles, leur appliquer des textures, des couleurs, etc… Et obtenir la base de sa création de VJ. 

Toutes ces formes peuvent prendre vie si on leur parle en Javascript, et devenir de parfaits petits automates dociles qui vont bouger exactement comme on leur aura dit de bouger. Un rêve de chorégraphe (ceci dit, il va falloir se lever tôt si on veut obtenir un rendu qui concurrence le ballet de l’Opéra de Paris). 

Pour faire fonctionner ces deux outils, il faut avoir recours à deux mains et un cerveau. Deux mains parce que c’est pratique pour tenir des objets, taper sur un clavier et faire glisser une souris. Un cerveau parce que c’est utile pour réfléchir et avoir des idées. 

Après avoir fourni à toute l’équipe Fantassin les outils qui leur manquait, Jonathan s’est lancé dans le tutorat pour que chacun puisse donner naissance à une petite animation (au vu des résultats, il avait oublié d’équiper Thomas d’un cerveau). 

We like to. Move it.

Et on s’est retrouvé comme des enfants maladroits avec leurs crayons, à tâtonner dans un logiciel inconnu, et ébaucher des formes aux contours un peu grossier, mais avec de l’idée. Chacun a choisi une musique pour faire bouger sa création, et grâce aux indications précieuses de notre formateur, on a assisté avec émotion à la naissance d’un mouvement, tendrement synchronisé avec les élans rythmiques de chansons soigneusement sélectionnées. 

Lisa a placé sur une barque un bonhomme de neige avec ses rames et une cadence régulière qui fait l’admiration des pratiquants d’aviron :

Joffrey a modélisé une tête de robot cubique (et a donc renoué avec son projet de créer un Evangelion) :

Florian a fait émerger une forme irrégulière et multicolore, un roche hallucinatoire aux textures brillantes :

On préfère oublier la prestation de Thomas, qui avait oublié de se munir d’un cerveau ce jour-là…

On remercie donc infiniment Jonathan pour sa pédagogie, et sa patience. On sait que ça n’a pas dû être simple de nous supporter un après-midi d’été. Mais ça valait le coup : non seulement on a appris, mais on est aussi reparti chacun avec notre petite création personnelle, satisfaits et souriants comme des enfants qui sortent de la fête de l’école. 

Et on a envie de dire au reste du monde : vos apprentis ont des choses à vous apprendre.