Sciamani

#illustrazioni #video #videowall #interfacce #sounddesign

Sciamani, comunicare oltre l’invisibile è un viaggio immersivo tra antropologia, etnografia, psicologia, archeologia ed arte. Un viaggio alla scoperta di luoghi, riti, linguaggi e oggetti delle culture mongole e siberiane che ancora oggi praticano lo sciamanismo.

Per questo allestimento ci siamo occupati della creazione dei contenuti multimediali lavorando a stretto contatto con i curatori del MUSE: Luca Scoz ed Elisabetta Flor. Insieme ad alcuni componenti del comitato scientifico, ci hanno pazientemente introdotti al significato complesso di Sciamanismo.

Qui il teaser che abbiamo girato per il lancio della mostra:

La mostra

La mostra unisce per la prima volta tre importanti musei della Provincia Autonoma di Trento: MUSE – Museo delle Scienze di Trento, Mart – Museo di arte moderna e contemporanea di Trento e Rovereto, e METS – Museo etnografico trentino San Michele.

Il percorso tematico della mostra si compone di 8 sezioni, ciascuna delle quali tocca e approfondisce una particolare tematica tra: antropologia e archeologia, sociologia, scienza, psicologia e scienze cognitive, arte.

  • 01_gallery_
  • 02_gallery_
  • 03_gallery_
  • 04_gallery

Illustrazioni e video wall

Dalla condivisione di alcune suggestioni fotografiche, video e di esperienze reali di incontro con alcuni sciamani da parte degli studiosi, abbiamo reinterpretato tramite le illustrazioni di Elia Carollo le ambientazioni tipiche del territorio mongolo, siberiano e cinese che ancora oggi parlano di sciamanismo.

Storyboard e animazioni

Lo storyboard è colui che comanda, scandisce i tempi e il modo con cui immaginiamo di animare il nostro racconto.
È suddiviso in vignette che descrivono la narrazione e ognuna di esse è rappresentata da un’illustrazione dettagliata.

La parte di animazione affidata all’esperienza di Iulian Gutu, è quella che ha richiesto massima attenzione e pazienza, ed è il posto in cui le nostre illustrazioni hanno preso vita.

A differenza di quelle tradizionali, le cosiddette “frame by frame”, abbiamo lavorato su oggetti 2D che vengono posizionati in uno spazio 3D per ottenere un effetto parallax ovvero il fenomeno per cui un oggetto sembra spostarsi di posizione in funzione del punto di osservazione. Su di essi sono stati applicati vari effetti per ottenere la massima armonia tra gli elementi in scena.
Una volta eseguite le animazioni è seguita la parte non meno importante e delicata di sound design, ebbene si, metà del lavoro è audio.  Ogni scena, azione o movimento è accompagnata da una base musicale ed effetti sonori senza i quali sarebbe impossibile farvi entrare così tanto nel mood desiderato.

  • Sciamani_Muse_brandsoda_0
  • Sciamani_Muse_brandsoda_1
  • Sciamani_Muse_brandsoda_2
  • Sciamani_Muse_brandsoda_3
  • Sciamani_Muse_brandsoda_4

Installazione touch screen

Partendo dal mood stilistico delle illustrazioni, la nostra designer Maria Pisoni, ha disegnato l’interfaccia dell’applicazione touch sviluppata da Samuele Zuech: l’obiettivo è guidare il visitatore ad approfondire i singoli elementi dei costumi sciamanici esposti in mostra.

Video immersivo stati alterati e sound design

Belli i riti sciamanici ma cosa si prova?

La sfida di questo progetto è stato riprodurre l’esperienza di uno stato alterato di coscienza facendo collaborare esigenze tecnologiche applicate alle scienze cognitive.
Grazie alle indicazioni scientifiche del prof. Nicola De Pisapia dell’Università di Trento, abbiamo ricreato una passeggiata nel bosco della durata di 5 minuti in cui lo stato alterato cambia progressivamente e aumenta fino ad arrivare al culmine in cui si incontra un cervo, simbolo che aiuta gli sciamani a comunicare con gli spiriti animali e ad usare le forze della natura.

Le riprese immersive sono state effettuate utilizzando una camera insta360 pro2 in 8k stereoscopici e sono state girate nei boschi della Val di Sole ad opera di Marco Soave, intrecciando successivamente le competenze di Andres Reyes – AI Designer di Machineria e di Samuele Zuech, videomaker e sound designer.

Il video è stato “cucito” con tecnica optical flow e stabilizzazione giroscopica per poi essere “adattato” per la proiezione su un telo di di ben 9 metri, per capirci largo quanto metà campo di pallavolo.

  • img_camera_
  • GoogleNet_

Il contributo di Machineria, con la collaborazione di Andres Reyes, ci ha permesso di utilizzare sofisticate reti neurali convoluzionali (CNN) che, tramite un’azione di “feature extractor” convertono le immagini creando le cosiddette “alterazioni” tipiche di chi fa utilizzo di sostanze allucinogene.
Se vuoi saperne di più su come funziona l’algoritmo leggi l’articolo di Machineria.

Una volta individuato il livello di alterazione dell’immagine ed il cosiddetto “inception”, ovvero un tipo specifico di struttura architetturale all’interno di una rete neurale profonda spesso associato all’architettura chiamata “GoogleNet“, abbiamo iniziato ad elaborare i vari frame video della nostra camminata nel bosco.

L’intelligenza artificiale ci ruberà il lavoro? Naaaa, ce lo semplifica!

Premessa: l’elaborazione di un video frame by frame comporta la modifica di ogni singolo fotogramma…e solo la parte “allucinogena” del video “stati alterati” è composta da più di 5.000 fotogrammi. Di sicuro questo avrebbe richiesto troppo tempo da parte della rete neurale pertanto è stato fondamentale trovare una soluzione che permettesse di velocizzare il processo produttivo.

La tecnologia ci ha offerto la soluzione: uno strumento per la sintesi dell’immagine basato sull’intelligenza artificiale che consente di partire da uno stile grafico disegnato ad hoc su un fotogramma del video ed applicabile automaticamente sugli altri creando di conseguenza animazioni fluide e dettagliate. Come potrete immaginare, questo ha drasticamente ridotto il tempo di elaborazione che l’aumento progressivo del livello di alterazione del video richiedeva. Magico!

Sulla base dello storyboard e dei relativi cambiamenti del livello di alterazioni abbiamo deciso di elaborare con l’algoritmo 1 frame ogni 25, dopodiché il nostro videomaker Samuele Zuech ha sfruttato le caratteristiche di un tool AI che ci permette di estendere lo stile alterato del singolo frame sui 25 frame precedenti e i 25 successivi, unendoli poi in fase di montaggio con delle transizioni in dissolvenza e creando quindi il video dei 5 minuti di camminata. Se vuoi provare il tool AI clicca qui: EbSynth

Un altro elemento di innovazione del progetto è stata la generazione del cervo, elemento distintivo nello sciamanesimo. Per la creazione dell’animale abbiamo utilizzato Runway, una suite di strumenti basati sull’intelligenza artificiale e focalizzati sul video editing, tra i quali è presente un tool di IA generativa text to video  che ci ha permesso, tramite la creazione di un prompt, di ottenere l’elemento da inserire nel video a cui sono stati aggiunti degli effetti di comparsa in linea con il mood visual.

Il video, per risultare veramente immersivo, necessitava anche di un sottofondo sonoro particolare:  un battito costante di un tamburo sciamanico. Il suono è uno dei principali elementi utilizzati nei riti sciamanici e permettono  ai partecipanti entrare in uno stato alterato di coscienza, grazie alla combinazione appunto di stimoli visivi e uditivi.

Abbiamo quindi realizzato una traccia sonora su misura attingendo da una libreria di suoni di percussioni, scegliendo cinque campionature di tamburi con caratteristiche diverse: uno più acuto, uno più grave, uno con più coda, uno con più attacco e uno con più armoniche, con l’intenzione di unirli per poter modellare così il suono del tamburo sciamanico desiderato. In fase di mixaggio audio, con un software DAW, abbiamo poi gestito singolarmente i suoni, regolando volumi, equalizzazione e impostando anche delle intensità diverse ai vari colpi per realizzare una traccia audio che risultasse perfettamente naturale ed evitando così di avere dei battiti troppo lineari.

La proiezione di questo video è gestita tramite Watchout, un software multimediale utilizzato per la gestione e la sincronizzazione di contenuti multimediali su display multipli. La mappatura video con Watchout implica la distribuzione di contenuti su più schermi o superfici per creare una presentazione visiva unificata e coordinata. La configurazione del progetto, il posizionamento e la sincronizzazione è stata gestita da Michele Moser di Wasabi.

Il risultato finale?
Una camminata fluida in piano sequenza di 5 minuti in cui lo spettatore ha la sensazione di passeggiare nel bosco cambiando lo stato di alterazione dell’ambiente fino ad arrivare al culmine con la visualizzazione di elementi caleidoscopici centripeti.

  • 10_

Vi abbiamo incuriosito?

Non vi resta che visitare la mostra a Palazzo delle Albere a Trento.
Avete tempo fino al 30/06/2024.