Teledysk AI od zera do faktury

Zanim wygeneruję pierwszą klatkę, rozbieram utwór na części. To najtańszy etap klipu i najczęściej pomijany. Pierwsza wersja jednego z moich klipów dostała ocenę „to pokaz slajdów, nuda”: długie ujęcia obojętne na muzykę. Druga wersja miała 73 ujęcia rozpisane na takty i dopiero ona ruszyła.

W tej lekcji pokazuję, jak robię mapę utworu: dokładną długość, tempo, granice sekcji zmierzone na sygnale, akcenty i momenty na zmianę świata. Z tej mapy w kolejnych lekcjach powstanie storyboard i shot lista.

Krok 1. Trzy odsłuchy, zanim cokolwiek zapiszę

Słucham numeru trzy razy w słuchawkach, za każdym razem z innym zadaniem.

1. Odsłuch na emocję, bez kartki. Po skończeniu zapisuję jedno zdanie: o czym jest ten numer i jak ma się czuć widz na końcu. To zdanie wraca potem przy każdej decyzji.
2. Odsłuch z tekstem. Mam przed sobą tekst i zaznaczam słowa, które da się pokazać: przedmioty, miejsca, gesty. „Wyjąłem stary keyboard” da się pokazać. „Czułem strach” nie da się pokazać wprost, trzeba to przełożyć na sytuację.
3. Odsłuch z licznikiem. Odtwarzam w programie, który pokazuje czas z dokładnością do dziesiątych sekundy (DaVinci Resolve, Audacity, cokolwiek). Zapisuję, kiedy wchodzi perkusja, kiedy zaczyna się refren, gdzie jest pauza, drop, solo instrumentu, ostatnie uderzenie.

Po trzecim odsłuchu mam szkic, ale ucho przesuwa granice o sekundę albo dwie, więc mierzę.

Krok 2. Mierzę, nie zgaduję

Potrzebuję czterech liczb: dokładnej długości pliku, tempa (BPM), długości taktu i granic sekcji. Długość biorę z pliku, który poleci w klipie, nie z wersji demo. Przy jednym z moich klipów utwór miał dokładnie 142,000 s, przy innym 160,000 s. Te liczby wpisuję na górze mapy i pilnuję, żeby każda wersja montażu kończyła się co do klatki.

Granice sekcji wyznaczam na energii sygnału. Uruchamiam prosty skrypt w Pythonie z biblioteką librosa. Liczy głośność w oknach po 0,25 s, wygładza ją i szuka miejsc, gdzie energia najmocniej skacze w górę albo w dół. To są kandydaci na granice, na przykład wejście perkusji albo wyciszenie przed zwrotką.

# mapa.py - tempo, takt i kandydaci na granice sekcji
import sys
import numpy as np
import librosa

plik = sys.argv[1]
y, sr = librosa.load(plik, sr=22050, mono=True)
dlugosc = len(y) / sr

tempo, bity = librosa.beat.beat_track(y=y, sr=sr, units="time")
tempo = float(np.atleast_1d(tempo)[0])

okno = 0.25                                   # sekundy
hop = int(sr * okno)
rms = librosa.feature.rms(y=y, frame_length=hop * 2, hop_length=hop)[0]
db = librosa.amplitude_to_db(rms, ref=np.max)
gladkie = np.convolve(db, np.ones(8) / 8, mode="same")   # wygladzenie ok. 2 s
skok = np.diff(gladkie)

granice = []
for i in np.argsort(np.abs(skok))[::-1]:
    t = (i + 1) * okno
    if t < 2 or t > dlugosc - 2:              # pomijam brzegi pliku
        continue
    if all(abs(t - g) > 6 for g in granice):  # min. 6 s miedzy granicami
        granice.append(t)
    if len(granice) >= 12:
        break

print(f"dlugosc: {dlugosc:.3f} s | tempo: {tempo:.1f} BPM | takt 4/4: {240 / tempo:.3f} s")
for t in sorted(granice):
    i = int(t / okno)
    przed = gladkie[max(i - 4, 0)]
    po = gladkie[min(i + 4, len(gladkie) - 1)]
    kierunek = "W GORE" if po > przed else "w dol"
    print(f"{t:7.2f} s   {przed:6.1f} dB -> {po:6.1f} dB   {kierunek}")

np.savetxt("bity.txt", bity, fmt="%.3f")
print(f"zapisano {len(bity)} uderzen do bity.txt")

Uruchamiam go poleceniem python mapa.py utwor.mp3. Wcześniej instaluję zależności: pip install librosa numpy. Wynik porównuję ze szkicem z trzeciego odsłuchu. Tam, gdzie skrypt i ucho się zgadzają, mam pewną granicę. Tam, gdzie się różnią, słucham fragmentu jeszcze raz i decyduję sam. Skrypt nie zna tekstu, więc nie wie, że punchline wypada sekundę po skoku energii.