Mit unserem App-Projekt Werckmeister für Musiker*innen haben wir einen Beitrag zum Open Source Framework AudioKit UI geleistet. Da das Framework auch von der auf Apple Vision Pro verfügbaren App Synesthesia AR genutzt wird, läuft damit bereits heute Code von Raskin auf der neusten Plattform vom Apple.
Um Musik nicht nur zu hören, sondern auch zu sehen, gibt es mehre technische Werkzeuge. Eines davon ist das Spektrogramm. Dieses zeigt auf einer Zeitachse alle vorhandenen Frequenzen eines einzelnen Tons, eines Geräusches oder eines ganzen Musikstückes. Das Spektrogramm kann benutzt werden, um Muster zu erkennen, beispielsweise Obertöne oder Knacken oder Schwebungen. Oder um einen digitalen «Fingerabdruck» zu zeichnen, der mit anderen verglichen werden kann, beispielsweise um Vogelstimmen zu vergleichen und erkennen.
Wir werden ein solches Spektrogramm in unserer App Werckmeister einsetzen und haben die entsprechende Darstellung programmiert und im Open Source Framework AudioKit UI integriert. Sie heisst SpectrogramFlatView und ist in der neusten Version der App Synesthesia AR auf dem Apple Vision Pro «Spatial Computer» verfügbar. Die App bietet mehrere Darstellungen, um Musik zu visualisieren, darunter zwei Spektrogramme, eines in 3D und unsere «flache» Darstellung. Damit läuft heute bereits Code von Raskin auf der neusten Technologie von Apple.
