Mozart, Madonna oder Michael Jackson – das menschliche Gehör erkennt sehr schnell Unterschiede zwischen Musikstücken und -stilen. Ein Computer bzw. die Künstliche Intelligenz (KI) ist hierzu ebenso in der Lage - allerdings nicht akustisch, sondern optisch. Dies zeigt das Projekt „Mozart Jukebox” der Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt (FHWS). Ein zweites Projekt, die Augmented-Reality-App, integriert die Einzelprojekte des Mozart-Jubiläumsjahres.

Beide Projekte der FHWS sind integriert in zwei aktuelle Konzepte: Zum einen feiert Würzburg 100-jähriges Jubiläum des Mozartfestes, in dem das Hochschulprojekt „Mozart & KI" ein Bestandteil eines Quartetts ist. Zum anderen gehen Wissenschaftlerinnen und Wissenschaftler aus Würzburg und Weimar seit 2020 der Frage nach, wie sich die musikalische Kreativität Mozarts mit Algorithmen verbinden lässt. Beteiligt an diesem Ansatz sind neben der FHWS laut deren Pressemitteilung die Julius-Maximilians-Universität Würzburg, das Steinbeis-Institut New Media and Data Science (Prof. Dr. Frank Deinzer, FHWS) sowie ein freier Komponist aus Weimar.

Software kann 484 Musikstücke differenzieren

Christoph Raab, Mitarbeiter am Institut Digital Engineering an der Fakultät Informatik und Wirtschaftsinformatik der FHWS, hat die „Mozart-Jukebox“ zusammen mit Studierenden mit dem Ziel entwickelt, den Lernvorgang von künstlicher Intelligenz visuell zu demonstrieren. Der Ansatz: Es werden sogenannte akustische Frequenzdarstellungen verwendet und diese als Spektrogramm dargestellt. Die Software der Jukebox wurde „trainiert“ und kann 484 Musikstücke von 15 Komponistinnen und Komponisten sowie Musizierenden differenzieren. Die KI wurde so programmiert, dass sie ihre Interpretation der Musik dreidimensional darstellt und dadurch für das menschliche Auge sichtbar wird.

Das Projekt verfolgt zwei Ansätze – die der überwachten sowie der unüberwachten KI. Gemeinsam ist ihnen, dass sie versuchen, Musikstücke sinnvoll zusammenzufassen. Während die überwachte KI Zugriff auf Künstlerinformationen hatte, stand bei der unüberwachten Variante die Kategoriezuordnung im Fokus.

Funktioniert ähnlich wie ein Gehirn

„Die FHWS Jukebox“, so erläutert es Raab, „ermöglicht es, die Perspektive einer Künstlichen Intelligenz (KI) auf Musik nachzuvollziehen. Die hier verwendete Technik wird Convolutional Neural Network, kurz CNN, genannt: Menschen nehmen die Umwelt über die Augen war. Diese Wahrnehmung wird von den Augen an das Gehirn geschickt und schließlich verarbeitet. Ein CNN ist allerdings ein Programm und besitzt daher natürlich keine Augen. Es funktioniert aber im Prinzip ähnlich wie das Gehirn: Der Mensch gibt dem CNN Bilder zur Verarbeitung und meldet das Ergebnis schließlich an den Menschen zurück.

Christoph Raab zeigt die Relevanz der Ergebnisse auf: „Für dieses Projekt wurde die KI so programmiert, dass ein Mensch mit bloßem Auge die Einordnung von Liedern zu Künstlerinnen und Künstlern sehen kann. Es ist dadurch möglich zu sehen, wie gut oder schlecht sie das macht. Dabei ist das Ergebnis stark von der Programmierung und den Einstellungen abhängig, die der Mensch vornimmt.“ Interessierte können die Jukebox (https://mozart.fiw.fhws.de/) selbst ausprobieren und unterschiedliche Filter sowie Auswahlen treffen, auch über die „Mozart and More“-App im App- und Playstore.

App integriert Einzelprojekte

Die Augmented-Reality App wurde von Prof. Dr. Frank Deinzer (FHWS) am Steinbeis Institut New Media and Data Science im Zuge eines Technologietransfers bzw. einer Ausgründung entwickelt. Die App integriert Einzelprojekte des Gesamtkonzepts „Mozart und KI“ und macht Geschichte über z.B. Plakate, Fotos, Videos und 3D-Objekte mit zusätzlichen Informationen und einem Content Management System „lebendig“. Auf Basis von Augmented Reality können z.B. Plakate mit zusätzlichen Informationen über eine App und ein Content Management System versehen werden. Diese sind in der Lage, die Inhalte des Plakats zu erkennen und vorbereitete Inhalte zu diesem Plakat virtuell zu überlagern.

Gefördert wird das Gesamtprojekt „Mozart & KI“ von 100 Jahre Mozartfest Würzburg, der Vogel Stiftung, Würzburg Web Week und der Bayerischen Sparkassenstiftung. 

Die „Mozart & KI“-Projekte können bis Sonntag, 27. Juni, im „M Pop-Up“ (https://www.mozartfest.de/das-mozartfest/m-popup/index.html) in Würzburg (Plattnerstraße 14) besichtigt bzw. ausprobiert werden.  

Weitere Informationen unter Mozart Jukebox Anwendung (https://mozart.fiw.fhws.de/) und https://christophraab.github.io/Jukebox/

https://app-mozartfest.augmented-art.de