Digitalisierung gedruckter Musiknoten

Wenn professionelle Musizierende von gedruckten auf digitale Noten umsteigen wollen, hilft ihnen dabei die Optical Music Recognition (OMR). Diese Technologie überführt gedruckte Partituren automatisch in maschinenlesbare Noten und interpretiert sie. Um diesen Vorgang zu optimieren, haben Forschende der ZHAW School of Engineering eine neue Methode entwickelt. Mit dem sogenannten Deep Watershed Detector scannen sie die Noten viel genauer als es bei der bisher erforschten computergestützten Bild- oder Texterkennung der Fall war. «Das Notenblatt wird als Ganzes anstatt in kleinen Teilen analysiert und Notenobjekte werden so in ihrem Kontext erkannt. Durch ein neuronales Netz mit dreifacher Ausgabe kann schliesslich jeder Bildpunkt einem bestimmten Objekt zugeordnet werden», erklärt ZHAW-Forscher und Projektleiter Thilo Stadelmann . «Mit dieser Methode ist unsere Trefferquote beim Notenscannen mehr als doppelt so hoch wie bisher.»

Während Texte bereits sehr gut maschinell gelesen werden können, hatte die Forschung beim Scannen und Interpretieren von Noten bisher keine adäquaten Ergebnisse erzielt. «Text enthält typischerweise nur eine kleine Anzahl von Symbolen, während Musik aus Komposita besteht. Denn Notensymbole können nicht nur horizontal, sondern auch vertikal kombiniert werden», so Stadelmann. «Im Prinzip kann durch das Zusammensetzen von Subsymbolen eine unbegrenzte Menge an Symbolen erzeugt werden – etwa Akkorde aus Einzelnoten, Notenhälsen und Fahnen.» Um die neue Methode zu entwickeln, haben Stadelmann und sein Team rund 300'000 Seiten Noten analysiert. Damit haben die ZHAW-Forschenden den weltweit grössten vollständig annotierten Datensatz im Bereich der computergestützten Objekterkennung erzeugt – und ihn öffentlich und frei zugänglich gemacht für weitere Forschung. So kann das an der ZHAW entwickelte neue Verfahren auch auf andere Fragestellungen in der computergestützten Objekterkennung übertragen werden.

Über Monate haben die Forschenden ihr System mit digitalen und gedruckten Noten getestet und während dieser Zeit immer weiter verbessert. Die von Innosuisse finanziell geförderte Entwicklung wird künftig in einem konkreten Produkt zum Einsatz kommen. Das Schweizer Start-up ScorePad bietet ein digitales Notenpult für Tablets an. Gedruckte Noten werden dort eingelesen. Die App erlaubt die individuelle Bearbeitung der digitalisierten Noten. Dazu gehören beliebiges Zoomen, Transponieren in andere Tonarten und Auswählen der gewünschten Instrumente. Auch das Musizieren ist mit der App einfacher. Von Hand blättern ist nicht mehr nötig, da die Software die gespielten Töne über das eingebaute Mikrofon des Tablets automatisch erkennt und weiterscrollt.