Wenn professionelle Musizierende von gedruckten auf digitale Noten umsteigen wollen, hilft ihnen dabei die Optical Music Recognition (OMR). Diese Technologie überführt gedruckte Partituren automatisch in maschinenlesbare Noten und interpretiert sie. Um diesen Vorgang zu optimieren, haben Forschende der ZHAW School of Engineering eine neue Methode entwickelt. Mit dem sogenannten Deep Watershed Detector scannen sie die Noten viel genauer als es bei der bisher erforschten computergestützten Bild- oder Texterkennung der Fall war. «Das Notenblatt wird als Ganzes anstatt in kleinen Teilen analysiert und Notenobjekte werden so in ihrem Kontext erkannt. Durch ein neuronales Netz mit dreifacher Ausgabe kann schliesslich jeder Bildpunkt einem bestimmten Objekt zugeordnet werden», erklärt ZHAW-Forscher und Projektleiter Thilo Stadelmann . «Mit dieser Methode ist unsere Trefferquote beim Notenscannen mehr als doppelt so hoch wie bisher.» Während Texte bereits sehr gut maschinell gelesen werden können, hatte die Forschung beim Scannen und Interpretieren von Noten bisher keine adäquaten Ergebnisse erzielt. «Text enthält typischerweise nur eine kleine Anzahl von Symbolen, während Musik aus Komposita besteht. Denn Notensymbole können nicht nur horizontal, sondern auch vertikal kombiniert werden», so Stadelmann. «Im Prinzip kann durch das Zusammensetzen von Subsymbolen eine unbegrenzte Menge an Symbolen erzeugt werden – etwa Akkorde aus Einzelnoten, Notenhälsen und Fahnen.» Um die neue Methode zu entwickeln, haben Stadelmann und sein Team rund 300'000 Seiten Noten analysiert. Damit haben die ZHAW-Forschenden den weltweit grössten vollständig annotierten Datensatz im Bereich der computergestützten Objekterkennung erzeugt – und ihn öffentlich und frei zugänglich gemacht für weitere Forschung. So kann das an der ZHAW entwickelte neue Verfahren auch auf andere Fragestellungen in der computergestützten Objekterkennung übertragen werden. Über Monate haben die Forschenden ihr System mit digitalen und gedruckten Noten getestet und während dieser Zeit immer weiter verbessert. Die von Innosuisse finanziell geförderte Entwicklung wird künftig in einem konkreten Produkt zum Einsatz kommen. Das Schweizer Start-up ScorePad bietet ein digitales Notenpult für Tablets an. Gedruckte Noten werden dort eingelesen. Die App erlaubt die individuelle Bearbeitung der digitalisierten Noten. Dazu gehören beliebiges Zoomen, Transponieren in andere Tonarten und Auswählen der gewünschten Instrumente. Auch das Musizieren ist mit der App einfacher. Von Hand blättern ist nicht mehr nötig, da die Software die gespielten Töne über das eingebaute Mikrofon des Tablets automatisch erkennt und weiterscrollt.

Die Schrift ist viel zu klein, der Inhalt schwer verständlich. So lautet die häufige Kritik an Beipackzetteln von Arzneimitteln. Nicht nur ältere oder fremdsprachige Menschen tun sich damit schwer. Auch gut ausgebildete Muttersprachler haben ihre Mühe mit den Informationen, wie Umfragen zeigen. Weshalb dieses Problem nicht visuell angehen?, fragte sich Ester Reijnen Kognitionspsychologin am Departement Angewandte Psychologie der Zürcher Hochschule für Angewandte Wissenschaften und ­initiierte vor fünf Jahren ein hochschulübergreifendes Projekt unter der Federführung der ZHAW, welche es auch finanziert. Das Ziel: die Patientensicherheit verbessern und den Medikamentenverbrauch reduzieren. Das bisherige Resultat sind 37 Piktogramme, die laufend getestet und verbessert werden. «Die Grundlagenforschung zeigt, dass Farben sehr effektiv sein können.» Ester Reijnen «Wir möchten, dass die Zeichen für alle verständlich sind – unabhängig von der Alphabetisierung, dem kulturellen Hintergrund und dem Bildungsgrad der Empfänger», sagt Kognitionspsychologin Ester Reijnen von der ZHAW. «Visuelle Zeichen sind weniger länder- oder sprachabhängig», ergänzt Ulrich Binder, bildender Künstler und wissenschaftlicher Mitarbeiter der ZHdK. So habe sich das Symbol eines Mannes oder einer Frau auf einer Toilettentüre beispielsweise international durchgesetzt. «Auf diesen Lerneffekt hoffen wir auch.» Zu Beginn ging es darum, Prototypen zu entwickeln, beispielsweise von einer Pille oder einer Uhr. Ulrich Binder skizzierte die Entwürfe von Hand, und sein ZHdK-Kollege und Grafiker Thomas Gfeller zeichnete sie ins Reine. Die Bildkombination aus zwei Tabletten und einer Uhr steht nun für die Aussage: «Zweimal täglich eine Tablette einnehmen.» Bis man dahin gelangt, braucht es wissenschaftliche Untersuchungen darüber, welche Symbole oder Farben welche Assoziationen hervorrufen und welche Konventionen sich bewährt haben. Diese wissenschaftliche Einbettung war unter anderem der Part von Ester Reijnen vom ZHAW-Departement Angewandte Psychologie: «Die Grundlagenforschung zeigt, dass Farben sehr effektiv sein können.» Nach jeder kreativen Phase testen die Psychologie-Forscherinnen Ester Reijnen und Lea Laasner die Piktogramme an Testpersonen im Labor – teilweise mit solchen, die einen medizinischen Fachhintergrund haben, teilweise mit Studierenden. So evaluieren sie, wie schnell und korrekt die Botschaften ankommen, und damit, wie verständlich sie sind. Es kristallisierte sich bald heraus, was besonders schwierig war: die Details zugunsten einer raschen Lesbarkeit zu reduzieren und gleichzeitig die Komplexität der Information zu erhalten. «Hier gibt es auch Hinweise aus der Literatur, dass zu viele Details eher ablenken», so Reijnen. «Visuelle Zeichen sind weniger länder- oder sprachabhängig.» Ulrich Binder, ZHdK In Zusammenarbeit mit Apothekern im Projekt tauchten plötzlich neue Fragen auf: Ist die abgebildete Pipette zum Thema Augentropfen noch zeitgemäss? Spielt es eine Rolle, wo der Tropfen aufs Auge trifft? Wie stellt man das Thema Essen dar: mit Teller und Besteck oder Schale und Stäbchen? Da ein Missverständnis der Informationen schwere Folgen haben kann, weil ein Arzneimittel nicht wirkt oder sogar schadet, wenn es falsch angewendet wird, ist es ganz entscheidend, dass die Piktogramme eindeutige Botschaften aussenden. Nur jene Zeichen bleiben nach dem Praxistest in der Auswahl, die wirklich verstanden worden sind. Besonders schwierig umzusetzen war zum Beispiel die Anweisung: «Nur bei Bedarf einnehmen.» Ein Piktogramm mit einem Kopf, über dem eine Comic-Gedankenblase schwebt, die eine Tablette zeigt, soll diese nun verdeutlichen. «Schon jetzt sind unsere Piktogramme verständlicher als eine Serie, die in den achtziger Jahren in den USA auf den Markt kam und immer noch im Umlauf ist», sagt Ester Reijnen. Die Piktogramme sollen den Text der Beipackzettel oder eine Beratung durch medizinische Fachpersonen nicht ersetzen, sondern ergänzen, wie die Forschenden betonen. Deshalb setzen sie alles daran, die abstraktesten Hinweise verständlich umzusetzen. Bei Bedarf kann die Apothekerin die Symbole auch als Kleber auf der Medikamentenpackung anbringen. Auch wenn schon einige Knacknüsse gelöst werden konnten: Es werden noch einige Testrunden nötig sein, stellen die Forschenden übereinstimmend fest. Geplant ist, dass die Piktogramme in ihrer definitiven Form ISO-zertifiziert werden. Ulrich Binder zieht ein positives Fazit: «Die unterschiedlichen Denkweisen und Arten von Wissensproduktionen der Fachbereiche ergaben eine sehr spannende interdisziplinäre Zusammenarbeit.» Susanne Wagner

Weltweit geht aufgrund von Problemen in der Wasserinfrastruktur jedes Jahr viel Wasser verloren. Ein effizientes Monitoring von Wasserverteilungsnetzen ist deshalb Gegenstand von Forschungsarbeiten. Die ZHAW School of Engineering hat gemeinsam mit dem Wasserforschungsinstitut Eawag eine batterielose Lösung entwickelt, die Wasserressourcen in Echtzeit überwacht. ADAWIM steht für «Autonomous and Distributed Architecture for Water Infrastructure Monitoring» und basiert auf einer drahtlosen intelligenten Sensortechnologie, die sich selbst mit Energie versorgen kann. Das System kommt nicht mit dem Wasser in Berührung, sondern gewinnt die Energie hauptsächlich aus Temperaturunterschieden in der Betriebsumgebung, zum Beispiel zwischen einer Wasser- oder Abwasserleitung und dem Erdreich. In einer Variante werden auch hocheffiziente Solarzellen verwendet. Durch dieses Energy Harvesting lassen sich ober- und unterirdische Geräte und Sensoren für die Wasserinfrastruktur betreiben. «Energy Harvesting durch Temperaturunterschiede ist zwar weniger effizient als Solarenergie, aber dafür fast überall einsetzbar», erklärt Projektleiter Marcel Meli vom ZHAW-Institute of Embedded Systems. «Die Kombination aus unterschiedlichen Wärmequellen – je nach Standort und Jahreszeit – sorgt für eine stete Energieversorgung.» Mit dieser Methode kann das System auch tief unter der Erde die nötige Energie gewinnen. Sowohl an den Demonstrationsanlagen der Eawag als auch an der von Stadtwerk Winterthur zur Verfügung gestellten Infrastruktur ist das System bereits zum Einsatz gekommen. An allen Standorten hat das Forschungsteam gezeigt, dass ADAWIM im Rahmen der Wasserinfrastruktur genügend Energie gewinnen kann, um Parameter wie Wasserfluss oder Bodenfeuchtigkeit zu messen. Die erfassten Daten werden lokal vorverarbeitet und drahtlos an einen Gateway übertragen. Dieser leitet die Informationen dann – in Echtzeit oder zu einem späteren Zeitpunkt – an einen Server weiter zur Verarbeitung und Visualisierung. Im Rahmen des «Zero Power Water Prize» des EU-Forschungsprogramms Horizon2020 durften Marcel Meli und sein Team die ADAWIM-Lösung in Brüssel als einer von fünf Finalisten des Wettbewerbes vorstellen. Nachdem die Demonstration ihres Systemprototyps in der Betriebsumgebung so erfolgreich verlaufen ist, wollen die Forschenden nun einen Wirtschaftspartner finden, um ihre Smart-Sensor-Lösung in einem nächsten Schritt zu einem marktfähigen Produkt weiterzuentwickeln.