SyncPlayer - Multimodale Wiedergabe, Navigation und Suche in heterogenen digitalen Musikkollektionen

Durch systematische Digitalisierung sind in den letzten Jahren umfangreiche Bestande von Musikdokumenten entstanden, die digitale Inhalte unterschiedlichster Auspragungen und Formate enthalten. Man denke hier beispielsweise an CD-Aufnahmen diverser Interpreten, MIDI-Daten, gescannte Notenblatter oder Gesangstexte. Neben der reinen Erfassung solcher Daten kommt der automatisierten Erschliesung und Nutzbarmachung solch inhomogener und komplexer Musikdatenbestande eine stetig wachsende Bedeutung zu. In dieser Arbeit geben wir einen Uberblick zum aktuellen Stand des SyncPlayer-Frameworks, das unter Verwendung aktueller Erschliesungsund Indexierungstechniken unterschiedliche Funktionalitaten zur multimodalen Wiedergabe, Navigation und inhaltsbasierten Suche von Musik realisiert. Die Navigationskomponenten des SyncPlayers basieren auf zuvor berechneten Verlinkungsstrukturen und erlauben mittels geeigneter Benutzerschnittstellen die synchrone Wiedergabe und Darstellung von Audioaufnahmen und Partiturstellen sowie die simultane Ansteuerung unterschiedlicher Aufnahmen desselben Musikstucks und musikalischer Wiederholungen einzelner Aufnahmen. Weiterhin werden zwei SyncPlayer-Komponenten zum Musikretrieval vorgestellt, die eine Suche anhand verschiedener musikrelevanter Aspekte (Volltextsuche in Liedtextbestanden, harmoniebasierte Suche in Audiodatenbestanden) ermoglichen. Schlieslich beschreiben wir, wie diese unterschiedlichen Funktionalitaten im Kontext des DFG-Leistungszentrums PROBADO in ein konkretes Bibliothekssystem eingebunden werden sollen.

[1]  Anssi Klapuri,et al.  Signal Processing Methods for Music Transcription , 2006 .

[2]  Meinard Müller,et al.  Lyrics-Based Audio Retrieval and Multimodal Navigation in Music Collections , 2007, ECDL.

[3]  Hans-Jürgen Appelrath,et al.  PROBADO - A Generic Repository Integration Framework , 2007, ECDL.

[4]  Meinard Müller,et al.  Towards Structural Analysis of Audio Recordings in the Presence of Musical Variations , 2007, EURASIP J. Adv. Signal Process..

[5]  Gerhard Widmer,et al.  MATCH: A Music Alignment Tool Chest , 2005, ISMIR.

[6]  Xavier Rodet,et al.  Improving polyphonic and poly-instrumental music to score alignment , 2003, ISMIR.

[7]  Michael Good.  MusicXML: An internet-friendly format for sheet music , 2001 .

[8]  Frank Kurth,et al.  The Probado Music Repository at the Bavarian State Library , 2007, ISMIR.

[9]  Frank Kurth,et al.  A unified approach to content-based and fault tolerant music identification , 2002, Second International Conference on Web Delivering of Music, 2002. WEDELMUSIC 2002. Proceedings..

[10]  Xavier Rodet,et al.  Toward Automatic Music Audio Summary Generation from Signal Analysis , 2002, ISMIR.

[11]  Meinard Müller,et al.  Automatic synchronization of music data in score-, MIDI- and PCM-format , 2003, ISMIR.

[12]  Pedro Cano,et al.  A Review of Audio Fingerprinting , 2005, J. VLSI Signal Process..

[13]  Meinard Müller,et al.  A Framework for Managing Multimodal Digitized Music Collections , 2008, ECDL.

[14]  George Tzanetakis,et al.  Polyphonic audio matching and alignment for music retrieval , 2003, 2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (IEEE Cat. No.03TH8684).

[15]  Christopher Raphael,et al.  A Hybrid Graphical Model for Aligning Polyphonic Audio with Musical Scores , 2004, ISMIR.

[16]  Masataka Goto,et al.  A chorus-section detecting method for musical audio signals , 2003, 2003 IEEE International Conference on Acoustics, Speech, and Signal Processing, 2003. Proceedings. (ICASSP '03)..

[17]  Meinard Müller,et al.  Information retrieval for music and motion , 2007 .

[18]  Ye Wang,et al.  LyricAlly: automatic synchronization of acoustic musical signals and textual lyrics , 2004, MULTIMEDIA '04.

[19]  Gregory H. Wakefield,et al.  Audio thumbnailing of popular music using chroma-based representations , 2005, IEEE Transactions on Multimedia.

[20]  Mohan S. Kankanhalli,et al.  Content-based music structure analysis with applications to music semantics understanding , 2004, MULTIMEDIA '04.

[21]  M. Goto.  A chorus-section detecting method for musical audio signals , 2003, 2003 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (IEEE Cat. No.03TH8684).

[22]  Meinard Müller,et al.  Automated Synchronization of Scanned Sheet Music with Audio Recordings , 2007, ISMIR.