Introduction

Not only in childhood but also adulthood, we need some trainings to read music scores, which sometimes make music hard to learn and enjoy. In this article, we shall propose the system that enables users to play their handwritten musical notations by our musical interface.

Since 1960s, Optical Music Recognition (OMR) has become matured in the field of printed score. In recent, Yamamoto proposed musical interactive system that directly utilizes printed music score as a instrument with keypoints matching. However, few researches on handwritten notations have been done, as well as on interactive system for OMR. We combined notating with performing in order to make the music more intuitive for users and give aids to learn music to users.

  プロの音楽家にとって,演奏ができて五線譜が読めるのは当然である一方,演奏はできるが五線譜が読めないユーザは多くいます.それは,五線譜に記載された楽曲を読むためには,ある程度訓練を必要とするためです.幼少期に限らず大人になってから音楽を楽しもうとする場合,この"五線譜を読む"行為が音楽を楽しむ上での障害になることがあります.そこで,本研究では五線譜による記譜と演奏を合わせたインタラクションを提案します.楽曲を記述することと,演奏することをつなげることで,五線譜をそのままインタフェースに用いるパフォーマンスを実現できる他,音楽教育においての展開も望めます.

 具体的にはその場で紙に記述した五線譜及び音符情報をイメージセンサにてスキャニング操作をすることで,記述された楽曲を演奏可能にするシステムを提案します.スキャン操作はユーザが手動で行うため,再生速度や逆再生,好きな場所からの再生等の直感的操作が可能になります.さらにはスキャニングデバイスの操作を付け加えることで,ベンドやコーラス等の変化をリアルタイムに付加させることも可能です.本システムのパフォーマンス時のスケッチを図 1 に示します.パフォーマは紙面に簡易な五線譜法によって楽曲を記述し,それをデバイスによってなぞることで即座に楽器音を出力できます.

figure 1. A sketch of the system

video 0. 雨だれの前奏曲 video1. Introduction

System

Our system mainly consists of a scan device, computer and sound module. A user can play simple music by tracing notes with the scan device as shown in figure 1. The computer processes captured images by using openCV and our algorithm at 30fps, then outputs sounds according to the data from the notations. We do not need any special materials other than this system. A user can use normal white paper and his/her own pen. Our device is built with a USB camera, microcontroller, and vibration motor( see figure 2 ). The vibration motor is used for tactile feedback while the user is playing.

 本システムは主にスキャンデバイス,コンピュータ,音源の3つからなります.ユーザは図1に示すように,デバイスを手に持ち,スキャン操作を行うことで,手書きされた音符を演奏することができます.テバイスから入力されたカメラ画像はOpenCVライブラリと独自アルゴリズムによって解析され,記述された音程を認識します.記述するペンや紙には特別なものでなく,一般的なボールペンやコピー用紙を利用することができます.スキャンデバイスは図2に示すように,CMOSカメラ,操作用スイッチ,振動モータ,マイクロコンピュータから構成されています.

 video.1では自動演奏機能付きグランドピアノを利用して,gocenデバイスからピアノを弾いています. また,ソフト音源を利用することで様々な音色も演奏することができます.

figure 2. Gocen device consisting of USB camera, microcontroller, switchers and vibration motor

figure 3. Captured and processed image

Interaction

Our system is not only an OMR system but also performance system. We developed several musical interactions for this interface.

 本システムは光学楽譜認識を利用した演奏パフォーマンスシステムです.実際に演奏する為に,次のような演奏操作方法を開発しました.

Note on/off

video.2 Note On / Off

A user can make a sound by getting the green bar on the computer display (see figure 3) to pass through a simplified note, while pressing “manual play button”.

画面上の緑の縦線が発音ラインとなり,この発音ラインが画面上の音符に重畳することで発音が可能になります.演奏ラインが音符上にある間,その音程を発音します.

Velocity

video.3 Velocity

Our system can detect the size of a musical notation. It is interpreted as control note velocity. Figure 3 shows the relation between a recognized musical notation of processed image and its velocity.

譜面上で音量を指示する場合,フォルテやピアノ,アクセント記号などを用いるのが一般的です.本研究ではこれに対し,より直感的な操作インタフェースを提供するために,符頭の大小を音量として扱います.

Pitch bend

video.4 Bend

While a user is playing a note, he/she can change the pitch of the note by moving the device vertically like a vibrato.

 主に弦楽器を利用する場合,発音後に音程を一定に保つだけでなく,音程にゆらぎをつけることで,ビブラートや(逆) ターンといったアーティキュレーションを表現できます.そこで本研究において,ユーザは発音後,デバイスを上下に動かすことで音程にピッチベンド効果を与えることができます.これによって前述のアーティキュレーションを表現可能になります.発音時の符頭位置を基にカメラの上下動作量を検出しています.

Changing a instrument

video.5 setting the instrument and options.

A user can change the instrument of sound by covering a text he/she prints to indicate the name of instrument, such as pf(piano), bs(bass), gt(guitar), dr(drums), etc., with the device, by means of Optical Character Recognition1 .

 一般的に記譜上の楽器を示す場合,ピアノであれば pf, ギターであれば gt といった省略文字列が利用されます.そこで本システムにおいても同様に,手書きで記述した文字列をカメラで取得,処理することで任意の楽器選択機能を実現しました.

Record as an sequencer

A user can record sound events into timeline, while pressing “recording button” and make a loop like a sequencer. Each recorded note will be set in the quantized timeline.

 本システムには対話的な演奏方法に加え,ユーザの演奏をタイムライン上に録音し,それらを重ね合わせることで複雑な演奏を可能にするシーケンス演奏機能を実装しました.

Papers

  • Tetsuaki Baba, Yuya Kikukawa, Toshiki Yoshiike, Tatsuhiko Suzuki, Rika Shoji, Kumiko Kushiyama, Gocen: a Handwritten Notational Interface for Musical Performance and Learning Music, In ACM SIGGRAPH 2011 Emerging Technologies (SIGGRAPH '12), [pdf]
  • 馬場哲晃,菊川裕也,串山久美子,青木允,簡易な手書き譜面を利用した演奏手法の検討と実装, 情報処理学会研究報告,EC, エンタテインメントコンピューティング,一般社団法人情報処理学会,2012-5/15, 1-6, 2012 [pdf]
  • 馬場 哲晃,青木 允 ラインイメージセンサを利用した簡易な手書き五線譜読取りアルゴリズム 情報処理学会研究報告. EC, エンタテインメントコンピューティング 09196072 一般社団法人情報処理学会 2011-08-23 2011 9 1-4 http://ci.nii.ac.jp/naid/110008600686/ [pdf]

Other info

  • Patent: 特願2012-096835
  1. Siggraph2012 Emerging Technologies
  2. Siggraph2012 Emerging Technologies Preview, Siggraph Official Media Blog

  3. Iran Daily, "Musical Interface For Handwritten Notation", 9th, July, 2012
  4. Gocen: A Handwritten Notation Interface for Musical Performance and Learning Music, http://gpuscience.com/
  5. News357
2012 © Tetsuaki Baba All Rights Reserved. Graduate School of System Design Tokyo Metropolitan University 6-6, Asahigaoka, Hino, Tokyo, JAPAN.