情シスナビ『第2回ウェアラブルEXPO』レポート　「指の動きを理解して、演奏を科学する」　ヤマハ株式会社 -情シスナビ

2016/01/22

国内最大手の楽器メーカー、そして最近では「ボカロ（ボーカロイド）」エンジンの開発元としても知られるヤマハ株式会社。ウェアラブルEXPOでは電子ピアノを演奏するプレーヤーの後ろに、演奏しているところを上から撮影している映像上に、指の動きにあわせてCGの玉が表示されているのが印象的でした。CGの玉の意味はなんなのか、そして今回の展示の目的について、同社の研究開発統括部　第2研究開発部　素材素子グループ　グループマネージャー　鈴木克典さんにお話を伺いました。

「当社では『音楽を生み出す敷居を下げる』というミッションを掲げた『Y2（Yamaha with You）』プロジェクトという活動があります。そのプロジェクトの取組みの一つとして開発されたのが今回展示している『Stretchable Strain Sensor』です。
Stretchable Strain Sensorはゴムのように伸び縮みするセンサーを使って、指の動きをモニタリングできるウェアラブルセンサーです。センサーの伸びの量によって電気抵抗値が変わるので、それによってどの指がどれ位曲げ伸ばしされているのかを計測することができます。センサーがついたグローブはストッキングのような素材を使っています。これはプロのプレーヤーからのフィードバックも得て、演奏中も気にならないように作ってあります」

「ピアノプレーヤーの後ろで表示している映像は、プレーヤーの手元の映像に、プレーヤーが装着しているStretchable Strain Sensorから得られた伸縮データを元に、曲げ伸ばしの大きさをCGの玉でリアルタイム表示しています。つまり、指の動きを可視化しているのです。
これまで、当社では楽器の動きを理解し、楽器がどのように音を出しているかという研究を進め、さまざまな電子楽器を開発してきましたが、そこから一歩進めて、演奏する人の動きを理解する、ということがこの研究の根幹にあります」

「現在は動きの理解を進めているところで、これからその動きがどういう意味を持つのか、楽器の演奏において指の筋肉の使い方や運指（指の動かし方）が、表現にどのように影響するのかということを研究しています。
実はアコースティックピアノでは鍵盤のたたき方によって音の出方が異なります。クラッシックの演奏では鍵盤を指でなぞるようにたたきますが、初心者は指を伸ばしがちなので、音色が違うのです。この差がわかることによって、電子ピアノでもアコースティックピアノと同じような音色を出すことができるようになるでしょう」

お話しを伺った、鈴木克典さん（右）

「もう少しビジネス面を考えてみると、当社で運営している音楽教室に導入・活用することも考えられます。例えばプロの演奏家と、生徒さんの演奏をこの形で可視化することで、どこが異なるかを客観的に見ることができるようになり、上達を早めることが期待できます。
また、演奏で突き指など指のけがをする方も少なくないのですが、これでひき方の分析をおこなって、クセを見抜くことでケガをしないひき方を指導することも可能になるでしょう」

Stretchable Strain SensorのVRにおける活用を想定した展示

「Stretchable Strain SensorのVRにおける活用を想定した展示もしています。指を自在に動かせるので、遠隔地のロボットの制御用としての活用も考えられます。ただし、感触のフィードバックがないので、今後は何らかの形で感触を伝える仕組みが必要になるでしょう。
このように細かい動きをセンシングできることで、さまざまな活用例があると考えています」

関節の動きをセンシングできるということで、ロコモティブシンドローム（加齢による運動器障害）への応用も考えられているStretchable Strain Sensor。ヤマハさんの楽器とその演奏者に対する探究心が、さまざまな形で広がっていくのは非常に興味深いことです。

もしかすると、パソコンのキーボードの疲れないたたき方もわかってくるかもしれませんね。今後の研究に期待です。

ヤマハ株式会社
ウェブサイトURL：http://jp.yamaha.com/
製品スペシャルサイトURL：http://www.y2lab.com/

この記事の目次