ユーザー別ナビ |
  • 一般の方
  • 研究関係者の方
  • 環境問題に関心のある方
2022年3月4日

共同発表機関のロゴマーク
AIで深まる音楽体験 -既存アプリにコンテンツを追加・三つのアプリを新規公開-

(環境省記者クラブ、環境記者会、筑波研究学園都市記者会、茨城県庁記者クラブ、福島県政記者クラブ、郡山記者クラブ同時配付)

2022年3月4日(金)
理化学研究所
国立環境研究所
 

   理化学研究所(理研)革新知能統合研究センター目的指向基盤技術研究グループ音楽情報知能チームの浜中雅俊チームリーダーらは、2021年から公開している音楽アプリ「サウンドスコープフォン」に、国立環境研究所 生物多様性領域/福島地域協働研究拠点の協力により野鳥の声の聴き分けが楽しめる機能を追加しました。また、理研音楽情報知能チームは他に三つの無料音楽アプリを新しく公開しました。
   今回新しく公開した三つのうち、iPad用アプリ「サウンドスコープパッド」「ミュージックスコープパッド」では、AIで利用者のポーズを認識し、仮想現実(VR)空間での音楽鑑賞や映像探索を楽しめます。また、iPhone用アプリ「メロディスロットマシンHD」では、スロットゲームを楽しみながらさまざまなメロディを作ることができます。
   下記ウェブサイトから、各アプリのダウンロードおよび紹介映像の視聴が可能です。
   Software Download|Masatoshi Hamanaka【外部サイトに接続します】
   News-2022 March|Masatoshi Hamanaka【外部サイトに接続します】
 

サウンドスコープパッドによるコンサート体験のイメージ画像
サウンドスコープパッドによるコンサート体験のイメージ

1.サウンドスコープフォン(iPhone用アプリ)に野鳥の声を追加

 理研音楽情報知能チームは、利用者の顔画像やジェスチャーをAIで認識し、楽器のパートごとに音の聴き分けを楽しめるiPhone用アプリ「サウンドスコープフォン(Sound Scope Phone)」を開発し、2021年5月に公開しました注1)。一方、国立環境研究所 生物多様性領域/福島地域協働研究拠点は、福島県内の避難指示区域とその周辺で野鳥の声を録音し、その声から種を判別する市民参加型イベント「バードデータチャレンジ」を2015~2018年に開催しました注2)
 今回、バードデータチャレンジにも使用された野鳥の声データセットの一部をサウンドスコープフォンに追加し、野鳥の声の聴き分けを体験できるようになりました(図1)。また、ギタリストのDaisuke Hashimoto氏による提供曲「鋼鉄魂2022」も追加しました。これらの音声はサウンドスコープフォンアプリの更新または新規インストールによって聴くことができます。

サウンドスコープフォンによる野鳥の声の聴き分けのイメージ画像
図1 サウンドスコープフォンによる野鳥の声の聴き分けのイメージ


注1)2021年5月11日理化学研究所プレスリリース「AIがかなえる未来の音楽体験」
  https://www.riken.jp/pr/news/2021/20210511_3/【外部サイトに接続します】
注2)2018年7月27日国立環境研究所プレスリリース
  「市民参加型イベント「バードデータチャレンジ in いわき2018」-開催のお知らせ-」
  https://www.nies.go.jp/whatsnew/20180727/20180727.html

2.サウンドスコープパッド(iPad用アプリ)を公開

 「サウンドスコープパット(Sound Scope Pad)」は、VRによるコンサート体験を提供します。iPadの方向に応じて、画面上に利用者を取り囲むように奏者が現れます。特定の楽器の方向へ耳を澄ませるようなポーズをすると、AIが利用者のポーズを認識してそのパートがより強調され、空間音響技術による能動的な音楽鑑賞を体験できます(図2)。

サウンドスコープパッドによるコンサート体験のイメージ画像
図2 サウンドスコープパッドによるコンサート体験のイメージ

3.ミュージックスコープパッド(iPad用アプリ)を公開

 「ミュージックスコープパッド(Music Scope Pad)」は、VR空間で目的の映像を素早く見つけられるアプリです。映像検索ワードを入力すると、対応する10の音楽映像のサンプルがiTunesから抽出され、iPadの方向に応じて利用者を囲むように提示されます。見たい映像を探し、その方向へ耳を澄ませるようなポーズをすると、AIがそれを認識し、映像が選択されます(図3)。

ミュージックスコープパッドによる映像探索のイメージ画像
図3 ミュージックスコープパッドによる映像探索のイメージ

4.メロディスロットマシンHD(iPad用アプリ)を公開

 「メロディスロットマシンHD(Melody Slot Machine HD)」は、スロットマシンを楽しみながらメロディを生成できるアプリです。スロットマシンで複数のバリエーションから短いメロディを選ぶと、新しいメロディが生成されます。また、新しいメロディを演奏する映像も見ることができます(図4)。

メロディスロットマシンHDによるメロディ生成のイメージ画像
図4 メロディスロットマシンHDによるメロディ生成のイメージ

5.発表者・機関窓口

<発表者> ※研究内容については発表者にお問い合わせください。
理化学研究所 革新知能統合研究センター
目的志向基盤技術研究グループ 音楽情報知能チーム
 チームリーダー  浜中 雅俊(はまなか まさとし)

チームリーダー浜中の写真
浜中 雅俊

<機関窓口>
*今般の新型コロナウイルス感染症対策として、理化学研究所では在宅勤務を実施しておりますので、メールにてお問い合わせ願います。

理化学研究所 広報室 報道担当
E-mail:ex-press[at]riken.jp

国立環境研究所企画部広報室
E-mail:kouhou0[at]nies.go.jp

※上記の[at]は@に置き換えてください。

関連研究報告書

表示する記事はありません