薄型フィルムで触感を共有、未来の体験のカタチ

国立研究開発法人産業技術総合研究所（以下、産総研）センシングシステム研究センターハイブリッドセンシングデバイス研究チームと、国立大学法人東北大学（以下、東北大学）大学院情報科学研究科応用情報科学専攻・人間ロボット情報学、国立大学法人筑波大学（以下、筑波大学）システム情報系応用触覚研究室、株式会社Adansons（以下、Adansons）の4者はこのほど、極薄ハプティックMEMSによるハプティックデバイスを用いた「双方向リモート触覚伝達システム」を開発したと発表した。

触覚デバイスと触覚信号編集技術を組み合わせることで、幅広い周波数帯域の触覚信号を再現・体験可能としたもので、指先で触れる操作や握手などの触覚情報を計測し、相手側に伝えることができる。

この仕組みを応用すれば、エンターテインメント領域でのよりリアルな振動配信による体験共有、遠隔地での振動を通したスキル指導などが可能になるとみられている。

技術詳細は、2024年3月8日～16日に米国テキサス州オースティンで開催される「SXSW Conference ＆ Festivals 2024」でも発表予定となっている。

現在でも、触覚技術はエンタメ領域などで活用されているが、スマートフォンや家庭用ゲーム機などに搭載される従来のLRA型振動発生素子の場合、再現できる振動帯域が150～250ヘルツ程度に限られることや、振動発生のみの単機能であること、実装スペースの確保が必要であることなどの課題があり、まだまだリアルさに乏しい面がある。

コンテンツ作成の際に必要とされる「体感振動計測」でも、既存のソフトウエア技術では、計測時に伝えたい振動信号だけでなく、運動によるノイズや生体の心臓鼓動音などの振動も含まれてしまい、信号が不明瞭になる問題があるという。

こうした課題をクリアするため、これまで産総研のセンシングシステム研究センターでは、オムロン株式会社エレクトロニック＆メカニカルコンポーネントビジネスカンパニーとの共同開発により、極薄のMEMS（マイクロエレクトロメカニカルシステムズ）を実装した世界最薄・最軽量のハプティック用フィルムを生み出していた。

今回は、このフィルム搭載デバイスに各種信号処理技術を適用し、振動によるリアルな体感・体験の共有を実現させている。

研究では、産総研の「極薄MEMS素子」によるハプティックデバイス、東北大学の「信号強調・変換技術（ISM）」、筑波大学が開発した「非言語的行動・反応のデフォルメ生成技術」、Adansonsの振動データ特徴抽出を実行する「参照系AI」の各利点を組み合わせ、人が感じられる全周波数帯域の振動を表現可能で、伝えたい振動を的確に強調して伝えられるシステムの構築を目指した。

産総研のデバイスは、厚さ10マイクロメートルという極薄MEMS素子に、曲げると電圧が生じる正圧電効果を用いた振動センサーと、電圧を印加するとひずむ効果を用いた振動発生素子の2つの働きをもち、素子サイズを変更せず双方向で触覚共有を可能としている。

人が感じられる1～1,000ヘルツ程度の幅広い周波数帯域で振動発生とセンシングの両機能を発揮でき、さらに複数素子で多チャンネル化した場合にも、薄く軽量なため省スペースで実現できるといった強みを有している。

東北大学の信号処理技術「ISM（Intensity Segment Modulation）」は、接触振動や音響振動などの高周波信号に対し、人の触覚知覚特性に基づいて計算を実行、触感を保ちながらデバイスで再生しやすい低周波の信号に変換することを可能にする。

これによって小型の振動子でもより広帯域な体感振動が生み出せ、ユーザーが感じやすい振動体験を実現できるようになった。

筑波大学は、ソフトウエア要素のひとつとして、独自の双方向リモート触覚伝達システムを開発、研究に寄与している。オンライン会議などの場では、表情や生理反応などの非言語的要素が伝わりにくい問題があるが、同大は脈拍データをデフォルメした疑似脈拍データを生成、通信回線によりリモート再生した場合の効果を検証した。

この成果が、今回のシステムにおける「触覚を介した表現ができる独自の情動表現技術」として活かされている。

Adansonsは、独自の「参照系AI」技術を開発した。これにより元データから必要データを瞬時に抽出可能となった。入力信号をデータの特徴量ごとに分解できる特性を有し、伝えたい振動のみを的確に抽出することに役立っている。

4者では、今後この技術が多くの分野において価値を創出していくよう、技術面のみならずコンテンツ創出にも積極的に取り組んでいくとした。

エンターテインメント分野での応用はもちろんだが、これまで非言語的な技術継承がなされてきた手工・加工などのハンドメイドによる作業現場でのスキル指導・習得シーンや、スポーツ中継においてプレイヤーの心理状態をリアルに観戦者へ伝える新規コンテンツ作成など、幅広い利活用が想定されている。

近未来の体験のカタチとして、今後の普及が期待される。

（画像はプレスリリースより）




国立研究開発法人産業技術総合研究所　プレスリリース
https://www.aist.go.jp/