2018.05.09

横山 諒(ソニー株式会社)視覚・聴覚・触覚の融合で圧倒的な感動体験を提供する

〜Haptic Designで実現する感動体験の創出〜

横山 諒(よこやま・りょう)

横山 諒(よこやま・りょう)

東京工業大学大学院にて、信号処理・画像処理に関する研究に従事し、2015年ソニー株式会社へ入社。新たな感動体験を創出するため、視覚・聴覚・触覚などのあらゆるモーダルを融合する、インタラクション技術を研究開発している。また、ハプティックデザイナーとしての活動もあり、自社グループの映画コンテンツや、舞台演劇とコラボするなど、エンターテインメントとしての体験価値の具体化に取り組んでいる。

ソニー株式会社で触覚提示技術を用いたデバイスの開発などを手がける横山さん。アーティストや映画のプロモーションなどのイベントでこれらのツールがお客さんに驚きを与えています。エンターテイメント体験にHaptic Designが求められる理由を、ご自身のこれまでのお仕事で得られてきたノウハウとともに語っていただきました。

Vol.3の様子

9月4日HAPTIC DESIGN Meetup Vol.3の模様。この記事はイベントでのトークを中心に構成しています。
PHOTOGRAPH BY JUNICHI KANEBAKO

触覚単体ではなく、視覚・聴覚との融合によりリアリティをデザインする

横山さんの写真

ソニー株式会社の横山と申します。自称なのですけど、ハプティックデザイナーとして活動しています(笑)。僕が所属しているのはインタラクション技術開発部というところなのですが、基本的には人間を取り巻くすべてのものに関する技術を開発しているところです。例えば音声認識や視線検出、表情検出、バイタルデータ(生体情報)のセンシングというものをやっています。僕の経歴として、学生時代は音声認識とか画像認識に関する研究をしていました。音と絵を抑えたから次は触覚だろうっていうことで現在は触覚の研究を行っています。いかに人間に対してフィードバックをするかということを考え、触覚フィードバックに関して研究し始めました。これまでソニーとしてはいろいろなものを創ってきたのですけども、僕が所属しているところで代表的なものがこのボール転がし体験というものです。これが非常にわれわれの技術をよく表現できているものでして、両手で持って傾けるとボールが転がっている感触がするのですが、それだけでなくゴムや金属などの材質感も変更することができます。われわれが作りたいものはこういうような表現力だというところですね。

デモ

傾けると画面のボールが転がり、壁に当たるとコツンとした感覚が手に伝わる

バラエティー番組などよく目にする、手の触覚をたよりに箱の中に入っているものが何かを当てゲームがありますが、例えば何でも提示できる触覚デバイスができたとして、超リアルな感触を箱の中で提示したときに、結局、中に何が入っているかあんまりわからない状況っていうことがあると思うんですね。触覚しか伝わってこない状況って私生活ではすごく特殊で、やっぱり見たり聞いたりといった感覚提示が同時に起きないとそれが何かっていうことは表現しきれないのかなと思います。

ということで、ソニーとしてはこれまで視覚、聴覚っていうところの技術を突き詰めてきたのですが、そこに触覚提示技術っていうものを単独ではなくて、この三者の融合によって、圧倒的なリアリティというか感動できる体験っていうのを追求していけたらなと思っています。

リアリティを設計する際は
情報量ではなく、情報の質が重要

超高解像のちょっと下手くそな絵と、低解像だけど何が描かれているかわかりやすい絵があったとして、前者にはたくさんの情報が含まれているのですけれども、それがちょっと乱立していて結局何を表現したいのかよくわかりません。一方後者は余分な情報を排除して特徴的な部分だけをうまく表現することで、逆にわかりやすいということがあります。後者は人間の経験的な補完能力っていうのをうまく活用した例だと言えるかもしれません。これを応用した例として、ハプティックベストっていうものを作っています。

触覚超解像技術

振動デバイス同士の隙間がなくなり、なだらかな様子がわかる

これは振動デバイスの数でいうと、お腹側には6個しかついていないんですね。6個しかついていないのですが、特徴的なものをうまく表現することで逆にリアルに再現できるということがあります。

これは、我々が「触覚超解像技術」と呼んでいる技術があって、振動デバイスが並んでいた時に当然、その周りにしか触覚提示ってできないと思うんですね。でも、われわれは振動デバイスがないところにも知覚させる技術っていうのを考案していて、なめらかな表現を実現しています。

先程のボールころころ体験っていうのはまさに触覚だけじゃなくって、音と見た目をうまく融合した例なのですけども、触っていただくとプラスチックのボールと金属のボールの違いを感じることができます。触覚の表現だけでいくと、ほとんど一緒と言ったら、ちょっと語弊があるのですが、例えば目をつぶって、さらに音が聞こえない状態だと、ほとんどどっちがどっちってわかりません。ですが、これを見た目や音を金属っぽくしてあげることでリアリティを設計しています。

開発したハプティックデバイスの紹介
ハプティックボール

シンプルだが、Hapticsの本質がわかるデモンストレーションだ

リアルタイムに玉の衝撃感みたいなのを計算して、リアルに再現しているというものなのですが、金属感とか、ゴムボール感が、音と見た目の表現によってリアルに感じることができます。クロスモーダル効果といって、単純なたし算ではなくって、1足す1は2より大きくなるっていう効果をうまく使っているものです。振動デバイスを適当に置いただけだと表現力が乏しくなってしまうので、振動デバイスの置く位置や筐体の重さ、素材感は非常にこだわりました。

触覚伝送リストバンド

腕輪型デバイスから吐息を感じることができる

アイドルユニットのでんぱ組.incとコラボレーションして「でんぱとーく大実験! 研究発表会」という会の中で、ファンの皆様にメンバーの吐息みたいなものを伝送するイベントを行いました。デバイス自体は腕輪型で、そこから吐息を感じることができるものを製作しました。アイドルとファンを結びつける新たなコミュニケーションツールとして開発し、ファンの方に非常に喜んでいただけました(笑)。

 

参考URL:

http://www.itmedia.co.jp/mobile/articles/1604/12/news152_3.html

http://news.mynavi.jp/articles/2016/04/11/sony_denpa/001.html

ハプティックベッド

寝転がることでベッドと密着し、全身へ触覚提示することができる

映画「アングリーバード」とコラボレーションして、その主人公のレッドという鳥のキャラクターになって空を飛んだ気持ちになれる体験を作りました。これはたくさんのアクチュエーターを内蔵したベッドの上に寝転んで、あたかも空を飛んでいる感覚を得ることができます。全身に触覚提示するっていうのは、われわれとしては初の試みで、初めは装着型にしようかと思ったんですけど、運用上、寝そべる型にしたら、1日にたくさんの方に体験してもらえると考えてこの形になりました。実際かなり効率的に運用することができて、1カ月で約5,000人に体験していただくことができました。あとはベッドに寝転がった時にあごを乗せるのですが、衛生面で気にされるお客さんが出て来ると考えたので、布を1枚挟んで、衛生面に関して気をつけました。このようにデモをする上で実際に体験していただく人の気持ちに配慮することも大切だと思います。あとは、あご置きの素材に関して、ラバーとかだとアレルギーが出てしまうお客さんがいらっしゃる可能性があったのでその辺もすごく気をつけました。

 

参考URL:

http://news.livedoor.com/article/detail/12036742/

http://hodwn.com/works/920/

 

ハプティックベスト

精巧なデバイスのつくりがデモの完成度を高める

映画「バイオハザード:ザ・ファイナル」とコラボしました。ハプティックベストを着て、ハプティックガンと呼ばれるもので戦います。ゾンビから攻撃を受けると、その衝撃が音と振動でプレイヤーの体に直接伝わります。

このようにデバイスだけだと成り立たないということがあって、いかに実コンテンツと融合してエンターテイメントとして完成させるかみたいなところが、最近注目されてきていると考えています。

デモする時に気をつかうこととしては、僕らは複数人同時で体験できることっていうのをすごく大事にしています。一般的に1人ずつ体験してもらうケースが多いのですがある程度人気のあるデモは、行列になるので自分が体験しているときはすごくたくさんの人に見られるんですよ。なので、恥ずかしさが勝ってしまってうまく楽しめないことがあります。そのため、デモを最大限楽しんでもらうためにも複数人の同時体験は重要です。正直、バイオハザードのデモは1人でも十分なのですが、4人同時に体験できるようにしました。そうするとお友達と一緒に今こんな感触があったということをわざわざ言葉で表現しないでも共感することができます。

ビジュアルの完成度の高さも手伝い、緊張感あふれる体験が可能だ

体験者が驚きを共有していることがわかる

 

主演のミラ・ジョボビッチ氏もデモを体験した

 

こうした工夫が体験してもらう上ですごく大事だと思っています。あとは体験に至るまでの心理状態ということもすごく大切です。例えば、このイベントの時には、デモブース自体をちょっとバイオハザードっぽくしたりとか、ハプティックガンの見た目をリアルにしてみたりとか、ハプティック体験自体をいかに違和感なく受け入れてもらえるような心理状態にするかみたいなところを大事にしました。

超体感ステージ『キャプテン翼』

「超体感ステージ『キャプテン翼』」という舞台とコラボしました。演出家さんの要望で蹴った感じを出したいという話があり、腕やひざ、足先などにアクチュエーターを装着する形式にしました。あんまり装着時間が長すぎると結構気持ちが冷めてしまうので、装着時間と体験時間のバランスをとる必要があります。このときは、体験時間が2時間あったので、そのバランスがうまくとれた例だと思います。

腕や太もも、足先に装着したデバイスが振動しボールを蹴っている感覚などを体感することができる

これも自慢ですけれども、会社からは一切言われてないのですが、自称でハプティックデザイナーですと言ったら何か記事になっちゃいました(笑)。

(会場) (笑)

(横山 )一応、会社からは怒られなかったです(笑)。会社のミッションはお客様に感動体験をもたらすということなのですが、そのために僕らは触覚提示技術による、圧倒的なリアリティ実現ということをこれからも追求していきたいなと思っています。本日はありがとうございました。

もっとも素敵なHAPTICSだと思う、
世の中のモノゴト(事例)とは?

Hapticsに関する研究開発を行うようになってから、今まで以上に「オノマトペ」を意識して使うようになりました。触感をデザインする際に他のメンバーと「もっとゴツゴツと!」とか「ぺちゃぺちゃした感じに!」など、オノマトペを使ってコミュニケーションを取ることも多いです。

人の経験にもとづいて、ある意味想像の中で触覚提示が行われている点も面白いですね。そのため、自分がオノマトペを発音する時も、人からオノマトペを聞いた時もとても触覚的だと感じます。

オノマトペに代表されるバーバルなHapticsの豊かさを踏まえた上で、ノンバーバルなHapticsの表現手段としての触覚提示デバイスの開発にこれからも取り組んでいきたいと思います。

TEXT  BY KAZUYA YANAGIHARA

page top