今後のモバイルデバイスのインターフェイスとして注目されているのが、音声コントロールとジェスチャーコントロールだ。落ち着いてタッチスクリーンの操作に集中できないような状況で操作をしたかったり、手を離したままなんらかの操作をしたかったりするときなどに有効だ。
ここで紹介するのは、ハードは現在発売されているスマートフォンのままでジェスチャーコントロールを可能にするという試作アプリだ。チューリッヒ工科大学が発表したものだ。
カメラはスマートフォンに内蔵されているものを使用する。カメラの向こう側で、手を使って特定の動作をすると、それを認識したスマートフォンは、表示しているブラウザのタブを切り替えたり、マップ表示を航空写真から通常地図に切り替えたり、ゲームで敵を打ち落としたりする。手の動作がコマンドになるのだ。
シンプルな認識が、スマホ搭載のカギ
従来のジェスチャーコントロールは、プロセッサーに多大な処理を要求し、メモリーも多量に使用するものだった。そのためスマートフォンには適していなかった。しかし、このアプリで開発されているアルゴリズムでは、情報処理は少なくてすむようにしている。
このアプリでは、カメラを使ってジェスチャーを認識するものの、奥行きや色は認識しない。手のパーツと動きをごくシンプルに輪郭としてとらえて、あらかじめ登録してあるジェスチャーと照合するだけだ。そのため、使用するメモリーは非常に少なくてすみ、スマートフォンでの使用に適しているのだという。そして、さらにはスマートウォッチやスマートグラスへの搭載も可能であるとみられる。
このアプリ、現時点ではまだ6種類のジェスチャーしか認識していない。研究者たちは16種類のジェスチャーをテスト中だが、これはアプリの側の理論的限界ではないという。それよりもジェスチャーの輪郭に明確な違いを持たせなければいけないことが問題だという。映像認識をシンプルにしているだけに、異なるが似ている動作の判別が難しいのだろう。
しかし、ジェスチャーによってコントロール可能なコマンドが限られていたとしても、使いかたによってはじゅうぶん有益だろう。たとえば、直接スマートフォンに手を触れずにスクロールできたり、ボリュームを変えたり、再生を止めたりできれば、タッチスクリーンで操作するよりずっと楽な場面は多いはずだ。
このアプリの研究者も言っているが、ジェスチャーコントロールがタッチスクリーンに取って代わることにはならないにしろ、場面によっては非常に有用なインターフェイスになるはずだ。タッチスクリーン、音声コントロール、ジェスチャーコントロール、この3つをミックスした操作ができるのが将来のモバイルデバイスなのかもしれない。
ジェスチャーとそれに対する反応は下の動画で見ることができる。