【LeapMotion(リープモーション)】とは？高精度なハンドトラッキング機器

今回は、Vtuberの腕や手先を簡単に動かすことができるモーションキャプチャー機器【LeapMotion(リープモーション)】についてまとめてみました。

幅広いVtuber活動をするには、『モデルがどのくらい動けるか』が重要になってきます。

ですが、個人でVtuberをやっていると、高額なVR機器を買う余裕なんてありません。

ですが、この【LeapMotion(リープモーション)】は、比較的安価で手に入り、簡単にモーションキャプチャーができるんです。

【LeapMotion(リープモーション)】の仕組みや使用方法について詳しく解説したので、ぜひ参考にしていただければ幸いです。

【LeapMotion(リープモーション)】とは

【LeapMotion(リープモーション)】は、手や指の動きを高精度でトラッキングすることができる先進的なコントローラです。

2012年にLeap Motion社から『手のジェスチャーによってコンピュータの操作ができる入力機器』として販売されました。

マウスや画面タッチを使わず、ジェスチャーによって直観的に操作することが可能です。

マウスやタッチスクリーンよりも正確で素早く、キーボード並みに確実なデバイスとなっているため、ゲームやVRなどの分野で広く利用されています。

Vtuber活動では、『Unity』『3tene』『Luppet』などのソフトと組み合わせて使うことで、3Dアバターの腕や手を動かすことができます。

【LeapMotion(リープモーション)】でできること

ハンドトラッキング	LeapMotionは、手や指の動きを高精度でトラッキングします。 これにより、リアルタイムで手や指の動きを再現できます。
ジェスチャー認識	LeapMotionは、さまざまなジェスチャーも高度に認識します。 ピンチ（指先でつまむ動き） スワイプ（手を左右または上下に振る） 「OK」のサイン 指を鳴らす より複雑な動作も瞬時にコンピューターに伝達することができ、より豊かな表現を提供できます。
基本的なマウス操作の代替	一般的なマウスを使ったクリックやドラッグ、スクロールなどの操作は、LeapMotionでの手の動きやジェスチャーによっても可能です。 自然な手の動きでアバターを操作でき、より自然なパフォーマンスができます。
低コスト	高額なVR機器を購入する余裕がない個人でも、比較的安価で手に入り、簡単にモーションキャプチャーができます。
VR/ARゲーム開発	LeapMotionは、VR（バーチャルリアリティ）やAR（拡張現実）の開発にも対応しています。
手術シミュレーションなどの医療分野	手術シミュレーションなどの医療分野でもLeapMotionが活用されています。
3Dモデリングなどの建築分野	3Dモデリングなどの建築分野でもLeapMotionが活用されています。

【LeapMotion(リープモーション)】の仕組み

赤外線LEDとカメラ	リープモーションは、赤外線LEDと2つの赤外線カメラを使用しています。 赤外線LEDは手や指を照らし、カメラはその映像を捉えます。
3D空間での位置の割り出し	カメラが捉えた映像は、画像解析によって3D空間での手や指の位置を割り出します。 これにより、手や指の動きをリアルタイムで追跡することができます。
高精度な認識	半径50センチ程度、中心角110度の空間で、手、指、ペンのようなポイントを指し示すツールを0.01ミリの精度で認識します。
両手と10本の指の同時認識	リープモーションは両手と10本の指をそれぞれ独立して同時に認識することができます。 これにより、手の指の動きをコンピューターの中で再現したり、宙で書いたサインがコンピューターの中にも書かれるといったことが可能になります。

【LeapMotion(リープモーション)】のスペック

サイズ	W80×D30×H11mm
重量	45 g
インターフェース	USB 3.0/2.0
対応OS	Windows 7/8 Mac OS X 10.7 Ubuntu Linux 12.04LTS/13.04
CMOSイメージセンサー	半径50センチ・中心角110度の空間で、手・指・ペンのポイントを0.01ミリの精度で認識
トラッキング速度	バランスモードで120fps (150fps) 精度重視のプレシジョンモードで60fps (80fps) 速度重視の高速モードでは214fps (295fps)
認識できるジェスチャー	サークル（1本の指による円運動） スワイプ（平行運動） キータップ（キーを叩くような上下運動）

【LeapMotion(リープモーション)】の大きさ《実物写真》

LeapMotion（リープモーション）本体は、思っていたよりもかなり小型でした。

左側のコードの先はUSBタイプになっていて、PCに接続しています。

【LeapMotion(リープモーション)】の使用方法

LeapMotionの基本的な使用方法は以下の通りです。（Unityの場合）

以上の手順で、Leap Motionを使用してコンピュータを操作することができます。

具体的な操作方法は使用するアプリケーションにより異なる場合があるので、各アプリケーションのマニュアルやヘルプを参照してください。

実際の使い方

LeapMotionを机に置き（もしくはネックマウントにぶら下げ）、その上（前）に両手をかざすことでトラッキングをします。

トラッキングを始める際は、まずはじめに本体正面部分の真上（真ん前）に両手の平を開いてかざします。

その時点で本体が右手と左手を選別し、トラッキングが始まります。

【LeapMotion(リープモーション)】のトラッキング精度

腕の上げ下げや手先の簡単な動きなら、操作に慣れれば問題なくできます。

ただ、高額なVR機器と違ってあまりトラッキング精度は高くないため、期待以上のことはできないと考えて良いでしょう。

ピースをしようとしても認識せず1本指になってしまったり、違う方の手の動きが反映されてしまったりします。

また、動かしている途中でトラッキングができなくなってしまい、画面上のアバターの腕が下がってしまうことも良くあります。

LeapMotion（リープモーション）の購入を考えいている方は、精度の良し悪しを考慮した上で検討することをおすすめします。

連動できるVtuber用ソフト

Vtuber活動で使用するには、3Dアバターを動かすことができるソフトと組み合わせることが必要です。

Unity

Unityは、Unity Technologies社が開発・販売しているゲーム開発プラットフォームです。

Unityは、ゲーム開発ツールでありながら、Vtuber活動にも使えるツールとして人気です。

Unityの主な特徴

3Dアバターの制御	Unityは3Dゲームエンジンであり、3Dアバターの動きを制御することが可能です。 これにより、Vtuberとしてのキャラクター表現が豊かになります。
リップシンク機能	Unityでは、リップシンク（口パク）機能を実装することができます。 これにより、Vtuberの口の動きを自然に見せることができます。
モーションキャプチャー	UnityとLeapMotionを組み合わせることで、実際の手の動きを3Dアバターに反映させることができます。 これにより、Vtuberとしての表現力が向上します。
拡張性	Unityは非常に拡張性が高く、様々なプラグインやSDKを利用することができます。 これにより、Vtuberとしての表現力をさらに広げることが可能です。
コミュニティ	Unityは世界中で広く使われているため、豊富な情報源と活発なコミュニティがあります。 これにより、困ったときに助けを求めることができます。
無料で利用可能	Unityは無料で利用できるプランがあります。 ただし、商用利用や一定の売上がある場合は有料プランを選択する必要があります。

3tene

3tene（ミテネ）は、Vtuber向けに作られたアプリケーションです。

3teneの主な特徴

初心者でも簡単に操作できる	3teneは初心者でも簡単に操作できるように設計されています。 Webカメラがあれば、顔の向きや細かい動き、上半身の動きなどを3Dモデルに反映させることができます。
対応機種が多い	3teneはWindows、Steam、macOSなど、多様な機種で利用可能です。
表情や動きの設定	3teneでは、多くの種類の表情や動きを設定することができます。 表情はボタン一つで変更可能で、3Dモデルの動きに関してはWebカメラやモーションキャプチャ専用のアプリがなくても設定することができます。
体全体のトラッキング	LeapMotionを利用すれば、腕や手足などの体全体のトラッキングが可能です。 LeapMotionのセンサーの前で手足を動かすと、Webカメラがなくても動きを3Dモデルに反映させることができます。
Zoomとの連携	UnityVideoCaptureなどの仮想カメラを利用すれば、Zoom会議をアバターとして出席することができます。

Luppet

Luppetは、Vtuber向けのトラッキングシステムです。

Luppetの特徴

バストショット特化の表現	Luppetは全身ではなく上半身の動きのみに特化したシステムです。 ゲーム実況など全身を映す必要がない時に便利です。
環境耐性と可搬性	Luppetは磁気や無線の混線といった環境依存のトラブルとは無縁です。
VRM対応	VRM規格のモデルであればLuppetに導入してすぐに動かすことができます。
配信を支える機能	使いこなすユーザ向けにいくつかのおまけ機能が実装されています。
セットアップが簡単	準備はLeapMotionを首にかけ、カメラを自分に向けるだけです。
低コスト	使用する機材はWebカメラとLeapMotionのみで済みます。

WEBカメラだけの動作と比較

『3tene』というソフトを使って、WEBカメラだけで動かした場合とWEBカメラにLeapMotionを追加して動かした場合を比較してみました。

『3tene』では、Leap Motionと連携させることで3Dモデルの腕や手先を動かすことが可能になります。

WEBカメラによるフェイストラッキングのみ

通常、WEBカメラのみでのフェイストラッキングを使用すると、このような動きのみになります。

WEBカメラによるフェイストラッキング＋LeapMotion

WEBカメラでのフェイストラッキングに加えて、LeapMotionを連携させて動かすと以下のような動きを付けることができます。

フェイストラッキングのみの場合と違い、動きにかなり変化が付きますね。

【LeapMotion(リープモーション)】のメリット・デメリット

メリット	デメリット
高精度なハンドトラッキング 直感的な操作 低コスト 接続や設定が簡単	デスクトップ作業との併用が難しい センサーの誤作動 動きにコツがいる

メリット

高精度なハンドトラッキング

手や指の動きを高精度でトラッキングでき、非常に微細な動きまで捉えることが可能です。

直感的な操作

自然な手の動きでアバターを操作でき、視聴者に対してより自然なパフォーマンスを提供できます。

低コスト

高額なVR機器を購入する余裕がない個人でも、比較的安価で手に入り、簡単にモーションキャプチャーができます。

接続や設定が簡単

専用ソフトウェアをインストールしてPCにUSBで接続するだけですぐに使用できます。

高価なVR機器にありがちな、トラッキング用カメラの設置なども不要で、とても簡単にセットアップできます。

デメリット

デスクトップ作業との併用が難しい

普通のデスクトップ作業中にLeapMotionを併用するのは難しいということがあります。

マウスやトラックパッドのような精密さがあるわけではないので、どちらかといえばフルスクリーンでデバイスに最適化されたコンテンツを楽しむという使い方がフィットすると言わざるを得ないのです。

センサーの誤作動

微妙な動きにはたまにセンサーが誤作動を起こすのか、うまく反応できないときがありますが、何度か動かしていればセンサーが戻ります。

動きにコツがいる

5本の指を動かしても、どれかの指が実際に動かしているようには反応しなかったり、指を曲げても、画面上では反対側に指が折れ曲がってしまったり、途中でトラッキングが切れてしまったり、といったことがあります。

ほかのVR機器にも同じことがいえるかもしれませんが、うまく動かすには慣れが必要です。

あわせて買いたい便利なグッズ

LeapMotionと併せて使用すると便利なグッズを紹介します。

ネックマウンタ

首掛け（ネックマウンタ）を使うと、より精度の高いトラッキングができます。

また、机の上にLeapMotionを置く必要がなくなるので、PC周りがスッキリします。

フットペダル

LeapMotionは両手を使用するため、他のソフトやゲームのように、パソコンのキーボードを使って表情を変化させることができません。

LeapMotionで手をトラッキングしながら同時にモデルの表情を変えたい場合には、フットペダルを同時使用すると良いでしょう。

まとめ

高額なVR機器を購入するのはなかなか難しいですが、腕や手先だけならLeapMotionがあれば動かすことができます。

手や腕だけとはいえ、LeapMotionひとつあれば上半身の動きにバリエーションが出せるというのは大きいです。

Vtuberのとして大掛かりな動画を作る必要がない場合、こちらのLeapMotionがあればひとまず事足りるのではないでしょうか。

デメリットとしては、思い通りのトラッキングをするためにはコツが必要なこと。

多少の慣れが必要ですが、手を振る動作やピースなど、単純な動きをトラッキングする分には申し分ありません。

これ1台あれば、多少なりともVtuberらしい動きができるようになりますよ。

追記・最新版の後継機「リープモーション2」がついに発売！

2023年秋に、後継機の「リープモーション2（リープモーションコントローラー2／Leap Motion 2）」が約10年ぶりにリリースされました！

価格は26,800円（2023年10月時点）と従来のものに比べて約2倍ほどとなっていますが、それでもVR機器としてはまだまだ安い方。

私もこちらはまだ試したことがないので詳しい性能は分かりませんが、10年ぶりの後継機とあって期待値はかなり高いと思います。

AR／VRゴーグルと組み合わせて使用することもできるみたいなので、表現の幅がさらに広がりそうですね！