《検証動画》全身トラッキングができるアプリ【TDPT】で自作3Dモデルを動かしてみた

全身トラッキングができるスマホアプリ『TDPT』。

このアプリでできることやトラッキング可能な部位／範囲、動く際のコツについてをまとめました。

参考までに、実際に動いて撮影した動画も載せています。

『TDPT』のダウンロード・利用を検討している方は、ぜひこの記事を参考にしてみてくださいね。

『TDPT』とは

『TDPT』は、PC用全身トラッキングソフト『ThreeDPoseTracker』のスマホアプリ版です。

iPhoneのカメラに映った全身の動きを検出して、リアルタイムでアプリ上の3Dアバターに投影することができます。

なんと、スマホ1台で全身トラッキングができちゃう画期的なアプリなのです！

基本DL無料ですが、課金することで利用できる機能もあります。

また、スマホに保存されているVRMファイルを読み込むこともできるので、自作の３Dアバターを動かすこともできちゃいます。

VRMファイルとは： 主にVRoid StudioやVRoid Hub等で使用されている3Dモデルデータのことをいいます。

『TDPT』でできること

『TDPT』を使って【無料でできること】と【課金したらできるようになること】について説明します。

無料でできること	有料課金でできるようになること
スマホに保存されている3Dモデルのファイルのインポート スマホのカメラ機能を使ったリアルタイムでのトラッキング スマホに保存されている動画からのトラッキング	VRoid Hubにアップロードされているモデルのインポート ライブ配信 モーションデータの書き出し

VRoid Hubにアップロードされているモデルのインポート（読み込み）は、基本的には有料課金でインポート可能ですが、TDPTを経由せず直接VRoid Hubからスマホに保存すれば、TDPTでも保存したモデルが使えるようになります。

インポートできる3Dモデルのファイル

現時点で動作確認ができているのは『VRMファイル』のみです。

VRMファイルのインポート方法

VRoidStudio等で作成した『VRMファイル』をインポート(取り込み)する方法について解説します。

無料とは思えないほどトラッキングの精度も高いので、ぜひご自身のモデルをインポートして遊んでみてくださいね。

実際にVRMファイルを『TDPT』アプリにインポートする流れは以下のとおり。

手順はたったこれだけ！

各項目の詳しいやり方について解説します。

『VRMファイル』をスマホに保存する

保存先フォルダの確認

『TDPT』アプリをダウンロードする

スマホに『TDPT』アプリをダウンロードして、開きます。

アプリのダウンロード

TDPTアプリはこちらからDLできます。（iOS版のみ）

アプリの立ち上げ

アプリ立ち上げの際、マイクとカメラへのアクセスを許可するかどうかの画面が表示されますので、どちらも『OK』を選択します。

カメラ・マイクへのアクセス権がないと、撮影しながらのリアルタイムトラッキングができません。

『TDPT』アプリに『VRMファイル』をインポートする

自作モデルを使用する場合は特に問題ありませんが、他人が作ったモデルをインポートする際は、利用可能な範囲や規約などに注意しましょう。

トラッキングできる範囲

『TDPT』では、全身をトラッキング可能です。

ただ、モデルに動きを正確に反映させるためには、カメラに全身を映すことが前提となり、撮影場所にはある程度の広さが必要です。

トラッキングが難しい部位・動き

『TDPT』を使ってみて、トラッキングが難しいと感じた部位や動きはこちら。

部位・動き	詳細
表情	表情のフェイストラッキングは対応していないようです。
指先	指先（手首より先）の動きは反映されません。すべてチョップの形になります(笑)。
肩の上下	肩を上下すると、腕は上下しますが肩が上がって首が詰まるような感じは出ません。
前後の動き	正面からのスマホ1台によるトラッキングのため、体の裏側に腕や足がある場合に正確にとらえることが難しいようです。
早すぎる動き	動きが素早すぎると、カクカクしたような動きになることがあります。

検証動画

【TDPT】を使って動画を撮ってみました。

トラッキング精度に関しては、動き方や撮影角度の問題などもあるかと思いますが、一つの参考として見ていただければ幸いです。

屈伸・伸脚などの体操

ボックスステップ

回転

Y字バランス

うまくトラッキングするコツ

実際にトラッキングをしてみて、うまくトラッキングするにはコツをつかむことが大切だなと感じました。

トラッキングのコツ

『TDPT』に対応しているスマホのスペック・機種

現在『TDPT』をダウンロードできるのは【iPhone(iOS)】のみとなっています。

対応しているiPhoneの機種・スペックはこちらです。

使ってみた感想

私が実際に『TDPT』を使ってみて感じたことはこちらです。

全身トラッキングができるのは画期的

細かい動きの検出などは難しい部分もあるとはいえ、スマホ1台でこれだけ全身のトラッキングができるのはかなり優秀で、他に類をみないアプリです。

広い場所が必要

全身を綺麗にトラッキングするためには、全身を途切れることなく映せるくらいの広い場所や整理されたスペースが必要です。

周りがごちゃごちゃしていると、動きをうまく検出できない可能性があります。

長時間利用は難しい

数分使うとスマホが熱くなり、動きもカクカクし始めます。

上下左右・横移動の動きは問題ない

上下左右や横移動の動きについては、かなり正確かつ安定したトラッキングができます。

前後の動きに弱い

腕や足が交差したり胴体の裏側へ回ってしまうと、判別されにくくなります。

指先のトラッキングができない

指の動きに関してはトラッキングができず、手のひらの向きや手首の曲がりなども同様に判別されません。

まだ検証していませんが、指先をトラッキングできるVR機器『LeapMotion』と連動させることで、『TDPT』で撮影したモーションに追加で指先も動かせるかもしれません。（PC版・スマホ版両方でできるかは不明）

よくある質問

アプリは完全無料ですか？

無料でも使えますが、課金して使えるようになる機能もあります。

精度を上げるにはどうしたら良い？

トラッキングしやすい要素を増やすようにしましょう。

（例：『全身が映る広い場所での撮影』『背景をスッキリさせる』『体に密着した服を着る』など）

指先の細かい動きも取り入れるには？

ハンドトラッキングができるVR機器『LeapMotion』の使用でできるかもしれません（未検証）。

表情を変化させるには？

『VSeeFace』というフェイストラッキングソフトも同時に使うことでできるかもしれません（未検証）。

Android版アプリはありますか？

2021年7月現在、Android版のアプリはリリースされていないようです。

VRoidHubから直接インポートできませんか？

VRoidHubと連携して直接VRMファイルをインポートするには、アプリ内課金が必要です。

まとめ

『TDPT』で自作モデルを動かしてみた感想についてお伝えました。

私自身まだがっつり検証できていないので、もっとトラッキング精度が上がる方法等もあるかもしれません。

気になった方は、ぜひご自身でもダウンロードして遊んでみてくださいね！