狐崎まめここんにちは！
ボイトレVTuberの狐崎まめこ（concon_mameco）です。
全身トラッキングができるスマホアプリ『TDPT』。
このアプリでできることやトラッキング可能な部位／範囲、動く際のコツについてをまとめました。
参考までに、実際に動いて撮影した動画も載せています。
『TDPT』のダウンロード・利用を検討している方は、ぜひこの記事を参考にしてみてくださいね。
『TDPT』とは？
『TDPT』は、PC用全身トラッキングソフト『ThreeDPoseTracker』のスマホアプリ版です。
iPhoneのカメラに映した人間の動きを、リアルタイムでアプリ上の3Dモデルに反映させることができます。
基本DL無料ですが、課金することで利用できる機能もあります。
『TDPT』でできること
『TDPT』を使って【無料でできること】と【課金したらできるようになること】について説明します。
無料でできること
- スマホ内にある3Dモデルのファイルのインポート
- スマホのカメラで撮影した映像のリアルタイムトラッキング
- スマホ内にある動画からのトラッキング
課金したらできるようになること
- VRoid Hubにアップロードされているモデルのインポート
- ライブ配信
- モーションデータの書き出し
『TDPT』にインポートできる3Dモデルのファイル
現時点で動作確認ができているのは『VRMファイル』のみです。
VRMモデルのインポート方法はこちら
3Dモデルの作り方についてはこちら
『TDPT』でトラッキングできる範囲
『TDPT』では、全身をトラッキング可能です。
ただ、モデルに動きを正確に反映させるためには、カメラに全身を映すことが前提となり、撮影場所にはある程度の広さが必要です。
『TDPT』でトラッキングが難しい部位・動き
『TDPT』を使ってみて、トラッキングが難しいなと感じた部位や動きは以下です。
- 表情
- 指先
- 肩の上下
- 前後の動き
- 早すぎる動き
表情
表情のトラッキングは対応していないようです。
指先
指先（手首より先）の動きは反映されません。
肩の上下
肩を上下すると、腕は上下しますが肩が上がって首が詰まるような感じは出ません。
前後の動き
正面からのスマホ1台によるトラッキングのため、体の裏側に腕や足がある場合に正確にとらえることが難しいようです。
早すぎる動き
動きが素早すぎると、カクカクしたような動きになることがあります。
狐崎まめこスマホのスペックやアプリの長時間利用も関係してるかも
『TDPT』で撮影したモーションの検証動画
約8畳の部屋で動画を撮ってみました。
トラッキング精度に関しては、部屋の広さや撮影角度等の問題もあるかと思いますが、参考に一つにしていただければ幸いです。
屈伸・伸脚などの体操
【屈伸→伸脚→前屈→後屈→側面伸ばし→ねじり】と、よく使われる体操の動きをやってみました。
しゃがんだり、前かがみになったりするとトラッキングが難しいようです。
また、体の後ろに手が回りこむと、手が消えてしまいます。
狐崎まめこ体が崩壊しかけています
ボックスステップ
ボックスステップは、かなり正確にトラッキングできます！
狐崎まめこ気分はダンサー！
回転
【足踏み一回転→片足ターン】をしてみました。
回転も比較的綺麗にトラッキングできていますね。
狐崎まめこ私の華麗なるターンを見よ！
Y字バランス
片方の手で脚を持ち上げ、Y字バランスをしています。
脚を上げるときや下すときにうまくトラッキングができなくなってしまうようです。
狐崎まめこ足がバタバタしちゃう
『TDPT』でうまくトラッキングするコツ
実際にトラッキングをしてみて、うまくトラッキングするにはコツをつかむことが大切だなと感じました。
主に重要だと感じたのは以下の点です。
- 早すぎる動きをしない
- なるべく大きい動きをする
- 指先の細かい動きはあきらめる
- 前後の動きよりも上下左右の動きがあるものを多めにする
『TDPT』に対応しているスマホのスペック・機種
現在『TDPT』をダウンロードできるのは【iPhone(iOS)】のみとなっています。
対応しているiPhoneの機種・スペックはこちらです。
- iPhone11
- iPhone11Pro
- iPhone11ProMax
- iPhoneSE(第2世代)
- iPhone12
- iPhone12Pro
- iPhone12ProMax
- iPhone12Mini
狐崎まめこちなみに私はiPhoneSE(第2世代)を使っているぞ！
『TDPT』を触ってみた所感
私が実際に『TDPT』を使ってみて感じたことをまとめました。
今までにない画期的なアプリ
スマホ1台のみでこれだけトラッキングできるのはかなり優秀で、他に類をみないアプリです。
狐崎まめこ技術の進歩の驚き
広い場所が必要
全身を綺麗にトラッキングするためには、全身を途切れることなく映せるくらいの広い場所が必要です。
長時間利用は難しい
数分使うとスマホが熱くなり、動きもカクカクし始めます。
狐崎まめこアプリが重いのか、私のスマホのスペックが低いのかは不明…
上下左右・横移動の動きは問題ない
上下左右や横移動の動きについては、かなり正確かつ安定したトラッキングができます。
前後の動きに弱い
腕や足が交差したり胴体の裏側へ回ってしまうと、判別されにくくなります。
指先のトラッキングができない
指の動きに関してはトラッキングができず、手のひらの向きや手首の曲がりなども同様に判別されません。
狐崎まめこ手は常にチョップの形！
また、まだ検証していませんが、指先をトラッキングできるVR機器『LeapMotion』と連動させることで、『TDPT』で撮影したモーションに追加で指先も動かせるかもしれません。（PC版・スマホ版両方でできるかは不明）
LeapMotionについてはこちら
『TDPT』についてのよくある質問
『TDPT』についてのまとめ
いかがでしたでしょうか。
今回は、『TDPT』を軽く触ってみた感想について書きました。
私自身まだがっつり検証できていないので、もっとトラッキング精度が上がる方法等もあるかもしれません。
気になった方は、ぜひご自身でもダウンロードして遊んでみてくださいね！
最後までお読みいただきありがとうございました。
関連記事はこちら
コメント