動画から骨トラッキングを抽出

プログラミング
GitHub – AmmarkoV/SAM3DBody-cpp: Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX + ggml, 70-joint skeleton with hands.
Real-time 3D full-body reconstruction from a single camera, Multiperson BVH output, Pure C++ runtime, ONNX + ggml, 70-jo…

まさにその通りです! 「骨組み(モーションデータ)」として抜き出してしまえば、撮影した場所や人物の見た目は関係なくなります。そのため、「全く違う3D空間(バーチャルスタジオやゲームの世界)」に、グラフ化された骨組みの動きをそのまま流し込んで、別のキャラクターに全く同じ動きをさせることが簡単にできるようになります。

具体的には、以下のような「再現」や「入れ替え」が自由自在になります。


🎬 1. キャラクターの「見た目」を自由に変える

あなたが普通の部屋でTシャツ姿で動いたとしても、AIが抽出した骨組みデータを以下のようなキャラクターに連動させることができます。

  • アニメ風の美少女やイケメン(VTuber)
  • リアルなハリウッド映画風のモンスターやエイリアン
  • ロボットや動物のキャラクター

🌌 2. 「撮影場所」を宇宙やファンタジーの世界に変える

動画の背景(現実の部屋やスタジオ)は完全に無視され、骨組みデータだけが取り出されます。

  • そのデータを、ゲームエンジン(Unreal EngineやUnityなど)で作った「宇宙ステーション」や「魔法の森」といった仮想空間(3D背景)に配置します。
  • すると、現実の部屋で撮影したはずのあなたの動きが、画面上では「宇宙空間でエイリアンがリアルに踊っている映像」として再現されます。

🔄 3. 「プロの動き」を自分にコピペする

逆に、プロのダンサーやアクション俳優の動画から骨組みを抽出して、自分が作った3Dアバターにその動きを流し込めば、「自分のオリジナルキャラクターが、プロ並みのキレキレなダンスを踊る」といった動画も一瞬で作れます。


🚀 だからこそ、今回の「C++で高速化」が注目されている

これまでは、こうした「動画から骨を抜いて、別空間のキャラを動かす」という処理をするために、重たいAIプログラムを何個も組み合わせる必要があり、動画を作ってから出力されるまでに時間がかかっていました。

今回のニュースのように「C++という軽くて速い言語で、1台のパソコン(あるいはスマホ)でリアルタイムに骨が抜ける」ようになると、

「カメラの前に立った瞬間に、画面の向こうの別世界にいるキャラクターが、自分と全く同じ動きでリアルタイムに動き出す」

という未来が、より身近で、安価に実現できるようになるため、AI業界やクリエイターの間で「これは凄い!」と話題になっているのです。


お探しのC++製リアルタイム3D全身ポーズ推定エンジンの名前は 「SAM3DBody-cpp」 です。

開発者のGitHubページ(ソースコードや詳しい使い方が公開されている場所)のURLは以下になります。

こちらのページでは、カメラの映像から全身と両手の合計70箇所の関節や3Dメッシュを高速に抽出する仕組みや、他のプログラムへ組み込むための方法などが公開されています。興味があればぜひチェックしてみてください!


共有していただいたGitHubページによると、この「SAM3DBody-cpp」のライセンスは MITライセンス に設定されています。

結論から言うと、商用利用も含めて無料で利用可能です!

MITライセンスはオープンソースの中でも特に制限が緩いライセンスで、主に以下のようなルールになっています。

  • できること(すべて無料・商用OK)
    • 個人利用・社内利用
    • 商業的なサービスやアプリへの組み込み、販売
    • コードの改変や再配布
  • 守るべき条件(とてもシンプル)
    • プログラムを配布したり使う際に、元の「著作権表示」と「MITライセンスの全文(またはリンク)」をそのまま含めること。
  • 免責事項
    • 「このプログラムを使ったことで何か問題や損害が起きても、開発者は一切責任を負いません」という条件に同意すること。

⚠️ 商用利用する際の注意点

プログラム自体のライセンスは商用無料のMITですが、このシステムが内部で読み込んでいる「AIモデル(DINOv3やYOLOなど)」に個別の利用規約や制限がある可能性があります。

もしビジネスとして本格的にアプリをリリースしたり、サービスを公開したりする場合は、それらのベースになっているAIモデル側のライセンスも商用利用に問題がないか、一度チェックしておくのが安全です。個人的に試したり、実験的なアプリを作ったりする分には、全く気にせず無料で使って大丈夫ですよ!

タイトルとURLをコピーしました