VSeeFaceとWebcam Motion Captureを使った3Dモデルの動かし方

今回はフリーウェアのVSeeFaceと有料ソフトのWebcam Motion Captureの2つのアプリケーションを使った3Dモデルの動かし方について解説します。

これから3Dモデルを使ってVTuberとしての配信等にチャレンジしたいけど、設定などのやり方がよく分からない人向けに自分が使っているアプリケーションと設定方法などについて詳しく解説します。

今回紹介するVSeeFaceはWindows版のみ対応です。
（Webcam Motion CaptureはMacOSにも対応しています。）

各アプリの役割

まず、VSeeFaceとWebcam Motion Captureとの役回りがそれぞれ異なります。具体的に以下のようなアプリと情報の連携を行っています。

これらのアプリで取り込んだ実際の配信の動画は以下のような感じです。

実際に3Dを動かしてゲーム配信している動画例

Webcam Motion Capture単体でも実は大丈夫

自分は表情面はVSeeFaceを使用した形にしていますが、一応Webcam Motion Capture単体でも表情を含めた全身のモーションキャプチャーを取ることができます。

ただ、表情判定や照明効果がVSeeFaceの方が自分の好みに合っていたので、2つのアプリを使用する選択肢をとっています。

腕や手が動かなくてよければVSeeFaceだけでもOK！

身体の動きが不必要な人（首から上が動いて入れば良い人）はWebcam Motion Captureを使用せず、VSeeFaceだけでも大丈夫です。

腕の位置は固定になりますが、頭の傾きとか位置で、胴体側（足）がある程度勝手に動いてくれたりもします。

3DモデルはVRM形式のデータが必要

動かす3DモデルはVRoid Studioなどで作成したVRM形式(.vrm)のアバターデータが必要となります。

自身で作成できない人はBoothなどで3Dモデルの販売をしていたりもするので、上手く活用すると良いでしょう。

FBX形式(.fbx)はVRChat用のアバターデータで今回のものとは別物になるのでご注意ください！
（自分はVRChatはまだ未経験ゾーン…）

ウェブカメラは2台必要

モーションキャプチャーを取るためのウェブカメラは2台必要です。1つのアプリにつき1台のウェブカメラを使用するので、1台のカメラでVSeeFaceとWebcam Motion Captureの両方を動かすことができません。

PCを含めた自分の配信環境はこちらの記事でご紹介しています

まずはダウンロードから起動まで

まずは必要なアプリケーション（VSeeFace・Webcam Motion Capture）をダウンロードしましょう。

VSeeFaceのダウンロードから起動まで

VSeeFaceのダウンロードから起動するまでの手順は以下の通りです。

VSeeFaceページでファイルのダウンロード

VSeeFaceのダウンロードページは以下にあります。

英語のページでページを閉じたくなる人もいるかもしれませんが、少し下がるとダウンロードボタンがあるので、そこからファイルをダウンロードしましょう。

圧縮データの解凍

VSeeFaceのファイルが入っている圧縮ファイル（zip圧縮）があるので解凍しましょう。

解凍するとフォルダが出てくるので保存したい場所にフォルダを格納してください。

VSeeFaceアプリの起動

解凍したフォルダの中にいくつかファイルがありますが、その中の「VSeeFace（アプリケーション）」をダブルクリックするとVSeeFaceを起動できます。

初回起動時は、チュートリアル画面が表示されます。「>」ボタンをクリックしていくと、先に進めます。

チュートリアル終了後、アバターとカメラ設定画面が表示されるので、ウェブカメラ、マイクの設定をしましょう。

Webcam Motion Captureのダウンロードから起動まで

Webcam Motion Captureのダウンロードから起動するまでの手順は以下の通りです。

Webcam Motion Captureページでファイルのダウンロード

Webcam Motion Captureのダウンロードページは以下にあります。

少し下がるとダウンロードの項目があり、OS（Windows または MacOS）を選択するとダウンロードボタンが表示されるので、ダウンロードボタンをクリックして、ファイルをダウンロードしましょう。

Webcam Motion Captureのインストール

ダウンロードをするとセットアップの実行ファイルが1つあるので、起動してセットアップを実行します。

インストールモードの選択が表示されますが、こちらは好きな方を選択。

「このアプリがデバイスに変更を加えることを許可しますか？」は「はい」をクリック。

「セットアップに使用する言語の選択」は、好きな言語（ほとんどの人は「日本語」）を選択し、「OK」をクリック。

インストール先を指定し、「次へ」をクリックします。

「追加タスクの選択」はデスクトップにショートカットを作りたい人はチェックを入れた状態で「次へ」をクリックします。

「インストール準備完了」は確認画面なので問題が無ければ「インストール」をクリックするとインストールが実行されます。

「Webcam Motion Capture セットアップウイザードの完了」が表示されたらインストール終了です。

Webcam Motion Captureアプリの起動

インストールが終わったら、アプリを起動しましょう。

初回起動時、「パブリックネットワークとプライベートネットワークにこのアプリへのアクセスを許可しますか？」の画面が表示されるので、「許可」をクリックします。

Webcam Motion Captureのほうは、使用したいウェブカメラと解像度を選択してください。

Webcam Motion Receiverのほうは「利用規約に同意する」にチェックを入れ、「無料で体験！」ボタンをクリックします。

無料版のWebCam Motion Captureのメイン画面が表示されます。体験版なので、3Dアバター箇所にテキストメッセージが表示されます。操作感は体験できますが、実質配信等には使えません。

このテキストを外すためには、「サブスク購入」ボタンを押し、公式ページの「サブスクリプション」で購入手続きをする必要があります。（メールアドレスを送信すると支払いページの案内メールが届きます）

Webcam Motion Captureの料金

Webcam Motion Captureは4つの料金体系があります。

1ヶ月	219円
90日間	799円
360日間	2,699円
無期限	9,980円

無期限を選択すると買い切りになりますが、1ヶ月から360日間のサブスクモデルで過去に購入している人の場合には、支払い済の金額分を割引して、購入することができます。（ただし割引後の価格が100円未満になる場合は、最低価格の100円で購入する形になります。）

購入手続きが完了したら、アプリを再起動して、メールアドレスとパスワードを入力して、ログインをし直しましょう。

3Dモデルの登録

初回アプリを起動したら、それぞれ3Dモデルを登録しましょう。

VSeeFaceへの3Dモデルの登録方法

アバターとカメラの設定周りのページ内の「アバターを登録する」から3Dモデルの登録が可能です。

使用したいVRM形式の3Dアバターデータを選択して登録してください。

登録すると上記のような形で3Dアバターが選択できるようになるので、使用するアバターを選択した後、「スタート」ボタンをクリックしましょう。

Webcam Motion Captureへの3Dモデルの登録方法

Webcam Motion Captureはログインした後、上記の画面が表示されますが、アバターがアプリ標準のモデルなので変更する必要があります。Webcam Motion Receiverの画面右上にある「VRMファイルを開く」ボタンをクリックします。

使用したいVRM形式の3Dアバターデータを選択して登録してください。

データに問題がなければ、3Dアバターが選択したモデルに変わります。

3Dモデルの設定・連携方法

ここからはVSeeFaceとWebcam Motion CaptureおよびOBSへの情報連携の方法を解説します。

流れとしては以下のような感じになります。

まずは、連動させるために必要な最低限の設定方法から解説します。

VSeeFace側の設定

VSeeFace側の設定内容を簡単にまとめると、「Webcam Motion Captureから送信された情報に表情データを上乗せする」です。

アバター選択後に「スタート」ボタンを押した後の画面で色々設定していきます。

「設定」＞「一般設定」をクリック

右上の「設定」ボタンを押すと表示される「一般設定」をクリックします。

「OSC/VMCプロトコル」の一部項目にチェックを入れる

一般設定内で下の方にスクロールすると出てくる「OSC/VMCプロトコル」の項目の以下の項目にチェックを入れます。

このチェックが終わった段階で首から上以外は動かなくなっていると思います。動かない箇所はWebcam Motion Captureからのデータを受信すれば動くようになります。

IPアドレスとポート番号をメモ

「OSC/VMCプロトコル」の項目の「LAN IPを表示」ボタンをクリックすると表示されるIPアドレス（LAN IPの右側に10桁くらいの数字と.が表示されます）とその下にある5桁の番号（ポート番号）をメモしておきます。

VSeeFaceを最大化表示する

最終的にOBSに取り込む際、表示しているウィンドウのサイズによって、その大きさがOBS側にも影響します。小さいウィンドウから取り込むとOBS側での表示も小さくなってしまうので、ウィンドウサイズを最大化表示させましょう。

3Dアバター以外の余計な情報を非表示化する

OBSにはVSeeFaceで表示している情報をそのまま取り込んでしまうため、このままだと各種ボタンやテキスト情報も取り込まれてしまいます。そのため、余計な情報を以下の手順で非表示化する必要があります。

Webcam Motion Capture側の設定

Webcam Motion Capture側の設定内容を簡単にまとめると、「頭以外のモーション情報をVSeeFace側に流す」です。

Webcam Motion Receiverのウィンドウ側でログインした後の画面での設定を解説します。

上部のチェックボックスを外部アプリに送信に変更する

課金版の場合、上部に2つのチェックボックスが表示されているはずです。標準は「通常モード」にチェックが入っていますが、「外部アプリに送信」の方にチェックを変更しましょう。

VSeeFaceでメモした2つの情報を入力し送信開始する

左上のオプション項目は「VMCメッセージ送信」にチェックが入っている状態で、VMCメッセージ送信先の項目の「IPアドレス」と「ポート番号」の欄にVSeeFace側での設定の際にメモした値を入力した後、「送信開始」のボタンをクリックします。

GPU負荷軽減のためスペースキーを押す

2つのアプリでモーションを動かすとその分、GPUに負荷がかかります。そのため、送信開始後にWebcam Motion Receiverでスペースキーを押すと各種ボタンや動作を停止させて、GPU負荷をかけないようにしましょう。

OBS側の設定

最後にOBS側でモーションデータを取り込みます。

ソース追加「ゲームキャプチャ」をクリック

OBS画面内のソース内の「＋」をクリックして、新たにソースを追加します。

選択するソースは「ゲームキャプチャ」を選択します。

追加するソース名は自分が判別しやすい名称を入力しましょう。

プロパティの設定

プロパティの設定に必要な情報を選択・チェックを入れた後、「OK」ボタンをクリックしましょう。

プロパティの設定内容

モード	特定のウィンドウをキャプチャ
ウィンドウ	VSeeFaceのウィンドウ [VSeeFace.exe]:VSeeFace v… といった感じの名称になっているウィンドウ
ウィンドウの一致優先順位	タイトルに一致、そうでなければ同じ実行可能ファイルのウィンドウを見つける
チェックを入れる項目	・透過を許可 ・アンチチート互換性フックを使用する

サイズの調整

追加時、多分かなり大きなアバターが表示されると思うので、適切な大きさに変更してください。

これで各アプリを使ってOBSに取り込む必要最低限の設定方法についてはすべて完了となります。

VSeeFaceのそのほか各種設定内容について｜ご参考

ここからは、参考情報として、VSeeFace側の自分が設定しているそのほか各種設定情報をご紹介します。

それぞれの設定メニューごとにまとめています。

トップ画面の調整

トップ画面での自分が調整を加えている箇所の内容です。

Alt＋左クリック長押し状態でマウス操作	3Dモデル全体の身体の向きを変える
Alt＋右クリック長押し状態でマウス操作	3Dモデルの拡大・縮小
Ctrl＋左クリック長押し状態でマウス操作	陰影の角度を変える
Ctrl＋右クリック長押し状態でマウス操作	3Dモデルの表示位置を上下左右に移動する
「ミラーモード」ボタンオン	鏡に姿を映した形でアバターを動かしたい場合に使用
「動き平滑化」スライダー	中央（0.50）に設定
「可動範囲」スライダー	中央より少し右側（0.62）に設定

「設定」＞「一般設定」

まずは左側のスライダー箇所です。自分が調整した箇所だけまとめています。

左側スライダー箇所

画面の焦点距離（6-135mm）	中央より少し左側（65.02）に設定
視線感度	一番右（1.00）に設定
リップシンク： マイクゲイン	中央（2.06）に設定

右側チェックボックス等箇所

VRM Spring Boneの風を有効にする	チェックを入れる
グローバルリセット位置ホットキー	自分はCtrl+↓に設定 ※3Dアバターの表示がおかしくなってしまった場合に初期位置にリセットするショートカットコマンドになります。（「位置をリセットする」ボタンと同じ効果があります）
表情を検出（Webカメラ	なし → 実験的な表現検出 に変更 ※トップ下に表示されている「Neutral」「Fun」「Angry」「Joy」などで各感情表情を学習させることができるので、別途学習処理をしています。
アンチエイリアシング	16倍 → 4倍に変更
ウィンドウのサイズ変更を許可 解決：	1280×720 → 1920×1080 に変更（ウェブカメラに対応している最高解像度に修正）

「設定」＞「後処理設定」

後処理設定も結構有用です。自分は以下の調整を加えています。

「ブルーム」の調整内容

チェックボックス	・「有効に」のチェックを入れる ・「アバターの外にも」のチェックを外す
外周円の色指定場所	赤→オレンジよりの箇所（#915A54）に設定
色の明るさ	初期値よりは右側（中央よりは左側）に設定（5.98）
拡散	左側（2.57）に設定

ブルームは3Dアバターを特定の色で明るくする効果があります。

「アンビエントオクルージョン」の調整内容

チェックボックス	「有効にする」のチェックを入れる
強度	少しだけ右側（0.50）に設定

アンビエントオクルージョンはブルームとは反対に3Dアバターに陰影を付ける効果があります。

普段は使いませんが、「ハーフトーン」で以下の設定にすると3Dアバター全体をシルエット化することも可能です。
・「有効にする」にチェックを入れる
・黒レベルを最大にする

ご興味がある人はぜひチャレンジしてみてください。