先日VSeeFaceとWebcam Motion Captureを使った3Dモデルの動かし方の記事をアップしましたが、基本的には3Dモデルのみ取り込む形になります。ゲーム配信等ではこの方式が良いのですが、雑談配信や（自分はやらないけど）歌配信とかをする場合には、背景が少し物足りなくなる問題があります。
そのようなときはVRoomを活用するとそういったお悩みを解消することができます。
今回はVSeeFaceとVRoomを活用した3Dモデルの動かし方について解説していきます。最後にOBSへの取り込み方についても解説します。
以前解説したWebcam Motion Captureから開始して、VSeeFace→VRoom→OBSといった取り込みも可能です。
今回紹介するVSeeFace、VRoomはWindows版のみ対応です。
各アプリの役割
まず、VSeeFaceとVRoomとの役回りがそれぞれ異なります。具体的に以下のようなアプリと情報の連携を行っています。
- VSeeFace：表情のモーションデータをキャプチャーするアプリ
- OBSなどにモーションデータを送信
- VRoom：おうち3Dアプリ（部屋やライブ会場など）のモーションデータをキャプチャーするアプリ
- VSeeFaceから送信されたモーションデータと合わせて、OBSなどにモーションデータを送信
- OBSなど：VRoomの画面を取り込み配信等を行う
VSeeFace単体では腕や手のモーションが取得できないため、動かしたい場合は、VseeFaceのさらに前にWebcam Motion Captureなどで補うことで動かすことが可能です。
3DモデルはVRM形式のデータが必要
動かす3DモデルはVRoid Studioなどで作成したVRM形式(.vrm)のアバターデータが必要となります。
自身で作成できない人はBOOTHなどで3Dモデルの販売をしていたりもするので、上手く活用すると良いでしょう。
FBX形式(.fbx)はVRChat用のアバターデータで今回のものとは別物になるのでご注意ください！
自分の3Dモデルは星ノ宮プロダクション代表の星ノ宮羽衣さんに2Dの立ち絵から近い感じの3Dモデルを作っていただきました（衣装はBoothで配布しているデータを活用させていただいています）。
ウェブカメラも必要
VSeeFaceでモーションキャプチャーを取るためのウェブカメラが必要です。
自分は腕などのモーションキャプチャ用にWebcam Motion Captureも使用するため、ウェブカメラ2台を使っています。（複数のアプリでモーションキャプチャをとる場合はそのアプリ分のウェブカメラが必要です。）
VSeeFace用
Webcam Motion Capture用
PCを含めた自分の配信環境はこちらの記事でご紹介しています
まずはダウンロードから起動まで
まずは必要なアプリケーション（VSeeFace・Webcam Motion Capture）をダウンロードしましょう。
VSeeFaceのダウンロードから起動は以前ご紹介した内容と同じなので、すでに読んでいる方はVRoomのダウンロードから起動まで飛ばしてください。
VSeeFaceのダウンロードから起動まで
VSeeFaceのダウンロードから起動するまでの手順は以下の通りです。
VSeeFaceページでファイルのダウンロード
VSeeFaceのダウンロードページは以下にあります。
英語のページでページを閉じたくなる人もいるかもしれませんが、少し下がるとダウンロードボタンがあるので、そこからファイルをダウンロードしましょう。
この「Download」ボタンからVSeeFaceのファイルがダウンロードできます。
VSeeFace圧縮データの解凍
VSeeFaceのファイルが入っている圧縮ファイル（zip圧縮）があるので解凍しましょう。
解凍するとフォルダが出てくるので保存したい場所にフォルダを格納してください。
VSeeFaceアプリの起動
解凍したフォルダの中にいくつかファイルがありますが、その中の「VSeeFace（アプリケーション）」をダブルクリックするとVSeeFaceを起動できます。
VSeeFaceはインストール不要で起動できるアプリです。デスクトップなどにこの起動アプリのショートカットなどをしておくと今後フォルダを探す手間を省けます。（自分はデスクトップショートカットとSTREAM DECK+でショートカットボタンを設定しています。）
初回起動時は、チュートリアル画面が表示されます。「>」ボタンをクリックしていくと、先に進めます。
チュートリアル終了後、アバターとカメラ設定画面が表示されるので、ウェブカメラ、マイクの設定をしましょう。
- ウェブカメラ：使用するウェブカメラを選択
- Webcam Motion Captureとは違うウェブカメラを選択する必要があります。
- カメラの設定：60fpsで一番解像度の高い値を選択
- アバターの動作が重い場合は、解像度またはfpsの低い設定に修正しましょう。
- カメラのフレームレート：30fpsを選択
- トラッキング品質：高品質を選択
- マイク：使用しているマイクを選択
- マイク音声を感知して口の動作に影響します
VRoomのダウンロードから起動まで
VRoomのダウンロードから起動するまでの手順は以下の通りです。
BOOTHのVRoomページでファイルのダウンロード
VSeeFaceのダウンロードページは以下にあります。
右側にダウンロードボタンがあるので、希望のものをダウンロードしましょう。
アプリ内で利用できる部屋の一部はウォーターマークがついてしまいますが、無料版でも十分利用できます。
VRoom圧縮データの解凍
VRoomのファイルが入っている圧縮ファイル（zip圧縮）があるので解凍しましょう。
解凍するとフォルダが出てくるので保存したい場所にフォルダを格納してください。
VRoomアプリの起動
解凍したフォルダの中にいくつかファイルがありますが、その中の（無料版なら）「VRoom_Free（アプリケーション）」をダブルクリックするとVRoomを起動できます。
VRoomもインストール不要で起動できるアプリです。デスクトップなどにこの起動アプリのショートカットなどをしておくと今後フォルダを探す手間を省けます。
3Dモデルの登録
初回アプリを起動したら、それぞれ3Dモデルを登録しましょう。
こちらのVSeeFaceの登録方法は以前解説した内容と同じなので、既読の方はVRoomの登録方法まで飛ばして読んでください。
VSeeFaceへの3Dモデルの登録方法
アバターとカメラの設定周りのページ内の「アバターを登録する」から3Dモデルの登録が可能です。
使用したいVRM形式の3Dアバターデータを選択して登録してください。
VSeeFaceは登録したアバターデータはアプリを残してもデータが残るので、次回起動したときも登録したアバターの選択ができます。
登録すると上記のような形で3Dアバターが選択できるようになるので、使用するアバターを選択した後、「スタート」ボタンをクリックしましょう。
VRoomへの3Dモデルの登録方法
続いてVRoomへの3Dモデルを登録します。以下の手順で3Dモデルを登録することができます。
- 「ESC」キーを入力し、メインメニューを表示
- 左下の「LoadVRM」ボタンをクリック
- 「New Load」ボタンをクリック
- 3Dアバターのファイル（VRM形式）を選択して、「開く」ボタンをクリック
ファイル読み込みに問題がなければ上記のように3Dモデルが表示されます。
直前に登録した3Dモデルはデータが残っているので、再度読み込みたい場合は「LoadVRM」内のVRM項目にあるファイル名をクリックすると再表示されます。
部屋と自身の3Dモデルのサイズ感が合っていない場合は、3Dモデルのサイズを以下の方法で変更できます。
- 「ESC」キーを入力し、メインメニューを表示
- 左下の「Resize」ボタンをクリック
- サイズ変更のスライダーを調整
3Dモデルの設定・連携方法
ここからはVSeeFaceとVRoomおよびOBSへの情報連携の方法を解説します。
流れとしては以下のような感じになります。
まずは、連動させるために必要な最低限の設定方法から解説します。
VSeeFace側の設定
VSeeFace側では表情のモーショントラッキングを行い、VRoomにモーションデータを送ります。
アバター選択後に「スタート」ボタンを押した後の画面で色々設定していきます。
「設定」＞「一般設定」をクリック
右上の「設定」ボタンを押すと表示される「一般設定」をクリックします。
「OSC/VMCプロトコル」の一部項目にチェックを入れる
一般設定内で下の方にスクロールすると出てくる「OSC/VMCプロトコル」の項目の以下の項目にチェックを入れます。
- OSC/VMCプロトコルで送信する
送信したデータはVRoom側で受信させる形になります。
ポート番号をメモ
「OSC/VMCプロトコル」の項目の「OSC/VMCプロトコルで送信する」にチェックすると表示される5桁の番号（ポート番号）をメモしておきます。
ポート番号はデフォルトは39539ですが、こちらは異なる番号に変更することも可能です。（初期値だとうまく連動しないことがあるので、ほかのポート番号に変えた方が良いです。）
VRoom側の設定
VRoom側の設定内容を簡単にまとめると、「VSeeFace側からのトラッキングデータを受け取り、VRoomの部屋映像を合わせてOBSに取り込ませる」です。
VRoomにログイン＆アバター表示した後の画面での設定を解説します。
Settingで受信するポート番号を指定する
まずは、VSeeFaceからのモーションデータを受け取るためのポート番号（VMCプロトコル番号）を指定します。
以下の手順で設定しましょう。
- 「ESC」キーを入力し、メインメニューを表示
- 下側中央の「Settings」ボタンをクリック
- VMCプロトコル受信番号にVSeeFaceで指定したポート番号を入力して「OK」ボタンをクリック
正常に設定がされていれば、VRoomの3Dモデルも動くようになります。
ルームを選択する
VRoomには複数のルームが用意されています。シチュエーションに合ったRoomを選択しましょう。
- 「ESC」キーを入力し、メインメニューを表示
- 中央下の「Room」ボタンをクリック
- 変更したいルームのボタンをクリック
「Modern Room」「Girlish Room」は昼バージョン、夜バージョンが用意されています。（夜バージョンは「Midnight Room」ボタンをクリック）
微調整をする
アバターの位置や明るさ補正やムービングカメラの設定など細かい設定をしましょう。
「F1」キーを入力するとキーボード操作系のショートカットの説明が表示されるので、困ったときには参考にしましょう。
- メインメニュー表示：「ESC」キー入力
- サブメニュー表示：「スペース」キー入力
- アバターの前後左右移動：「WASD」キー入力
- アバターの上下移動：「Z」「C」キー入力
- 位置・回転のリセット：「R」キー入力
- カメラ切り替え（ムーブ・マニュアル）：「M」キー入力
- ズーム：マウスホイール
- エフェクト関連：「F4」～「F12」キー入力（F10アップライト・F11ダウンライトはよく使うかも）
また、スペースキー入力で開くことができるサブメニューでも細かい設定ができます。
特にVSeeFaceとVRoomのみ使う人であれば、腕がTポーズのままになったりするので、何かしらのポーズをとらせる設定にしておくと良いでしょう。
- 「スペース」キーを入力し、サブメニューを開く
- 左側「ポーズ/モーション（人のアイコン）」ボタンをクリック
- 各種ポーズを選択し、「適用」ボタンをクリック
エフェクトや明るさ補正などもサブメニューから設定できます。
最大化表示する
最終的にVRoomで表示している画面をOBSに取り込みます。その際、画面サイズが小さいとOBS側の取り込み画像も小さくなってしまい、それを拡大しても解像度の悪い画像になってしまいます。そのため、VRoomで表示するサイズを極力最大化しておく必要があります。
- 「ESC」キー入力し、メインメニューを表示
- 下側の「ScreenSize」ボタンをクリック
- 「Full Screen」ボタンをクリック
PCやウェブカメラの性能によっては最大化にすると挙動が遅くなる可能性もあるので、その場合は、表示サイズを少し小さいサイズを選択すると良いでしょう。
余計なメニュー表示を消す
最後にメインメニューもしくはサブメニューが表示されているとOBSにも映ってしまうので、「ESC」キーをクリックして各メニュー表示を非表示にしましょう。
OBS側の設定
最後にOBS側でVRoomの画面を取り込みます。
ソース追加「ゲームキャプチャ」をクリック
OBS画面内のソース内の「＋」をクリックして、新たにソースを追加します。
選択するソースは「ゲームキャプチャ」を選択します。
追加するソース名は自分が判別しやすい名称を入力しましょう。
自分は「VROOM読み込み」で名称作成しています。
プロパティの設定
プロパティの設定に必要な情報を選択・チェックを入れた後、「OK」ボタンをクリックしましょう。
プロパティの設定内容
| モード | 特定のウィンドウをキャプチャ |
|---|---|
| ウィンドウ | VRoomのウィンドウ [VRoom_Free.exe]:VRoom_Freeといった感じの名称になっているウィンドウ ※無料版の場合 |
| ウィンドウの一致優先順位 | タイトルに一致、そうでなければ同じ実行可能ファイルのウィンドウを見つける |
| チェックを入れる項目 | ・透過を許可 ・アンチチート互換性フックを使用する |
サイズの調整
追加時、画面サイズと合っていない場合には、適切な大きさに変更してください。
これで各アプリを使ってOBSに取り込む必要最低限の設定方法についてはすべて完了となります。
ご興味がある人はぜひチャレンジしてみてください。
全身トラッキングもできる「Webcam Motion Capture」との組み合わせのパターンの解説もあります
