VSeeFace中文版是一款专业的虚拟主播软件,使用它配合摄像头可以跟踪主播的面部和手部VRM动作,让VSFAvatar虚拟人偶实现动作同步,其中面部跟踪包括眼睛注视、眨眼、眉毛、和嘴巴跟踪,而手部动作跟踪,需要leap motion设备的支持,这样一套完整的虚拟主播系统已经搭建完成了,你就可以控制一个虚拟的人偶主播与粉丝们互动啦。此次本站为您带来了VSeeFace中文版软件,需要的朋友快到本站下载吧。
VSeeFace官方介绍
VSeeFace 是一个免费的、高度可配置的面部和手部跟踪 VRM 和VSFAvatar虚拟人偶操纵程序,专注于强大的跟踪和高图像质量。VSeeFace 提供类似于 Luppet、3tene、Wakaru 和类似程序的功能。VSeeFace 在 Windows 8 及更高版本(仅限 64 位)上运行。通过 iFacialMocap/FaceMotion3D 支持完美同步。VSeeFace 可以使用VMC 协议发送、接收和组合跟踪数据,该协议还允许通过Virtual Motion Capture、Tracking World、Waidayo等支持跟踪。
面部跟踪,包括眼睛注视、眨眼、眉毛和嘴巴跟踪,是通过常规网络摄像头完成的。对于可选的手部跟踪,需要 Leap Motion 设备。您可以在此处查看面部跟踪性能与其他流行 vtuber 应用程序的比较。在这个比较中,VSeeFace 仍然以其以前的名称 OpenSeeFaceDemo 列出。
VSeeFace基本功能
【透明虚拟相机】
如果捕获程序支持,虚拟摄像机可用于输出具有 alpha 透明度的视频。为了利用这一点,需要加载一个完全透明的 PNG 作为背景图像。从版本 1.13.25 开始,可以在VSeeFace_Data\StreamingAssets. 也支持部分透明的背景。请注意,在不支持 RGBA 网络摄像头的捕获程序中使用(部分)透明背景图像可能会导致颜色错误。OBS 和 Streamlabs OBS 支持 ARGB 摄像机捕获,但需要一些额外的设置。显然,视频捕获应用程序默认支持它。
要设置 OBS 或 Streamlabs OBS 以透明地从虚拟摄像机捕获视频,请遵循这些设置。重要的设置是:
分辨率/fps:自定义
分辨率:1280x720
视频格式:ARGB
由于即使在显示 UI 时虚拟摄像头也会继续运行,因此如果您经常在流期间更改设置,使用它代替游戏捕获会很有用。
【网络跟踪】
可以在单独的 PC 上执行面部跟踪。例如,这可以帮助减少 CPU 负载。这个过程有点高级,需要一些关于命令行程序和批处理文件使用的一般知识。为此,请将整个 VSeeFace 文件夹或VSeeFace_Data\StreamingAssets\Binary\文件夹复制到第二台 PC,该 PC 应该连接了相机。在这个文件夹中有一个文件叫做run.bat. 运行此文件将首先打开询问一些信息以设置相机,然后运行通常在软件后台运行的跟踪器进程。如果您输入了正确的信息,它将显示带有重叠跟踪点的摄像头馈送图像,因此不要在流式传输桌面时运行它。这对于找出相机或一般跟踪的问题也很有用。q当图像显示窗口处于活动状态时,可以使用 停止跟踪器。
VSeeFace使用说明
1、特殊混合形状
VSeeFace 对某些自定义 VRM 混合形状剪辑有特殊支持:
Surprised 由简单和实验性的表达检测功能支持。
Brows up并将Brows down用于眉毛跟踪(如果出现在模型上)。
与v1.13.34开始,如果满足以下所有定制VRM混合形状剪辑上存在的模型,它们将被用于基于音频的口型同步,除了常规的A,I,U,E和O混合形状:SIL,CH,DD,FF,KK,NN,PP,RR, SS,TH
您可以参考此参考资料,了解每个这些视位的嘴部外观。现有VRM混合变形夹子A,I,U,E和O被映射到aa,ih,ou,E和oh分别。
我不建议使用搅拌机CATS插件自动生成这些blendshapes shapekeys,因为VSeeFace就已经按照混合了类似的做法A,I,U,E和O形状本身,所以设置自定义VRM混合形状的剪辑是不必要的精力。在这种情况下,最好是仅有标准A,I,U,E并O在模型上VRM混合形状剪辑。
2、表情检测
您可以设置 VSeeFace 以识别您的面部表情并自动触发 VRM 混合形状剪辑作为响应。有两种不同的模式可供选择General settings。
3、简单的表情检测
此模式易于使用,但仅限于Fun,Angry和Surprised表达式。只需启用它,它应该可以工作。底部有两个滑块General settings可用于调整其工作方式。
要触发Fun表情,请微笑,向上移动嘴角。要触发Angry表情,请不要微笑并向下移动眉毛。要触发Surprised表情,请向上移动眉毛。
4、使用 HANA 工具为 VRoid 模型添加完美的同步混合形状
可以在此处找到完整的日语指南。下面给出了一个简短的英语语言摘要。要使用HANA 工具向 VRoid 模型添加完美的同步混合形状,您需要安装 Unity,创建一个新项目并将UniVRM包添加到您的项目中,然后将 HANA 工具包的 VRM 版本添加到您的项目中。您可以通过将.unitypackage文件拖入 Unity 项目的文件部分来完成此操作。接下来,确保您的 VRoid VRM 从 VRoid v0.12(或您的 HANA_Tool 版本支持的任何版本)导出,而无需优化或抽取网格。在AssetsUnity 项目的文件夹中为您的模型创建一个文件夹,然后复制到 VRM 文件中。它现在应该被导入。
1、将模型文件从 Unity 中的文件部分拖到层次结构部分。它现在应该出现在场景视图中。单击层次结构中模型前面的三角形以展开它。您应该会看到一个名为 的条目Face。
2、从HANA_Tool顶部的菜单中,选择Reader。应该会出现一个新窗口。将Face对象拖入SkinnedMeshRenderer新窗口顶部的插槽中。选择模型的 VRoid 版本和类型。确保Add在底部选择,然后单击Read BlendShapes。(截图)
3、如果您收到一个消息窗口,其中包含有关顶点数量不匹配的长消息,则表示您的模型不符合要求。它可能是从不同的 VRoid 版本导出的,已经被删除或编辑等。如果你看到一个窗口说 変换完 或者它完成了读取blendshapes ,blendshapes已成功添加,您可以关闭Reader窗口。
4、从HANA_Tool顶部的菜单中,选择ClipBuilder。应该会出现一个新窗口。将模型从层次结构拖到顶部的插槽中并运行它。对于比 v2.9.5b 更旧的版本,请选择AddBlendShapeClip。应该会出现一个新窗口。将模型从层次结构拖动到VRMBlendShapeProxy新窗口顶部的插槽中。再次将Face对象拖入SkinnedMeshRenderer下方的插槽中。选择您的模型类型,而不是Extra按下底部的按钮。
5、你应该得到一个窗口,说它成功添加了混合形状剪辑或変换完,这意味着你也可以关闭这个窗口。
尝试按下 Unity 中的播放按钮,切换回Scene选项卡并在层次结构中选择您的模型。在检查器中向下滚动,直到看到混合形状列表。您应该能够移动滑块并看到模型的外观发生变化。在常规 VRM 和 VRoid 混合形状下方,现在应该有 50 多个额外混合形状以实现完美同步使用,例如用于吹脸颊的混合形状。
6、停止场景,在层次结构中选择您的模型,然后从VRM菜单中选择UniVRM,然后选择Export humanoid。所有必要的细节都应该已经填写好了,所以你可以按导出来保存你的新 VRM 文件。
VSeeFace使用教程
1、首先进入软件后默认语言选项为中文,期间你可以通过图中所标出的位置进行语言更改,该软件现支持官方中文。
之后你可以通过点击类似下一步的操作按钮,熟悉软件的操作流程。
第一步:使用透明OBS/SLOBS(1)
第二步:使用透明OBS/SLOBS(2)
第三步:隐藏UI
第四步:重制(1)
第五步:重制(2)
第六步:摄像机
最后一步:教程
更新日志
v1.13.37a版本
修复了将道具附加到某些头像不起作用的问题
修复了半色调效果
删除了“Really nice”抗锯齿选项,因为它与道具功能冲突(如果你真的需要它,你可以通过在settings.ini中添加ForceSSAA=1来启用它,但你将无法从你的道具中删除道具 模型)
修复了 VSF_SetShaderParamFromTransform 未包含在白名单中的问题
∨ 展开