- Introduced new guides for Depth Plane, Surface, and animation workflows. - Added installation instructions and FAQs to assist users in setup and troubleshooting. - Created a quick-start guide for first-time users to convert images to Depth Planes. - Documented the process for removing backgrounds from images. - Established a models and storage section to clarify data management. - Included a stylesheets file for improved documentation styling. - Updated mkdocs configuration for better navigation and theme settings.
2.3 KiB
输出格式
本页说明任务文件的字段与序列化约定,主要用于开发与数据检查。普通使用者只需了解 模型、设备与存储中的 Job 文件夹说明。
Debug
Debug 用于直接比较 DA3、MoGe-2 与 BEN2 模型 API 的返回效果,不复用 Depth、Surface 或 Geometry 后处理。三个入口对应三个独立 Job:
- debug-da3:保存 prediction.npz,字段直接来自 DA3 Prediction,包括 depth、conf、 extrinsics、intrinsics、processed_images 及模型实际返回的可选标量或数组
- debug-moge2:每张输入保存一个 prediction.npz 或 prediction.0001.npz,完整保留 MoGe-2 API 字典中的 points、depth、normal、mask 与 intrinsics
- debug-ben2:直接保存 BEN2 API 返回的 foreground.png 或 foreground.0001.png
Debug 不生成点云、三角网格、深度预览、置信度 percentile 或坐标变换后的派生产物。输入为多帧时, DA3 保留联合推理;MoGe-2 与 BEN2 按其单图 API 逐帧保存结果。
Depth
generate-depth 输出 Blender Depth Plane 所需的 results.npz。DA3 保存 depth、conf、 extrinsics 与 intrinsics;MoGe-2 保存 depth、normal、mask 与 intrinsics,并额外写出 Depth Plane 导入所需的贴图。这里的文件转换属于正式 Depth 工作流,不属于 Debug。
Surface
generate-surface 统一写出 mesh.npz,不再生成 texture.png。DA3 与 MoGe-2 都使用
geometry/surface.py 的同一套 Surface 构建算法;序列化位于 outputs/surface.py。MoGe-2 normal
仍由 Server 单独导出为 normal.png,Blender 只负责加载并用于材质,不写入几何 NPZ。未去背景时
无论颜色来自原图复制还是 BEN2,Server 都统一写为 color.0001.* 起始的颜色层。Blender 不依据文件数量判断图片类型:源 Empty 为普通单图时载入为 IMAGE,源 Empty 为 Movie/Sequence 时即使只有一帧也载入为 SEQUENCE;.depth 使用相同规则。材质只在 Blender
端创建。MoGe-2 的 normal.png 仍由 Server 生成,Blender 只负责加载使用。
BEN2
正式 remove-background 工作流输出 color.0001.png 起始的透明颜色层。BEN2 ONNX API 返回的 Alpha
恢复到输入分辨率,RGB 保留输入图像颜色。Debug BEN2 仍保留模型 API 语义,使用 foreground 文件名。