nan
835225d264
- Implemented surface generation functionality in `surface.py`, including geometry estimation and texture writing. - Introduced media input handling in `input.py`, supporting image and video frame extraction. - Added model management for geometry adapters in `models/__init__.py`. - Created BEN2 and DA3 model inference logic in `ben2.py` and `da3.py`, respectively. - Developed ONNX model inference utilities for BEN2 and DA3 in `onnx_ben2.py` and `onnx_da3.py`. - Added support for MoGe-2 model inference in `moge2.py` with necessary ONNX utilities. - Implemented output handling for depth and surface data in `depth.py` and `surface.py`. - Created debug output utilities for DA3 and MoGe-2 predictions in `debug_da3.py` and `debug_moge2.py`. - Enhanced ONNX runtime session management in `onnx_runtime.py`. - Updated `__init__.py` files to include new modules and functions for better organization.
33 lines
1.6 KiB
Markdown
33 lines
1.6 KiB
Markdown
# 输出格式
|
||
|
||
## Debug
|
||
|
||
Debug 用于直接比较 DA3、MoGe-2 与 BEN2 模型 API 的返回效果，不复用 Depth、Surface 或 Geometry
|
||
后处理。三个入口对应三个独立 Job：
|
||
|
||
- debug-da3：保存 prediction.npz，字段直接来自 DA3 Prediction，包括 depth、conf、
|
||
extrinsics、intrinsics、processed_images 及模型实际返回的可选标量或数组
|
||
- debug-moge2：每张输入保存一个 prediction.npz 或 prediction.0001.npz，完整保留 MoGe-2 API
|
||
字典中的 points、depth、normal、mask 与 intrinsics
|
||
- debug-ben2：直接保存 BEN2 API 返回的 foreground.png 或 foreground.0001.png
|
||
|
||
Debug 不生成点云、三角网格、深度预览、置信度 percentile 或坐标变换后的派生产物。输入为多帧时，
|
||
DA3 保留联合推理；MoGe-2 与 BEN2 按其单图 API 逐帧保存结果。
|
||
|
||
## Depth
|
||
|
||
generate-depth 输出 Blender Depth Plane 所需的 results.npz。DA3 保存 depth、conf、
|
||
extrinsics 与 intrinsics；MoGe-2 保存 depth、normal、mask 与 intrinsics，并额外写出
|
||
Depth Plane 导入所需的贴图。这里的文件转换属于正式 Depth 工作流，不属于 Debug。
|
||
|
||
## Surface
|
||
|
||
generate-surface 统一写出 mesh.npz 与 texture.png。DA3 与 MoGe-2 都使用
|
||
geometry/surface.py 的同一套 Surface 构建算法；序列化位于 outputs/surface.py。
|
||
MoGe-2 normal 另存为 normal.png 并由 Blender 材质加载，不写入几何 NPZ。
|
||
|
||
## BEN2
|
||
|
||
正式 remove-background 工作流输出 foreground.png 或透明前景序列。BEN2 ONNX API 返回的 Alpha
|
||
恢复到输入分辨率，RGB 保留输入图像颜色。
|