nan
835225d264
- Implemented surface generation functionality in `surface.py`, including geometry estimation and texture writing. - Introduced media input handling in `input.py`, supporting image and video frame extraction. - Added model management for geometry adapters in `models/__init__.py`. - Created BEN2 and DA3 model inference logic in `ben2.py` and `da3.py`, respectively. - Developed ONNX model inference utilities for BEN2 and DA3 in `onnx_ben2.py` and `onnx_da3.py`. - Added support for MoGe-2 model inference in `moge2.py` with necessary ONNX utilities. - Implemented output handling for depth and surface data in `depth.py` and `surface.py`. - Created debug output utilities for DA3 and MoGe-2 predictions in `debug_da3.py` and `debug_moge2.py`. - Enhanced ONNX runtime session management in `onnx_runtime.py`. - Updated `__init__.py` files to include new modules and functions for better organization.
1.6 KiB
1.6 KiB
输出格式
Debug
Debug 用于直接比较 DA3、MoGe-2 与 BEN2 模型 API 的返回效果，不复用 Depth、Surface 或 Geometry 后处理。三个入口对应三个独立 Job：
- debug-da3：保存 prediction.npz，字段直接来自 DA3 Prediction，包括 depth、conf、 extrinsics、intrinsics、processed_images 及模型实际返回的可选标量或数组
- debug-moge2：每张输入保存一个 prediction.npz 或 prediction.0001.npz，完整保留 MoGe-2 API 字典中的 points、depth、normal、mask 与 intrinsics
- debug-ben2：直接保存 BEN2 API 返回的 foreground.png 或 foreground.0001.png
Debug 不生成点云、三角网格、深度预览、置信度 percentile 或坐标变换后的派生产物。输入为多帧时， DA3 保留联合推理；MoGe-2 与 BEN2 按其单图 API 逐帧保存结果。
Depth
generate-depth 输出 Blender Depth Plane 所需的 results.npz。DA3 保存 depth、conf、 extrinsics 与 intrinsics；MoGe-2 保存 depth、normal、mask 与 intrinsics，并额外写出 Depth Plane 导入所需的贴图。这里的文件转换属于正式 Depth 工作流，不属于 Debug。
Surface
generate-surface 统一写出 mesh.npz 与 texture.png。DA3 与 MoGe-2 都使用 geometry/surface.py 的同一套 Surface 构建算法；序列化位于 outputs/surface.py。 MoGe-2 normal 另存为 normal.png 并由 Blender 材质加载，不写入几何 NPZ。
BEN2
正式 remove-background 工作流输出 foreground.png 或透明前景序列。BEN2 ONNX API 返回的 Alpha 恢复到输入分辨率，RGB 保留输入图像颜色。