nan
c97b4a3e41
- Implemented viewport.py for handling 3D view projections, gestures, and overlay drawing. - Created refine_image_selection.py to manage the refinement of gesture masks and output image bounds. - Added selection module with refine_selection.py to process and crop images based on alpha channel visibility. - Introduced __init__.py for selection module to expose refine_selection function.
3.0 KiB
Job 产物
Server 在 Job 目录写入图片、JSON 或 Debug NPZ；Blender 根据 Job 返回值读取文件并创建 Image、Mesh、Material 与 Object。
正式 Job
| Job | 主要文件 | Blender 消费方式 |
| | | |
| remove-background | image.0001.png 起 | 替换 Image Empty 的颜色数据 |
| upscale-image | upscale.0001.png 起 | 替换或新建高清颜色数据 |
| refine-image-selection | image.png、bounds.json | Image Box / Lasso 读取 Refine Selection 结果 |
| generate-depth-plane-geometry | image.0001.*、z-depth.exr、depth.json | 创建 Depth Plane |
| generate-cutout-artifacts | 可选 Selection、Depth 与 Normal 文件 | 创建 Cutout Shape 与材质 |
Depth Job 保存可由 Blender 直接加载的模型空间 EXR；Blender 主线程负责轮廓提取、三角化、Depth 标定和数据创建。
Depth 与 Normal 文件
MoGe-2 的原始结果由模型适配器转换为单帧 GeometryFrame。它包含 Depth、Validity、Intrinsics，以及可选的 Normal 和 Points；geometry/prediction_artifacts.py 把同一 Frame 交给各 Writer，并按请求写出以下文件：
| 文件 | 内容 |
|---|---|
vector-depth.exr |
RGB 保存完整相机空间 XYZ，Alpha 保存 Validity |
z-depth.exr |
RGB 重复保存完整相机 Z，Alpha 保存 Validity |
depth.json |
保存 image_size、3×3 intrinsics 与有效区域的 reference_depth |
tangent-normal.png |
Tangent Space Normal Map |
object-normal.png |
Object Space Normal Map |
MoGe-2 的布尔 Mask 以 0/1 写入 Validity。Mask 外的有限 Depth/XYZ 仍保留在 RGB，使 Geometry Nodes 的线性采样维持连续；输入 Alpha、正深度和有限性只参与 depth.json 的参考样本筛选。任一待写 Field 包含 NaN/Inf 时不生成 EXR。
Blender 通过 common/depth.py 加载 EXR，设为 Non-Color 并 Pack。Depth 与 Normal 数据块分别由 depth_data_name() 和 normal_data_name() 命名。Geometry Nodes 采样已加载的 EXR。
Cutout Selection 产物
Blender 先把 SelectionPath 栅格化为 SelectionMask，再把局部 RGBA 作为 Server 输入。MoGe-2 输入统一按 RGB × Alpha 合成到黑底；完全透明像素下的隐藏 RGB 不影响预测。Server 不接收 Path 或 Mask 对象协议：
- 开启 Refine Selection 时，
selection.png保存细化后的局部 RGBA，selection_bounds.json保存它相对输入裁切图的范围； - 需要 Vector Depth 时请求
vector-depth.exr与depth.json； - 需要 Z Depth 时请求
z-depth.exr与depth.json； - Normal Map 按空间请求
tangent-normal.png或object-normal.png。
Surface 与 Balloon 的本地路径直接使用 SelectionMask 构建 Shape。最终颜色图由 Blender 按 Selection 范围裁切源 Image，并保留源 RGBA。
Debug 产物
| Job | 文件 |
| | |
| debug-da3 | prediction.npz |
| debug-moge2 | prediction*.npz |
| debug-ben2 | foreground*.png |
| debug-upscale | prediction*.png |
Debug Job 保存模型适配层的直接输出。