nan
5255eb4e96
- Updated ONNX Runtime to 1.24.4 and replaced OpenCV with PyAV 17.0.0 in the installation environment. - Enhanced model downloading logic to prioritize Hugging Face and fallback to OmooLab R2, with improved error handling and status reporting. - Introduced a new environment revision file for shared metadata. - Refactored video frame extraction to utilize the PyAV library instead of OpenCV. - Improved installation process to handle retries across specified PyPI indexes. - Added tests for download progress reporting and model downloading behavior.
3.8 KiB
AI Service
运行架构
SnapForm 在独立的 Python 3.12 Environment 中运行常驻 HTTP Service，Blender 只通过标准库 urllib.request 提交任务，不把 AI 运行库载入 Blender Python。Service 只监听 127.0.0.1，请求使用随机 Token；同一 Storage Root 由 service.lock 保证只有一个实例。
Environment、模型和任务结果默认保存在 ~/.snapform：
~/.snapform/
├── .venv/
├── models/
├── jobs/
├── manifest.json
├── service.log
├── service.json # Service 运行时存在
└── service.lock # Service 运行时持有
不同 Blender 版本可共享此目录。也可以在 Extension Preferences 的 Storage Root 中修改位置。
ONNX-only Environment
扩展只内置对应平台的 uv 可执行文件。Install Environment 使用它创建环境并安装：
- ONNX Runtime 1.24.4；Windows 使用
onnxruntime-directml - NumPy 2.4.2、Pillow 12.1.1、PyAV 17.0.0、trimesh 4.11.2
- FastAPI 0.139.2、Uvicorn 0.51.0、huggingface-hub 1.4.1
运行环境不安装 PyTorch、TorchVision、xFormers，也不安装 DA3、MoGe、BEN2 或 utils3d 的 Python 源码包。模型推理和 SnapForm 所需的相机、点云、网格后处理均由 ONNX Runtime、NumPy 与内部实现完成。
Windows 当前发行环境提供 DirectML 与 CPU；Auto 优先使用 DmlExecutionProvider。显式指定不可用设备时会安全回退到 CPU。其他平台安装标准 ONNX Runtime，并按可用 provider 选择 CoreML、OpenVINO 或 CPU。
manifest.json 记录 Environment 版本、ONNX Runtime 版本、runtime variant 与设备列表。Manifest Revision 改变后需要重新执行 Install Environment。
模型
所有正式功能都使用 ONNX：
- MoGe-2 ViT-S、ViT-B、ViT-L Normal
- DA3 Small、DA3 Base
- BEN2 Base
首次安装自动下载 MoGe-2 ViT-S Normal 与 FP16 BEN2 Base，其他模型在 Models panel 按需下载。模型按 Hugging Face 仓库末段名称保存在 ~/.snapform/models/，并保留仓库内部结构。声明了文件清单与校验值的模型会直接走 Hugging Face resolve 直链流式下载，跳过文件清单与 ETag 预校验；连接源不可达时 6 秒内快速失败并回退到 https://models.omoolab.xyz/<repository-name>/<relative-path>，并把 models_from_r2 写入 service.json，本次 service 周期内后续模型直接走 R2，不再重复等待 Hugging Face。R2 文件会校验大小与 SHA-256。未声明清单的仓库仍使用 huggingface_hub 快照下载。可用 HF_ENDPOINT 指定 Hugging Face 镜像。
DA3 ONNX 使用模型的 camera decoder 恢复外参与内参；旧版 Use Ray Pose 参数只为任务协议兼容保留，不参与 ONNX 推理。MoGe-2 的 metric depth、normal、mask、normalized intrinsics，以及 BEN2 的 Alpha，均在 NumPy 后处理中恢复。
安装网络与镜像
安装器直接开始工作，不做阻塞式网络预检。依赖安装默认依次尝试清华、阿里云 PyPI 镜像并以 pypi.org 兜底，也可用 UV_INDEX_URL 显式指定。Windows 系统代理会注入子进程；同时支持 HTTP_PROXY、HTTPS_PROXY 与 ALL_PROXY。
GitHub 不参与用户安装流程。prepare_vendor.py 只为扩展打包准备各平台的 uv 二进制。
生命周期
扩展启用后只查找已有 Service；第一次执行 AI 操作或点击 Start 时才启动。每个 Blender 客户端每 5 秒发送心跳，正常关闭时注销。最后一个客户端离开后，Service 保留模型缓存 20 秒再退出。
Service 全局同时执行一个 AI 任务。BEN2 独立缓存，深度模型只保留最近使用的一个；切换模型时释放旧会话。取消任务不会重启 Service，ONNX Runtime 当前调用返回后在最近检查点结束。
启动与崩溃信息写入 ~/.snapform/service.log。