本项目立足于上海飒智智能科技有限公司的工程需求，旨在解决双臂机器人在家居与物流等非结构化场景中执行容器开启、受限空间取放等复杂交互任务的落地难题。项目系统性地构建了一套融合视觉感知、数据增殖与等变操作策略的完整双臂协同控制框架。通过彻底打通人类RGB-D视频解析、三维语义点云构建、单次示教数据自动扩增，以及双臂扩散策略网络训练与物理部署的全数据链路，本项目为双臂机器人在未知开放环境下的低成本、高泛化应用提供了端到端的技术解决方案。  

本项目的核心目标是在极少量甚至单次人工示教的严苛条件下，打破传统深度学习对海量数据的依赖，建立一套具备强空间迁移能力与高物理可执行性的双臂时空协同操作框架。项目致力于通过双速视觉流水线实现动态环境下的高频语义跟踪与三维对齐，并依托几何映射与避障重规划技术，将极其有限的人类演示转化为满足运动学约束的海量训练数据。同时，通过在动作生成底层引入三维几何等变先验以消除对绝对坐标的依赖，确保双臂在面对操作对象位姿与尺度显著变化时，仍能连续、无碰撞地完成高难度协作任务。  

本项目成功搭建了从视频示教解析到真实操作执行的软硬件闭环系统，在NVIDIA Isaac Sim仿真环境与ALOHA真实双臂机器人平台上均取得了优异的验证效果。项目研发的双速视觉架构在实际部署中实现了25FPS以上的高频稳定跟踪与93.5%的掩码精度，且通过轨迹分段与规划技术，成功从单次示教中自动衍生出数百组时间最优的物理可行轨迹，大幅拓展了数据位姿覆盖面。此外，创新提出的SIM(3)等变双臂扩散策略展现出卓越的分布外空间泛化能力，成功驱动真实物理平台高效完成了抽屉取放、纸箱协同开盖及毛巾折叠等复杂任务，整体在线执行成功率高达73.3%，圆满实现了理论向工程落地的转化.