通用具身智能机器人全栈开发框架:仿真通信—多模态感知—VLA推理—运动控制—真机部署
轻量内核,全栈具身 —— 基于 MoonBit 的下一代通用具身机器人开发框架
| Phase | 内容 | 状态 |
|---|---|---|
| Phase 1 | 核心实现(Robot trait / 仿真 / 推理 / 控制 / 可视化) | ✅ 完成 |
| Phase 2 | FFI 真实接入(Gazebo + ggml + Tokenizer 条件编译) | ✅ 完成 |
| Phase 3 | 可视化引擎接入(Selene FFI)+ IK 机型覆盖 | ✅ 完成 |
| Phase 4 | Sim2Real 集成验证(仿真闭环 + 真机联调) | ✅ 完成 |
| Phase 5 | 生产硬化(性能调优 + 监控告警 + 安全认证) | ✅ 完成 |
| 包 | 条件编译宏 | 真实库 | 启用方式 |
|---|---|---|---|
| embit-gazebo | EMBIT_HAS_IGNITION | Ignition Transport (C++) | python scripts/prepare.py --with-ignition |
| embit-ggml | EMBIT_HAS_GGML | ggml/llama.cpp (C) | python scripts/prepare.py --with-ggml |
| embit-view | EMBIT_HAS_SELENE | Selene 可视化引擎 (C) | python scripts/prepare.py --with-selene |
moon add walkzzz/embit/embit-core
moon add walkzzz/embit/embit-gazebo
moon add walkzzz/embit/embit-ggml
moon add walkzzz/embit/embit-control
moon add walkzzz/embit/embit-view
moon add walkzzz/embit/embit-examples/// 人形机器人行走 Demo:仿真 → VLA 推理 → 轨迹规划 → 执行 → 监控
fn main raise @core.RobotError {
// 1. 连接仿真环境
let sim = @gazebo.GazeboClient::connect("localhost:9000")
// 2. 加载 VLA 模型(.gguf 格式)
let model = @ggml.VlaModel::load("models/smolvla-7b-q4.gguf")
// 3. VLA 推理:图像 + 语言指令 → 动作序列
let _ = model.infer(b"camera_image", "walk forward 2 meters")
// 4. 构建运动控制器并规划轨迹
let ctrl = @control.MotionController::new(robot_model)
let traj = ctrl.compute_trajectory(start, goal, constraints)
// 5. 发布轨迹到仿真
for wp in traj.waypoints {
sim.publish("/joint_commands", b"waypoint")
}
// 6. 清理
model.free()
sim.disconnect()
}fn main raise @core.RobotError {
// Phase 1 具身任务
@examples.humanoid_walk() // 人形行走
@examples.quadruped_avoid() // 四足避障
@examples.arm_grasp() // 机械臂抓取
// Phase 2 管线
@examples.vla_pipeline_demo() // VLA 推理管线
@examples.impedance_control_demo() // 阻抗控制
@examples.sensor_fusion_demo() // 传感器融合
@examples.batch_inference_demo() // 批量推理
// Phase 3-4 高级
@examples.multi_robot_scene_demo() // 多机型场景管理
@examples.cartesian_control_demo() // 笛卡尔空间控制
@examples.full_stack_demo() // 全栈综合 Demo
// Phase 4 仿真集成
@examples.sim_scene_setup_demo() // 仿真场景搭建
@examples.sim_closed_loop_demo() // 仿真闭环(100 步)
@examples.vla_sim_execution_demo() // VLA 仿真执行
@examples.multi_robot_scenario_demo() // 多机型协调
// Phase 4 真机联调
@examples.real_robot_demo() // 真机控制
@examples.sim2real_consistency_demo() // Sim2Real 一致性
@examples.safety_interlock_demo() // 安全联锁
@examples.emergency_stop_demo() // 紧急停止
// Phase 5 生产硬化
@examples.performance_tuning_demo() // 性能调优
@examples.monitoring_alert_demo() // 监控告警
@examples.safety_certification_demo() // 安全认证
}embit/
├── embit-core/ # 核心基础库:RobotError / JointState / RobotModel / Robot trait / RobotBuilder / RealRobot
├── embit-gazebo/ # 仿真通信 SDK:GazeboClient + GazeboRobot + 世界控制 + 场景管理 + FFI(Ignition Transport)
├── embit-ggml/ # VLA 推理 SDK:VlaModel + Tensor + Tokenizer + Backend + FFI(ggml/llama.cpp)
├── embit-control/ # 运动控制:轨迹规划 + DH运动学(IK/FK) + 卡尔曼滤波 + PID + 阻抗 + 笛卡尔控制
│ # + SafetyController + AlertSystem + CollisionDetector + SafetyCertification + ControlLoopBenchmark
├── embit-view/ # 可视化面板:Widget / 录制回放 / 实时监控 / DataSeries + FFI(Selene)
├── embit-examples/ # 示例工程:21 个 Demo(具身任务/管线/高级/仿真集成/真机联调/生产硬化)
├── docs/ # 项目文档
│ ├── 01-项目申报书.md
│ ├── 02-技术文档.md
│ ├── 03-品牌故事.md
│ └── 04-性能基准报告.md
├── .github/ # CI/CD(check/test/fmt/info + FFI 集成测试)+ Issue/PR 模板
├── moon.mod # 模块元数据(walkzzz/embit, native target)
├── CONTRIBUTING.md # 贡献指南
├── CHANGELOG.md # 变更日志
├── roadmap.md # 迭代路线图
└── LICENSE # Apache 2.0通用具身智能机器人全栈开发框架:仿真通信—多模态感知—VLA推理—运动控制—真机部署