Spaces:
Sleeping
Sleeping
| title: VoxPoserExamples | |
| emoji: 🔥 | |
| colorFrom: pink | |
| colorTo: green | |
| sdk: gradio | |
| sdk_version: 3.40.1 | |
| app_file: app.py | |
| pinned: false | |
| # VoxPoser API Examples | |
| ## Usage | |
| ```bash | |
| python3 app.py | |
| ``` | |
| 1. 在界面中填写OpenAI API Key，使用的代理地址，选择需要的configuration | |
| 2. 点击Setup/Reset Simulation | |
| 3. 填写自定义Instruction | |
| 4. 点击Run执行（需要等待较长时间） | |
| ## Example | |
| ### VLM & Perception | |
| 1. Open Vocab object detection [owlvit](https://huggingface.co/docs/transformers/model_doc/owlvit) | |
| 2. [SAM](https://github.com/facebookresearch/segment-anything) | |
| 3. Object mask tracking [XMem](https://github.com/hkchengrex/XMem) | |
| 4. 使用realsense获得深度图 | |
| 5. 使用深度图获得法向量（抓取位姿） | |
| 可替代性： | |
| - [x] owlvit -> Grounded SAM / YOLO | |
| - [x] SAM -> FastSAM / YOLO-seg | |
| - [ ] XMem -> DeepSORT(?) ByteTrack(?) | |
| ### LMP语言模型编程 | |
| 语言模型编程：使用GPT-4 | |
| VoxPoser需要三大类LMP: | |
| 1. Planner | |
| 2. Composer | |
| 3. Value map generator | |
| 可替代性： | |
| - [ ] GPT-4 -> LLaMA2 (?) | |
| ## LMPs | |
| ### Planner | |
| LMP的输出是一系列的编程模型接口，Planner将这些语言描述转化为一系列高层级的规划，每步规划这些动作将被Composer执行。 | |
| 模拟环境中不使用规划器，因为评估的任务由单个操作阶段组成。 | |
| ### Composer | |
| Composer LMP 从依次逐渐调用如下模组： | |
| 1. 感知模组调用获得感知结果 | |
| 2. [optional] Affordance LMP | |
| 3. [optional] Avoidance LMP | |
| 4. [optional] End Effector Velocity LMP | |
| 5. [optional] End Effector Rotation LMP | |
| 6. [optional] Gripper Action LMP | |
| 7. Execute | |
| ### Value Maps | |
| TODO | |
| ### Execution | |
| 1. Motion Planner: 贪心搜索得到一系列末端位姿，仅适用Affordance Map 和 Avoidance Map | |
| 2. Cost map: $W = -2 * \text{norm}(\text{Affordance}) - \text{norm}(\text{Avoidance})$ | |
| 3. 根据离开/接近，调用目标法向量的正/负值方向上的Affordance Map | |
| 4. 根据避障目标的占据栅格occupancy_map，调整Avoidance Map |