Upload folder using huggingface_hub

README.md

@@ -0,0 +1,12 @@
+---
+library_name: lerobot
+tags:
+- act
+- model_hub_mixin
+- pytorch_model_hub_mixin
+- robotics
+---
+
+This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
+- Library: https://github.com/huggingface/lerobot
+- Docs: [More Information Needed]

config.json

@@ -0,0 +1,55 @@
+{
+  "chunk_size": 500,
+  "dim_feedforward": 3200,
+  "dim_model": 512,
+  "dropout": 0.1,
+  "feedforward_activation": "relu",
+  "input_normalization_modes": {
+    "observation.images.cam_high": "mean_std",
+    "observation.images.cam_left_wrist": "mean_std",
+    "observation.images.cam_right_wrist": "mean_std",
+    "observation.state": "mean_std"
+  },
+  "input_shapes": {
+    "observation.images.cam_high": [
+      3,
+      480,
+      640
+    ],
+    "observation.images.cam_left_wrist": [
+      3,
+      480,
+      640
+    ],
+    "observation.images.cam_right_wrist": [
+      3,
+      480,
+      640
+    ],
+    "observation.state": [
+      18
+    ]
+  },
+  "kl_weight": 10.0,
+  "latent_dim": 32,
+  "n_action_steps": 100,
+  "n_decoder_layers": 1,
+  "n_encoder_layers": 4,
+  "n_heads": 8,
+  "n_obs_steps": 1,
+  "n_vae_encoder_layers": 4,
+  "output_normalization_modes": {
+    "action": "mean_std"
+  },
+  "output_shapes": {
+    "action": [
+      18
+    ]
+  },
+  "pre_norm": false,
+  "pretrained_backbone_weights": "ResNet18_Weights.IMAGENET1K_V1",
+  "replace_final_stride_with_dilation": false,
+  "temporal_ensemble_coeff": null,
+  "use_vae": true,
+  "vision_backbone": "resnet18"
+}

config.yaml

@@ -0,0 +1,648 @@
+resume: false
+device: cuda
+use_amp: false
+seed: 1000
+dataset_repo_id: Octapod/aloha_oct_05
+video_backend: pyav
+training:
+  offline_steps: 100000
+  num_workers: 4
+  batch_size: 2
+  eval_freq: -1
+  log_freq: 100
+  save_checkpoint: true
+  save_freq: 100000
+  online_steps: 0
+  online_rollout_n_episodes: 1
+  online_rollout_batch_size: 1
+  online_steps_between_rollouts: 1
+  online_sampling_ratio: 0.5
+  online_env_seed: null
+  online_buffer_capacity: null
+  online_buffer_seed_size: 0
+  do_online_rollout_async: false
+  image_transforms:
+    enable: false
+    max_num_transforms: 3
+    random_order: false
+    brightness:
+      weight: 1
+      min_max:
+      - 0.8
+      - 1.2
+    contrast:
+      weight: 1
+      min_max:
+      - 0.8
+      - 1.2
+    saturation:
+      weight: 1
+      min_max:
+      - 0.5
+      - 1.5
+    hue:
+      weight: 1
+      min_max:
+      - -0.05
+      - 0.05
+    sharpness:
+      weight: 1
+      min_max:
+      - 0.8
+      - 1.2
+  lr: 1.0e-05
+  lr_backbone: 1.0e-05
+  weight_decay: 0.0001
+  grad_clip_norm: 10
+  delta_timestamps:
+    action:
+    - 0.0
+    - 0.03333333333333333
+    - 0.06666666666666667
+    - 0.1
+    - 0.13333333333333333
+    - 0.16666666666666666
+    - 0.2
+    - 0.23333333333333334
+    - 0.26666666666666666
+    - 0.3
+    - 0.3333333333333333
+    - 0.36666666666666664
+    - 0.4
+    - 0.43333333333333335
+    - 0.4666666666666667
+    - 0.5
+    - 0.5333333333333333
+    - 0.5666666666666667
+    - 0.6
+    - 0.6333333333333333
+    - 0.6666666666666666
+    - 0.7
+    - 0.7333333333333333
+    - 0.7666666666666667
+    - 0.8
+    - 0.8333333333333334
+    - 0.8666666666666667
+    - 0.9
+    - 0.9333333333333333
+    - 0.9666666666666667
+    - 1.0
+    - 1.0333333333333334
+    - 1.0666666666666667
+    - 1.1
+    - 1.1333333333333333
+    - 1.1666666666666667
+    - 1.2
+    - 1.2333333333333334
+    - 1.2666666666666666
+    - 1.3
+    - 1.3333333333333333
+    - 1.3666666666666667
+    - 1.4
+    - 1.4333333333333333
+    - 1.4666666666666666
+    - 1.5
+    - 1.5333333333333334
+    - 1.5666666666666667
+    - 1.6
+    - 1.6333333333333333
+    - 1.6666666666666667
+    - 1.7
+    - 1.7333333333333334
+    - 1.7666666666666666
+    - 1.8
+    - 1.8333333333333333
+    - 1.8666666666666667
+    - 1.9
+    - 1.9333333333333333
+    - 1.9666666666666666
+    - 2.0
+    - 2.033333333333333
+    - 2.066666666666667
+    - 2.1
+    - 2.1333333333333333
+    - 2.1666666666666665
+    - 2.2
+    - 2.2333333333333334
+    - 2.2666666666666666
+    - 2.3
+    - 2.3333333333333335
+    - 2.3666666666666667
+    - 2.4
+    - 2.433333333333333
+    - 2.466666666666667
+    - 2.5
+    - 2.533333333333333
+    - 2.566666666666667
+    - 2.6
+    - 2.6333333333333333
+    - 2.6666666666666665
+    - 2.7
+    - 2.7333333333333334
+    - 2.7666666666666666
+    - 2.8
+    - 2.8333333333333335
+    - 2.8666666666666667
+    - 2.9
+    - 2.933333333333333
+    - 2.966666666666667
+    - 3.0
+    - 3.033333333333333
+    - 3.066666666666667
+    - 3.1
+    - 3.1333333333333333
+    - 3.1666666666666665
+    - 3.2
+    - 3.2333333333333334
+    - 3.2666666666666666
+    - 3.3
+    - 3.3333333333333335
+    - 3.3666666666666667
+    - 3.4
+    - 3.433333333333333
+    - 3.466666666666667
+    - 3.5
+    - 3.533333333333333
+    - 3.566666666666667
+    - 3.6
+    - 3.6333333333333333
+    - 3.6666666666666665
+    - 3.7
+    - 3.7333333333333334
+    - 3.7666666666666666
+    - 3.8
+    - 3.8333333333333335
+    - 3.8666666666666667
+    - 3.9
+    - 3.933333333333333
+    - 3.966666666666667
+    - 4.0
+    - 4.033333333333333
+    - 4.066666666666666
+    - 4.1
+    - 4.133333333333334
+    - 4.166666666666667
+    - 4.2
+    - 4.233333333333333
+    - 4.266666666666667
+    - 4.3
+    - 4.333333333333333
+    - 4.366666666666666
+    - 4.4
+    - 4.433333333333334
+    - 4.466666666666667
+    - 4.5
+    - 4.533333333333333
+    - 4.566666666666666
+    - 4.6
+    - 4.633333333333334
+    - 4.666666666666667
+    - 4.7
+    - 4.733333333333333
+    - 4.766666666666667
+    - 4.8
+    - 4.833333333333333
+    - 4.866666666666666
+    - 4.9
+    - 4.933333333333334
+    - 4.966666666666667
+    - 5.0
+    - 5.033333333333333
+    - 5.066666666666666
+    - 5.1
+    - 5.133333333333334
+    - 5.166666666666667
+    - 5.2
+    - 5.233333333333333
+    - 5.266666666666667
+    - 5.3
+    - 5.333333333333333
+    - 5.366666666666666
+    - 5.4
+    - 5.433333333333334
+    - 5.466666666666667
+    - 5.5
+    - 5.533333333333333
+    - 5.566666666666666
+    - 5.6
+    - 5.633333333333334
+    - 5.666666666666667
+    - 5.7
+    - 5.733333333333333
+    - 5.766666666666667
+    - 5.8
+    - 5.833333333333333
+    - 5.866666666666666
+    - 5.9
+    - 5.933333333333334
+    - 5.966666666666667
+    - 6.0
+    - 6.033333333333333
+    - 6.066666666666666
+    - 6.1
+    - 6.133333333333334
+    - 6.166666666666667
+    - 6.2
+    - 6.233333333333333
+    - 6.266666666666667
+    - 6.3
+    - 6.333333333333333
+    - 6.366666666666666
+    - 6.4
+    - 6.433333333333334
+    - 6.466666666666667
+    - 6.5
+    - 6.533333333333333
+    - 6.566666666666666
+    - 6.6
+    - 6.633333333333334
+    - 6.666666666666667
+    - 6.7
+    - 6.733333333333333
+    - 6.766666666666667
+    - 6.8
+    - 6.833333333333333
+    - 6.866666666666666
+    - 6.9
+    - 6.933333333333334
+    - 6.966666666666667
+    - 7.0
+    - 7.033333333333333
+    - 7.066666666666666
+    - 7.1
+    - 7.133333333333334
+    - 7.166666666666667
+    - 7.2
+    - 7.233333333333333
+    - 7.266666666666667
+    - 7.3
+    - 7.333333333333333
+    - 7.366666666666666
+    - 7.4
+    - 7.433333333333334
+    - 7.466666666666667
+    - 7.5
+    - 7.533333333333333
+    - 7.566666666666666
+    - 7.6
+    - 7.633333333333334
+    - 7.666666666666667
+    - 7.7
+    - 7.733333333333333
+    - 7.766666666666667
+    - 7.8
+    - 7.833333333333333
+    - 7.866666666666666
+    - 7.9
+    - 7.933333333333334
+    - 7.966666666666667
+    - 8.0
+    - 8.033333333333333
+    - 8.066666666666666
+    - 8.1
+    - 8.133333333333333
+    - 8.166666666666666
+    - 8.2
+    - 8.233333333333333
+    - 8.266666666666667
+    - 8.3
+    - 8.333333333333334
+    - 8.366666666666667
+    - 8.4
+    - 8.433333333333334
+    - 8.466666666666667
+    - 8.5
+    - 8.533333333333333
+    - 8.566666666666666
+    - 8.6
+    - 8.633333333333333
+    - 8.666666666666666
+    - 8.7
+    - 8.733333333333333
+    - 8.766666666666667
+    - 8.8
+    - 8.833333333333334
+    - 8.866666666666667
+    - 8.9
+    - 8.933333333333334
+    - 8.966666666666667
+    - 9.0
+    - 9.033333333333333
+    - 9.066666666666666
+    - 9.1
+    - 9.133333333333333
+    - 9.166666666666666
+    - 9.2
+    - 9.233333333333333
+    - 9.266666666666667
+    - 9.3
+    - 9.333333333333334
+    - 9.366666666666667
+    - 9.4
+    - 9.433333333333334
+    - 9.466666666666667
+    - 9.5
+    - 9.533333333333333
+    - 9.566666666666666
+    - 9.6
+    - 9.633333333333333
+    - 9.666666666666666
+    - 9.7
+    - 9.733333333333333
+    - 9.766666666666667
+    - 9.8
+    - 9.833333333333334
+    - 9.866666666666667
+    - 9.9
+    - 9.933333333333334
+    - 9.966666666666667
+    - 10.0
+    - 10.033333333333333
+    - 10.066666666666666
+    - 10.1
+    - 10.133333333333333
+    - 10.166666666666666
+    - 10.2
+    - 10.233333333333333
+    - 10.266666666666667
+    - 10.3
+    - 10.333333333333334
+    - 10.366666666666667
+    - 10.4
+    - 10.433333333333334
+    - 10.466666666666667
+    - 10.5
+    - 10.533333333333333
+    - 10.566666666666666
+    - 10.6
+    - 10.633333333333333
+    - 10.666666666666666
+    - 10.7
+    - 10.733333333333333
+    - 10.766666666666667
+    - 10.8
+    - 10.833333333333334
+    - 10.866666666666667
+    - 10.9
+    - 10.933333333333334
+    - 10.966666666666667
+    - 11.0
+    - 11.033333333333333
+    - 11.066666666666666
+    - 11.1
+    - 11.133333333333333
+    - 11.166666666666666
+    - 11.2
+    - 11.233333333333333
+    - 11.266666666666667
+    - 11.3
+    - 11.333333333333334
+    - 11.366666666666667
+    - 11.4
+    - 11.433333333333334
+    - 11.466666666666667
+    - 11.5
+    - 11.533333333333333
+    - 11.566666666666666
+    - 11.6
+    - 11.633333333333333
+    - 11.666666666666666
+    - 11.7
+    - 11.733333333333333
+    - 11.766666666666667
+    - 11.8
+    - 11.833333333333334
+    - 11.866666666666667
+    - 11.9
+    - 11.933333333333334
+    - 11.966666666666667
+    - 12.0
+    - 12.033333333333333
+    - 12.066666666666666
+    - 12.1
+    - 12.133333333333333
+    - 12.166666666666666
+    - 12.2
+    - 12.233333333333333
+    - 12.266666666666667
+    - 12.3
+    - 12.333333333333334
+    - 12.366666666666667
+    - 12.4
+    - 12.433333333333334
+    - 12.466666666666667
+    - 12.5
+    - 12.533333333333333
+    - 12.566666666666666
+    - 12.6
+    - 12.633333333333333
+    - 12.666666666666666
+    - 12.7
+    - 12.733333333333333
+    - 12.766666666666667
+    - 12.8
+    - 12.833333333333334
+    - 12.866666666666667
+    - 12.9
+    - 12.933333333333334
+    - 12.966666666666667
+    - 13.0
+    - 13.033333333333333
+    - 13.066666666666666
+    - 13.1
+    - 13.133333333333333
+    - 13.166666666666666
+    - 13.2
+    - 13.233333333333333
+    - 13.266666666666667
+    - 13.3
+    - 13.333333333333334
+    - 13.366666666666667
+    - 13.4
+    - 13.433333333333334
+    - 13.466666666666667
+    - 13.5
+    - 13.533333333333333
+    - 13.566666666666666
+    - 13.6
+    - 13.633333333333333
+    - 13.666666666666666
+    - 13.7
+    - 13.733333333333333
+    - 13.766666666666667
+    - 13.8
+    - 13.833333333333334
+    - 13.866666666666667
+    - 13.9
+    - 13.933333333333334
+    - 13.966666666666667
+    - 14.0
+    - 14.033333333333333
+    - 14.066666666666666
+    - 14.1
+    - 14.133333333333333
+    - 14.166666666666666
+    - 14.2
+    - 14.233333333333333
+    - 14.266666666666667
+    - 14.3
+    - 14.333333333333334
+    - 14.366666666666667
+    - 14.4
+    - 14.433333333333334
+    - 14.466666666666667
+    - 14.5
+    - 14.533333333333333
+    - 14.566666666666666
+    - 14.6
+    - 14.633333333333333
+    - 14.666666666666666
+    - 14.7
+    - 14.733333333333333
+    - 14.766666666666667
+    - 14.8
+    - 14.833333333333334
+    - 14.866666666666667
+    - 14.9
+    - 14.933333333333334
+    - 14.966666666666667
+    - 15.0
+    - 15.033333333333333
+    - 15.066666666666666
+    - 15.1
+    - 15.133333333333333
+    - 15.166666666666666
+    - 15.2
+    - 15.233333333333333
+    - 15.266666666666667
+    - 15.3
+    - 15.333333333333334
+    - 15.366666666666667
+    - 15.4
+    - 15.433333333333334
+    - 15.466666666666667
+    - 15.5
+    - 15.533333333333333
+    - 15.566666666666666
+    - 15.6
+    - 15.633333333333333
+    - 15.666666666666666
+    - 15.7
+    - 15.733333333333333
+    - 15.766666666666667
+    - 15.8
+    - 15.833333333333334
+    - 15.866666666666667
+    - 15.9
+    - 15.933333333333334
+    - 15.966666666666667
+    - 16.0
+    - 16.033333333333335
+    - 16.066666666666666
+    - 16.1
+    - 16.133333333333333
+    - 16.166666666666668
+    - 16.2
+    - 16.233333333333334
+    - 16.266666666666666
+    - 16.3
+    - 16.333333333333332
+    - 16.366666666666667
+    - 16.4
+    - 16.433333333333334
+    - 16.466666666666665
+    - 16.5
+    - 16.533333333333335
+    - 16.566666666666666
+    - 16.6
+    - 16.633333333333333
+eval:
+  n_episodes: 50
+  batch_size: 50
+  use_async_envs: false
+wandb:
+  enable: false
+  disable_artifact: false
+  project: lerobot
+  notes: ''
+fps: 30
+env:
+  name: real_world
+  task: null
+  state_dim: 18
+  action_dim: 18
+  fps: ${fps}
+override_dataset_stats:
+  observation.images.cam_right_wrist:
+    mean:
+    - - - 0.485
+    - - - 0.456
+    - - - 0.406
+    std:
+    - - - 0.229
+    - - - 0.224
+    - - - 0.225
+  observation.images.cam_left_wrist:
+    mean:
+    - - - 0.485
+    - - - 0.456
+    - - - 0.406
+    std:
+    - - - 0.229
+    - - - 0.224
+    - - - 0.225
+  observation.images.cam_high:
+    mean:
+    - - - 0.485
+    - - - 0.456
+    - - - 0.406
+    std:
+    - - - 0.229
+    - - - 0.224
+    - - - 0.225
+policy:
+  name: act
+  n_obs_steps: 1
+  chunk_size: 500
+  n_action_steps: 100
+  input_shapes:
+    observation.images.cam_right_wrist:
+    - 3
+    - 480
+    - 640
+    observation.images.cam_left_wrist:
+    - 3
+    - 480
+    - 640
+    observation.images.cam_high:
+    - 3
+    - 480
+    - 640
+    observation.state:
+    - ${env.state_dim}
+  output_shapes:
+    action:
+    - ${env.action_dim}
+  input_normalization_modes:
+    observation.images.cam_right_wrist: mean_std
+    observation.images.cam_left_wrist: mean_std
+    observation.images.cam_high: mean_std
+    observation.state: mean_std
+  output_normalization_modes:
+    action: mean_std
+  vision_backbone: resnet18
+  pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
+  replace_final_stride_with_dilation: false
+  pre_norm: false
+  dim_model: 512
+  n_heads: 8
+  dim_feedforward: 3200
+  feedforward_activation: relu
+  n_encoder_layers: 4
+  n_decoder_layers: 1
+  use_vae: true
+  latent_dim: 32
+  n_vae_encoder_layers: 4
+  temporal_ensemble_momentum: null
+  dropout: 0.1
+  kl_weight: 10.0

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a59d55497074f279a9e23f97e53a6790cb6b03e4ee4eca1380d1c47832743c30
+size 208438440