config.yaml

resume: false
device: cuda
use_amp: false
seed: 1000
dataset_repo_id: jmercat/koch_feed_cat_2
video_backend: pyav
training:
  offline_steps: 16000
  num_workers: 4
  batch_size: 64
  eval_freq: -1
  log_freq: 200
  save_checkpoint: true
  save_freq: 1600
  online_steps: 0
  online_rollout_n_episodes: 1
  online_rollout_batch_size: 1
  online_steps_between_rollouts: 1
  online_sampling_ratio: 0.5
  online_env_seed: null
  online_buffer_capacity: null
  online_buffer_seed_size: 0
  do_online_rollout_async: false
  image_transforms:
    enable: false
    max_num_transforms: 3
    random_order: false
    brightness:
      weight: 1
      min_max:
      - 0.8
      - 1.2
    contrast:
      weight: 1
      min_max:
      - 0.8
      - 1.2
    saturation:
      weight: 1
      min_max:
      - 0.5
      - 1.5
    hue:
      weight: 1
      min_max:
      - -0.05
      - 0.05
    sharpness:
      weight: 1
      min_max:
      - 0.8
      - 1.2
  grad_clip_norm: 10
  lr: 0.0001
  lr_scheduler: cosine
  lr_warmup_steps: 500
  adam_betas:
  - 0.95
  - 0.999
  adam_eps: 1.0e-08
  adam_weight_decay: 1.0e-06
  delta_timestamps:
    action:
    - 0.0
    - 0.03333333333333333
    - 0.06666666666666667
    - 0.1
    - 0.13333333333333333
    - 0.16666666666666666
    - 0.2
    - 0.23333333333333334
    - 0.26666666666666666
    - 0.3
    - 0.3333333333333333
    - 0.36666666666666664
    - 0.4
    - 0.43333333333333335
    - 0.4666666666666667
    - 0.5
    - 0.5333333333333333
    - 0.5666666666666667
    - 0.6
    - 0.6333333333333333
    - 0.6666666666666666
    - 0.7
    - 0.7333333333333333
    - 0.7666666666666667
    - 0.8
    - 0.8333333333333334
    - 0.8666666666666667
    - 0.9
    - 0.9333333333333333
    - 0.9666666666666667
    - 1.0
    - 1.0333333333333334
    - 1.0666666666666667
    - 1.1
    - 1.1333333333333333
    - 1.1666666666666667
    - 1.2
    - 1.2333333333333334
    - 1.2666666666666666
    - 1.3
    - 1.3333333333333333
    - 1.3666666666666667
    - 1.4
    - 1.4333333333333333
    - 1.4666666666666666
    - 1.5
    - 1.5333333333333334
    - 1.5666666666666667
    - 1.6
    - 1.6333333333333333
    - 1.6666666666666667
    - 1.7
    - 1.7333333333333334
    - 1.7666666666666666
    - 1.8
    - 1.8333333333333333
    - 1.8666666666666667
    - 1.9
    - 1.9333333333333333
    - 1.9666666666666666
    - 2.0
    - 2.033333333333333
    - 2.066666666666667
    - 2.1
    - 2.1333333333333333
    - 2.1666666666666665
    - 2.2
    - 2.2333333333333334
    - 2.2666666666666666
    - 2.3
    - 2.3333333333333335
    - 2.3666666666666667
    - 2.4
    - 2.433333333333333
    - 2.466666666666667
    - 2.5
    - 2.533333333333333
    - 2.566666666666667
    - 2.6
    - 2.6333333333333333
    - 2.6666666666666665
    - 2.7
    - 2.7333333333333334
    - 2.7666666666666666
    - 2.8
    - 2.8333333333333335
    - 2.8666666666666667
    - 2.9
    - 2.933333333333333
    - 2.966666666666667
    - 3.0
    - 3.033333333333333
    - 3.066666666666667
    - 3.1
    - 3.1333333333333333
    - 3.1666666666666665
    - 3.2
    - 3.2333333333333334
    - 3.2666666666666666
    - 3.3
    - 3.3333333333333335
    - 3.3666666666666667
    - 3.4
    - 3.433333333333333
    - 3.466666666666667
    - 3.5
    - 3.533333333333333
    - 3.566666666666667
    - 3.6
    - 3.6333333333333333
    - 3.6666666666666665
    - 3.7
    - 3.7333333333333334
    - 3.7666666666666666
    - 3.8
    - 3.8333333333333335
    - 3.8666666666666667
    - 3.9
    - 3.933333333333333
    - 3.966666666666667
    - 4.0
    - 4.033333333333333
    - 4.066666666666666
    - 4.1
    - 4.133333333333334
    - 4.166666666666667
    - 4.2
    - 4.233333333333333
eval:
  n_episodes: 5
  batch_size: 5
  use_async_envs: false
wandb:
  enable: true
  disable_artifact: false
  project: lerobot
  notes: ''
fps: 30
env:
  name: real_world
  task: null
  state_dim: 6
  action_dim: 6
  fps: ${fps}
override_dataset_stats:
  observation.images.phone:
    mean:
    - - - 0.485
    - - - 0.456
    - - - 0.406
    std:
    - - - 0.229
    - - - 0.224
    - - - 0.225
policy:
  name: diffusion
  n_obs_steps: 1
  horizon: 128
  n_action_steps: 32
  input_shapes:
    observation.images.phone:
    - 3
    - 480
    - 640
    observation.state:
    - ${env.state_dim}
  output_shapes:
    action:
    - ${env.action_dim}
  input_normalization_modes:
    observation.images.phone: mean_std
    observation.state: mean_std
  output_normalization_modes:
    action: mean_std
  vision_backbone: resnet18
  crop_shape:
  - 432
  - 576
  crop_is_random: true
  pretrained_backbone_weights: ResNet18_Weights.IMAGENET1K_V1
  use_group_norm: false
  spatial_softmax_num_keypoints: 32
  down_dims:
  - 512
  - 512
  - 512
  kernel_size: 5
  n_groups: 8
  diffusion_step_embed_dim: 128
  use_film_scale_modulation: true
  noise_scheduler_type: DDPM
  num_train_timesteps: 100
  beta_schedule: squaredcos_cap_v2
  beta_start: 0.0001
  beta_end: 0.02
  prediction_type: sample
  clip_sample: true
  clip_sample_range: 1.0
  num_inference_steps: null
  do_mask_loss_for_padding: false