End of training

README.md

@@ -0,0 +1,54 @@
+---
+license: llama2
+base_model: lmsys/vicuna-7b-v1.5
+tags:
+- generated_from_trainer
+model-index:
+- name: arc_cot_16
+ results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# arc_cot_16
+
+This model is a fine-tuned version of [lmsys/vicuna-7b-v1.5](https://huggingface.co/lmsys/vicuna-7b-v1.5) on an unknown dataset.
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 0.0001
+- train_batch_size: 4
+- eval_batch_size: 8
+- seed: 42
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_steps: 5
+- num_epochs: 20
+- mixed_precision_training: Native AMP
+
+### Training results
+
+
+
+### Framework versions
+
+- Transformers 4.36.0.dev0
+- Pytorch 2.1.0+cu121
+- Datasets 2.13.1
+- Tokenizers 0.14.1

adapter_config.json

@@ -0,0 +1,28 @@
+{
+ "alpha_pattern": {},
+ "auto_mapping": null,
+ "base_model_name_or_path": "lmsys/vicuna-7b-v1.5",
+ "bias": "none",
+ "fan_in_fan_out": false,
+ "inference_mode": true,
+ "init_lora_weights": true,
+ "layers_pattern": null,
+ "layers_to_transform": null,
+ "lora_alpha": 64,
+ "lora_dropout": 0.1,
+ "modules_to_save": null,
+ "peft_type": "LORA",
+ "r": 16,
+ "rank_pattern": {},
+ "revision": null,
+ "target_modules": [
+ "o_proj",
+ "down_proj",
+ "v_proj",
+ "q_proj",
+ "k_proj",
+ "gate_proj",
+ "up_proj"
+ ],
+ "task_type": "CAUSAL_LM"
+}

adapter_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:46504deac7ec4603654269c4e4d92265c366241231a4a847de8dcc895861ff61
+size 160069834

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:83c2ad1829efa5ec9662ed2c4319f3c5d398cd452472adcebd062dc920eb4bd7
+size 159967880

all_results.json

@@ -0,0 +1,7 @@
+{
+ "epoch": 20.0,
+ "train_loss": 0.46747704993467776,
+ "train_runtime": 146.5501,
+ "train_samples_per_second": 2.184,
+ "train_steps_per_second": 0.546
+}

args.txt

@@ -0,0 +1,14 @@
+base_model_name: lmsys/vicuna-7b-v1.5
+batch_size: 4
+cot: true
+dataset_name: BENBENBENb/ARC1000COT
+epochs: 20
+eval_strategy: epoch
+evaluation: false
+learning_rate: 0.0001
+logging_steps: 1
+output_dir: brettbbb/arc_cot_16
+seed: 42
+skip_example: true
+train_size: 16
+warmup_steps: 5

train_results.json

@@ -0,0 +1,7 @@
+{
+ "epoch": 20.0,
+ "train_loss": 0.46747704993467776,
+ "train_runtime": 146.5501,
+ "train_samples_per_second": 2.184,
+ "train_steps_per_second": 0.546
+}

trainer_state.json

@@ -0,0 +1,508 @@
+{
+ "best_metric": null,
+ "best_model_checkpoint": null,
+ "epoch": 20.0,
+ "eval_steps": 500,
+ "global_step": 80,
+ "is_hyper_param_search": false,
+ "is_local_process_zero": true,
+ "is_world_process_zero": true,
+ "log_history": [
+ {
+ "epoch": 0.25,
+ "learning_rate": 2e-05,
+ "loss": 2.493,
+ "step": 1
+ },
+ {
+ "epoch": 0.5,
+ "learning_rate": 4e-05,
+ "loss": 2.0453,
+ "step": 2
+ },
+ {
+ "epoch": 0.75,
+ "learning_rate": 6e-05,
+ "loss": 2.1824,
+ "step": 3
+ },
+ {
+ "epoch": 1.0,
+ "learning_rate": 8e-05,
+ "loss": 2.3101,
+ "step": 4
+ },
+ {
+ "epoch": 1.25,
+ "learning_rate": 0.0001,
+ "loss": 2.1998,
+ "step": 5
+ },
+ {
+ "epoch": 1.5,
+ "learning_rate": 9.866666666666668e-05,
+ "loss": 1.8858,
+ "step": 6
+ },
+ {
+ "epoch": 1.75,
+ "learning_rate": 9.733333333333335e-05,
+ "loss": 1.5819,
+ "step": 7
+ },
+ {
+ "epoch": 2.0,
+ "learning_rate": 9.6e-05,
+ "loss": 1.7017,
+ "step": 8
+ },
+ {
+ "epoch": 2.25,
+ "learning_rate": 9.466666666666667e-05,
+ "loss": 1.3044,
+ "step": 9
+ },
+ {
+ "epoch": 2.5,
+ "learning_rate": 9.333333333333334e-05,
+ "loss": 1.3339,
+ "step": 10
+ },
+ {
+ "epoch": 2.75,
+ "learning_rate": 9.200000000000001e-05,
+ "loss": 1.5896,
+ "step": 11
+ },
+ {
+ "epoch": 3.0,
+ "learning_rate": 9.066666666666667e-05,
+ "loss": 1.4063,
+ "step": 12
+ },
+ {
+ "epoch": 3.25,
+ "learning_rate": 8.933333333333334e-05,
+ "loss": 1.4299,
+ "step": 13
+ },
+ {
+ "epoch": 3.5,
+ "learning_rate": 8.800000000000001e-05,
+ "loss": 1.1681,
+ "step": 14
+ },
+ {
+ "epoch": 3.75,
+ "learning_rate": 8.666666666666667e-05,
+ "loss": 0.8527,
+ "step": 15
+ },
+ {
+ "epoch": 4.0,
+ "learning_rate": 8.533333333333334e-05,
+ "loss": 1.0451,
+ "step": 16
+ },
+ {
+ "epoch": 4.25,
+ "learning_rate": 8.4e-05,
+ "loss": 1.0614,
+ "step": 17
+ },
+ {
+ "epoch": 4.5,
+ "learning_rate": 8.266666666666667e-05,
+ "loss": 0.8086,
+ "step": 18
+ },
+ {
+ "epoch": 4.75,
+ "learning_rate": 8.133333333333334e-05,
+ "loss": 0.6469,
+ "step": 19
+ },
+ {
+ "epoch": 5.0,
+ "learning_rate": 8e-05,
+ "loss": 0.635,
+ "step": 20
+ },
+ {
+ "epoch": 5.25,
+ "learning_rate": 8e-05,
+ "loss": 0.7024,
+ "step": 21
+ },
+ {
+ "epoch": 5.5,
+ "learning_rate": 7.866666666666666e-05,
+ "loss": 0.5548,
+ "step": 22
+ },
+ {
+ "epoch": 5.75,
+ "learning_rate": 7.733333333333333e-05,
+ "loss": 0.6025,
+ "step": 23
+ },
+ {
+ "epoch": 6.0,
+ "learning_rate": 7.6e-05,
+ "loss": 0.4554,
+ "step": 24
+ },
+ {
+ "epoch": 6.25,
+ "learning_rate": 7.466666666666667e-05,
+ "loss": 0.4061,
+ "step": 25
+ },
+ {
+ "epoch": 6.5,
+ "learning_rate": 7.333333333333333e-05,
+ "loss": 0.5503,
+ "step": 26
+ },
+ {
+ "epoch": 6.75,
+ "learning_rate": 7.2e-05,
+ "loss": 0.2707,
+ "step": 27
+ },
+ {
+ "epoch": 7.0,
+ "learning_rate": 7.066666666666667e-05,
+ "loss": 0.2606,
+ "step": 28
+ },
+ {
+ "epoch": 7.25,
+ "learning_rate": 6.933333333333334e-05,
+ "loss": 0.1781,
+ "step": 29
+ },
+ {
+ "epoch": 7.5,
+ "learning_rate": 6.800000000000001e-05,
+ "loss": 0.214,
+ "step": 30
+ },
+ {
+ "epoch": 7.75,
+ "learning_rate": 6.666666666666667e-05,
+ "loss": 0.2679,
+ "step": 31
+ },
+ {
+ "epoch": 8.0,
+ "learning_rate": 6.533333333333334e-05,
+ "loss": 0.2702,
+ "step": 32
+ },
+ {
+ "epoch": 8.25,
+ "learning_rate": 6.400000000000001e-05,
+ "loss": 0.2608,
+ "step": 33
+ },
+ {
+ "epoch": 8.5,
+ "learning_rate": 6.266666666666667e-05,
+ "loss": 0.088,
+ "step": 34
+ },
+ {
+ "epoch": 8.75,
+ "learning_rate": 6.133333333333334e-05,
+ "loss": 0.1144,
+ "step": 35
+ },
+ {
+ "epoch": 9.0,
+ "learning_rate": 6e-05,
+ "loss": 0.1136,
+ "step": 36
+ },
+ {
+ "epoch": 9.25,
+ "learning_rate": 5.866666666666667e-05,
+ "loss": 0.0544,
+ "step": 37
+ },
+ {
+ "epoch": 9.5,
+ "learning_rate": 5.7333333333333336e-05,
+ "loss": 0.1524,
+ "step": 38
+ },
+ {
+ "epoch": 9.75,
+ "learning_rate": 5.6000000000000006e-05,
+ "loss": 0.0919,
+ "step": 39
+ },
+ {
+ "epoch": 10.0,
+ "learning_rate": 5.466666666666666e-05,
+ "loss": 0.0715,
+ "step": 40
+ },
+ {
+ "epoch": 10.25,
+ "learning_rate": 5.333333333333333e-05,
+ "loss": 0.0546,
+ "step": 41
+ },
+ {
+ "epoch": 10.5,
+ "learning_rate": 5.2000000000000004e-05,
+ "loss": 0.0464,
+ "step": 42
+ },
+ {
+ "epoch": 10.75,
+ "learning_rate": 5.0666666666666674e-05,
+ "loss": 0.0761,
+ "step": 43
+ },
+ {
+ "epoch": 11.0,
+ "learning_rate": 4.933333333333334e-05,
+ "loss": 0.1315,
+ "step": 44
+ },
+ {
+ "epoch": 11.25,
+ "learning_rate": 4.8e-05,
+ "loss": 0.0872,
+ "step": 45
+ },
+ {
+ "epoch": 11.5,
+ "learning_rate": 4.666666666666667e-05,
+ "loss": 0.0504,
+ "step": 46
+ },
+ {
+ "epoch": 11.75,
+ "learning_rate": 4.5333333333333335e-05,
+ "loss": 0.068,
+ "step": 47
+ },
+ {
+ "epoch": 12.0,
+ "learning_rate": 4.4000000000000006e-05,
+ "loss": 0.0727,
+ "step": 48
+ },
+ {
+ "epoch": 12.25,
+ "learning_rate": 4.266666666666667e-05,
+ "loss": 0.0811,
+ "step": 49
+ },
+ {
+ "epoch": 12.5,
+ "learning_rate": 4.133333333333333e-05,
+ "loss": 0.062,
+ "step": 50
+ },
+ {
+ "epoch": 12.75,
+ "learning_rate": 4e-05,
+ "loss": 0.0556,
+ "step": 51
+ },
+ {
+ "epoch": 13.0,
+ "learning_rate": 3.866666666666667e-05,
+ "loss": 0.0472,
+ "step": 52
+ },
+ {
+ "epoch": 13.25,
+ "learning_rate": 3.733333333333334e-05,
+ "loss": 0.0455,
+ "step": 53
+ },
+ {
+ "epoch": 13.5,
+ "learning_rate": 3.6e-05,
+ "loss": 0.0391,
+ "step": 54
+ },
+ {
+ "epoch": 13.75,
+ "learning_rate": 3.466666666666667e-05,
+ "loss": 0.0621,
+ "step": 55
+ },
+ {
+ "epoch": 14.0,
+ "learning_rate": 3.3333333333333335e-05,
+ "loss": 0.0642,
+ "step": 56
+ },
+ {
+ "epoch": 14.25,
+ "learning_rate": 3.2000000000000005e-05,
+ "loss": 0.0348,
+ "step": 57
+ },
+ {
+ "epoch": 14.5,
+ "learning_rate": 3.066666666666667e-05,
+ "loss": 0.0332,
+ "step": 58
+ },
+ {
+ "epoch": 14.75,
+ "learning_rate": 2.9333333333333336e-05,
+ "loss": 0.0639,
+ "step": 59
+ },
+ {
+ "epoch": 15.0,
+ "learning_rate": 2.8000000000000003e-05,
+ "loss": 0.0558,
+ "step": 60
+ },
+ {
+ "epoch": 15.25,
+ "learning_rate": 2.6666666666666667e-05,
+ "loss": 0.0634,
+ "step": 61
+ },
+ {
+ "epoch": 15.5,
+ "learning_rate": 2.5333333333333337e-05,
+ "loss": 0.0351,
+ "step": 62
+ },
+ {
+ "epoch": 15.75,
+ "learning_rate": 2.4e-05,
+ "loss": 0.0515,
+ "step": 63
+ },
+ {
+ "epoch": 16.0,
+ "learning_rate": 2.2666666666666668e-05,
+ "loss": 0.038,
+ "step": 64
+ },
+ {
+ "epoch": 16.25,
+ "learning_rate": 2.1333333333333335e-05,
+ "loss": 0.0289,
+ "step": 65
+ },
+ {
+ "epoch": 16.5,
+ "learning_rate": 2e-05,
+ "loss": 0.0416,
+ "step": 66
+ },
+ {
+ "epoch": 16.75,
+ "learning_rate": 1.866666666666667e-05,
+ "loss": 0.0424,
+ "step": 67
+ },
+ {
+ "epoch": 17.0,
+ "learning_rate": 1.7333333333333336e-05,
+ "loss": 0.0438,
+ "step": 68
+ },
+ {
+ "epoch": 17.25,
+ "learning_rate": 1.6000000000000003e-05,
+ "loss": 0.0329,
+ "step": 69
+ },
+ {
+ "epoch": 17.5,
+ "learning_rate": 1.4666666666666668e-05,
+ "loss": 0.0571,
+ "step": 70
+ },
+ {
+ "epoch": 17.75,
+ "learning_rate": 1.3333333333333333e-05,
+ "loss": 0.0333,
+ "step": 71
+ },
+ {
+ "epoch": 18.0,
+ "learning_rate": 1.2e-05,
+ "loss": 0.0318,
+ "step": 72
+ },
+ {
+ "epoch": 18.25,
+ "learning_rate": 1.0666666666666667e-05,
+ "loss": 0.0399,
+ "step": 73
+ },
+ {
+ "epoch": 18.5,
+ "learning_rate": 9.333333333333334e-06,
+ "loss": 0.0469,
+ "step": 74
+ },
+ {
+ "epoch": 18.75,
+ "learning_rate": 8.000000000000001e-06,
+ "loss": 0.0439,
+ "step": 75
+ },
+ {
+ "epoch": 19.0,
+ "learning_rate": 6.666666666666667e-06,
+ "loss": 0.0305,
+ "step": 76
+ },
+ {
+ "epoch": 19.25,
+ "learning_rate": 5.333333333333334e-06,
+ "loss": 0.0336,
+ "step": 77
+ },
+ {
+ "epoch": 19.5,
+ "learning_rate": 4.000000000000001e-06,
+ "loss": 0.0274,
+ "step": 78
+ },
+ {
+ "epoch": 19.75,
+ "learning_rate": 2.666666666666667e-06,
+ "loss": 0.0511,
+ "step": 79
+ },
+ {
+ "epoch": 20.0,
+ "learning_rate": 1.3333333333333334e-06,
+ "loss": 0.0317,
+ "step": 80
+ },
+ {
+ "epoch": 20.0,
+ "step": 80,
+ "total_flos": 4084113761894400.0,
+ "train_loss": 0.46747704993467776,
+ "train_runtime": 146.5501,
+ "train_samples_per_second": 2.184,
+ "train_steps_per_second": 0.546
+ }
+ ],
+ "logging_steps": 1,
+ "max_steps": 80,
+ "num_train_epochs": 20,
+ "save_steps": 500,
+ "total_flos": 4084113761894400.0,
+ "trial_name": null,
+ "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bdf24cd293404fe22da1ce42084d4d1f0fad039b34be7ddf1876a1bbcef358ad
+size 4600