Update config.json

config.json

@@ -1,3 +1,7 @@
 {
- "quantization_config":“”
+ "quantization_config": {
+ "bits": 4,
+ "quant_method": "awq"
+
+ }
  }