{ "per_channel": false, "reduce_range": false, "quantize_mode": "8bits", "per_model_config": { "decoder_model": { "op_types": [ "ReduceMean", "Mul", "Constant", "ConstantOfShape", "Sqrt", "Softmax", "Div", "Squeeze", "Shape", "Range", "Neg", "Add", "Reshape", "MatMul", "Where", "Equal", "Cast", "Tanh", "Sub", "Slice", "Gather", "Expand", "Transpose", "Pow", "Unsqueeze", "Concat", "Less" ], "weight_type": "QInt8" }, "decoder_model_merged": { "op_types": [ "ReduceMean", "Mul", "Constant", "ConstantOfShape", "Sqrt", "Softmax", "Div", "Squeeze", "Shape", "Range", "Neg", "Add", "Reshape", "MatMul", "Where", "Equal", "Cast", "Tanh", "Sub", "Slice", "Gather", "Expand", "Transpose", "Pow", "Unsqueeze", "Concat", "If", "Less" ], "weight_type": "QInt8" }, "decoder_with_past_model": { "op_types": [ "ReduceMean", "Mul", "Constant", "ConstantOfShape", "Sqrt", "Softmax", "Div", "Shape", "Range", "Neg", "Add", "Reshape", "MatMul", "Where", "Equal", "Cast", "Tanh", "Sub", "Slice", "Gather", "Expand", "Transpose", "Pow", "Unsqueeze", "Concat" ], "weight_type": "QInt8" } } }