fix

README.md

@@ -3,16 +3,17 @@ license: other
 license_name: glm-4
 license_link: https://huggingface.co/THUDM/glm-4-9b-chat/blob/main/LICENSE
 language:
-- zh
-- en
+ - zh
+ - en
 tags:
-- glm
-- chatglm
-- thudm
+ - glm
+ - chatglm
+ - thudm
 inference: false
 ---
 
 # GLM-4-9B-Chat
+
 Read this in [English](README_en.md).
 
 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
@@ -31,7 +32,6 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 | ChatGLM3-6B | 3.97 | 5.50 | 28.1 | 66.4 | 69.0 | 72.3 | 25.7 | 58.5 | 11.3 |
 | GLM-4-9B-Chat | 6.61 | 8.35 | 69.0 | 72.4 | 75.6 | 79.6 | 50.6 | 71.8 | 32.2 |
 
-
 ### 长文本
 
 在 1M 的上下文长度下进行[大海捞针实验](https://github.com/LargeWorldModel/LWM/blob/main/scripts/eval_needle.py)，结果如下：
@@ -55,11 +55,10 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 | XStoryCloze | 84.7 | 90.7 | zh, en, ar, es, eu, hi, id, my, ru, sw, te 
 | XCOPA | 73.3 | 80.1 | zh, et, ht, id, it, qu, sw, ta, th, tr, vi 
 
-
-
 ### 工具调用能力
 
-我们在 [Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard)上进行了测试并得到了以下结果：
+我们在 [Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/gorilla/tree/main/berkeley-function-call-leaderboard)
+上进行了测试并得到了以下结果：
 
 | Model | Overall Acc. | AST Summary | Exec Summary | Relevance |
 |:-----------------------|:------------:|:-----------:|:------------:|:---------:|
@@ -72,11 +71,12 @@ GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开
 
 ## 运行模型
 
-更多推理代码和依赖信息，请访问我们的 [github](https://github.com/THUDM/GLM-4) 。
+**更多推理代码和依赖信息，请访问我们的 [github](https://github.com/THUDM/GLM-4)。**
+
+**请严格按照[依赖](https://github.com/THUDM/GLM-4/blob/main/basic_demo/requirements.txt)安装，否则无法正常运行。**
 
 ### 使用 transformers 后端进行推理:
 
-**请严格按照[依赖](https://github.com/THUDM/GLM-4/blob/main/basic_demo/requirements.txt)安装，否则无法正常运行**
 
 ```python
 import torch
@@ -84,7 +84,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 
 device = "cuda"
 
-tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat",trust_remote_code=True)
+tokenizer = AutoTokenizer.from_pretrained("THUDM/glm-4-9b-chat", trust_remote_code=True)
 
 query = "你好"
 
@@ -149,7 +149,6 @@ print(outputs[0].outputs[0].text)
 
 GLM-4 模型的权重的使用则需要遵循 [LICENSE](LICENSE)。
 
-
 ## 引用
 
 如果你觉得我们的工作有帮助的话，请考虑引用下列论文。

README_en.md

@@ -66,12 +66,12 @@ on [Berkeley Function Calling Leaderboard](https://github.com/ShishirPatil/goril
 
 ## Quick Start
 
-For more inference code and requirements, please visit our [github page](https://github.com/THUDM/GLM-4).
-
-### Use the following method to quickly call the GLM-4-9B-Chat language model
+**For more inference code and requirements, please visit our [github page](https://github.com/THUDM/GLM-4).**
 
 **Please strictly follow the [dependencies](https://github.com/THUDM/GLM-4/blob/main/basic_demo/requirements.txt) to install, otherwise it will not run properly**
 
+### Use the following method to quickly call the GLM-4-9B-Chat language model
+
 Use the transformers backend for inference:
 
 ```python

generation_config.json

@@ -9,5 +9,5 @@
  "temperature": 0.8,
  "max_length": 128000,
  "top_p": 0.8,
- "transformers_version": "4.40.2"
+ "transformers_version": "4.42.4"
 }

modeling_chatglm.py

@@ -793,11 +793,6 @@ class ChatGLMPreTrainedModel(PreTrainedModel):
  position_ids = torch.arange(seq_length, dtype=torch.long, device=device).unsqueeze(0).repeat(batch_size, 1)
  return position_ids
 
- def gradient_checkpointing_enable(self, gradient_checkpointing_kwargs=None):
- if not self.supports_gradient_checkpointing:
- raise ValueError(f"{self.__class__.__name__} does not support gradient checkpointing.")
-
-
 class Embedding(torch.nn.Module):
  """Language model embeddings."""