Upload folder using huggingface_hub

README.md

@@ -677,7 +677,59 @@ InternVL 2.0 是一个多模态大语言模型系列，包含各种规模的模
 
 ### LMDeploy
 
-TODO
+#### API部署
+
+为了将InternVL2部署成API，请先配置聊天模板配置文件。创建如下的 JSON 文件 `chat_template.json`。
+
+```json
+{
+ "model_name":"internvl-internlm2",
+ "meta_instruction":"我是书生·万象，英文名是InternVL，是由上海人工智能实验室及多家合作单位联合开发的多模态大语言模型。",
+ "stop_words":["<|im_start|>", "<|im_end|>"]
+}
+```
+
+LMDeploy 的 `api_server` 使模型能够通过一个命令轻松打包成服务。提供的 RESTful API 与 OpenAI 的接口兼容。以下是服务启动的示例：
+
+> **⚠️ 注意**: 请务必安装Flash Attention; 否则，使用`——tp`将存在异常。
+
+```shell
+CUDA_VISIBLE_DEVICES=0,1,2,3 lmdeploy serve api_server OpenGVLab/InternVL2-Llama3-76B --backend turbomind --server-port 23333 --chat-template chat_template.json --tp 4
+```
+
+为了使用OpenAI风格的API接口，您需要安装OpenAI:
+
+```shell
+pip install openai
+```
+
+然后，使用下面的代码进行API调用:
+
+```python
+from openai import OpenAI
+
+client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
+model_name = client.models.list().data[0].id
+response = client.chat.completions.create(
+ model=model_name,
+ messages=[{
+ 'role':
+ 'user',
+ 'content': [{
+ 'type': 'text',
+ 'text': 'describe this image',
+ }, {
+ 'type': 'image_url',
+ 'image_url': {
+ 'url':
+ 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger.jpeg',
+ },
+ }],
+ }],
+ temperature=0.8,
+ top_p=0.8)
+print(response)
+```
 
 ### vLLM