erax commited on
Commit
20116f9
1 Parent(s): 804a959

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -18
README.md CHANGED
@@ -168,18 +168,7 @@ Please contact **[email protected]** for API access inquiry.
168
  }
169
  }
170
  ```
171
-
172
- ### Example 03: Image Captioning w/ Hand-writing
173
-
174
- <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/qUmymDQnE2Br46LckVMbb.jpeg) -->
175
-
176
- <div align="left">
177
- <img src="https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/qUmymDQnE2Br46LckVMbb.jpeg" width="500"/>
178
- </div>
179
-
180
- Hình ảnh là một bức chân dung của Chủ tịch Hồ Chí Minh, được in trên nền giấy màu vàng. Bên trái hình ảnh là chân dung của Hồ Chí Minh, với nét mặt nghiêm nghị, râu quai nón và tóc bạc. Bên phải hình ảnh là một đoạn văn bản viết tay bằng tiếng Việt, với nội dung: 'Khuyên đồng bào nam nữ 18 tuổi trở lên hôm nay tất cả đều đi bỏ phiếu, để bầu những đại biểu xứng đáng, vào Quốc hội đầu tiên của nước ta.' Dưới đoạn văn bản là chữ ký 'Hồ Chí Minh' và ngày tháng '6,1,46'.
181
-
182
- ### Example 04: Image Captioning
183
 
184
  <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg) -->
185
  <div align="left">
@@ -188,7 +177,7 @@ Hình ảnh là một bức chân dung của Chủ tịch Hồ Chí Minh, đư
188
 
189
  Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi</span>, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: **<span style="color:red">vùng màu đỏ</span>** ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; **<span style="color:orange">vùng màu vàng</span>** nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và **<span style="color:green">vùng màu xanh lá cây</span>** ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ '**Béo phì**', '**Nguy cơ béo phì**', '**Sức khỏe dinh dưỡng tốt**', và '**Thiếu cân**' để mô tả từng khu vực tương ứng với chỉ số BMI.
190
 
191
- ### Example 05: Image Captioning
192
 
193
  <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->
194
 
@@ -198,7 +187,7 @@ Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối q
198
 
199
  Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. **<span style="color:green">Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình</span>**. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. **<span style="color:blue">Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm</span>**. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
200
 
201
- ### Example 06: Visual Question Answering
202
 
203
  <div align="left">
204
  <img src="images/images_biencadoitheo_3.jpg" width="500"/>
@@ -208,7 +197,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
208
 
209
  - **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: **<span style="color:green">'Sofia's bear was old, tatty and very well loved.'** </span> (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: **<span style="color:green">'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.'** </span>. Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.
210
 
211
- ### Example 07: Multi-turns Visual Question Answering and Reasoning
212
 
213
  <div align="left">
214
  <img src="images/images_henkham_0.jpg" width="500"/>
@@ -239,7 +228,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
239
 
240
  - **Assistant**: **<span style="color:blue">Vào năm 2020</span>**, Nguyễn Thị Luân sẽ **<span style="color:blue">44 tuổi vì năm 2020 cách năm 2024 4 năm</span>**.
241
 
242
- ### Example 08: Multi-images Visual Question Answering
243
 
244
  <div style="display: flex; justify-content: left; gap: 10px;">
245
  <img src="images/images_langque_0.jpg" width="350"/>
@@ -248,7 +237,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
248
 
249
  - **User**: Hãy trích xuất toàn bộ chi tiết của các bức ảnh này theo đúng thứ tự của nội dung và không bình luận gì
250
 
251
- - **Assistant**: Hình ảnh đầu tiên là một **<span style="color:coral">bức tranh sơn dầu với phong cách tả thực, thể hiện khung cảnh làng quê Việt Nam thanh bình</span>**. Bức tranh được vẽ với gam màu tươi sáng, rực rỡ, tạo cảm giác ấm áp, vui tươi. **<span style="color:skyblue">Nền trời xanh biếc</span>**, điểm xuyết những **<span style="color:darkcyan">đám mây trắng bồng bềnh</span>**. Phía xa là **<span style="color:greenyellow">dãy núi xanh ngắt</span>**, thấp thoáng **<span style="color:indianred">những ngôi nhà mái ngói đỏ au</span>**. Giữa khung cảnh là **<span style="color:aliceblue">dòng sông uốn lượn</span>**, chảy hiền hòa giữa **<span style="color:lightgoldenrodyellow">cánh đồng lúa chín vàng óng ánh</span>**. Hai bên bờ sông là những **<span style="color:forestgreen">hàng cây xanh mát rượi</span>**, tạo nên một **<span style="color:mediumpurple">bức tranh thiên nhiên thơ mộng, hữu tình</span>**. Trên dòng sông, có **<span style="color:blue">hai người đang ngồi trên thuyền nhỏ</span>**, tay cầm lái, hướng về phía trước. Bên cạnh đó, còn có **<span style="color:hotpink">một người phụ nữ đang đi trên con đường đất nhỏ, hướng về phía làng</span>**. Hình ảnh này gợi lên **<span style="color:darkseagreen">một cuộc sống thanh bình, yên ả của người dân làng quê Việt Nam</span>**.
252
 
253
  Hình ảnh thứ hai là một bức ảnh chụp chân dung, thể hiện sự hồn nhiên, trong sáng của tuổi thơ. Trong ảnh, có **<span style="color:blueviolet">ba nhân vật chính: hai cậu bé và một người đàn ông</span>**. **<span style="color:mediumvioletred">Cậu bé lớn hơn</span>** đang cưỡi trên lưng con trâu đen, hai tay nắm chặt vào dây cương, vẻ mặt đầy thích thú. **<span style="color:seagreen">Cậu bé nhỏ hơn</span>** ngồi sau lưng cậu bạn lớn, tay cầm một chiếc mũ rộng vành, nhìn về phía trước với ánh mắt ngây thơ. **<span style="color:darkblue">Người đàn ông</span>** đứng ở phía sau, mặc quần đùi, tay cầm một cái chậu nước, đang đổ nước lên đầu hai cậu bé. Bối cảnh của bức ảnh là một cánh đồng cỏ xanh mướt, phía xa là những hàng cây xanh mát. Ánh nắng ban mai chiếu rọi xuống cánh đồng, tạo nên một **<span style="color:darkgreen">khung cảnh đẹp như tranh vẽ</span>**.
254
 
@@ -292,7 +281,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_path)
292
 
293
  min_pixels = 256 * 28 * 28
294
  max_pixels = 1280 * 28 * 28
295
- processor_model = "Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4"
296
  processor = AutoProcessor.from_pretrained(
297
  processor_model,
298
  min_pixels=min_pixels,
 
168
  }
169
  }
170
  ```
171
+ ### Example 03: Image Captioning
 
 
 
 
 
 
 
 
 
 
 
172
 
173
  <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg) -->
174
  <div align="left">
 
177
 
178
  Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi</span>, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: **<span style="color:red">vùng màu đỏ</span>** ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; **<span style="color:orange">vùng màu vàng</span>** nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và **<span style="color:green">vùng màu xanh lá cây</span>** ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ '**Béo phì**', '**Nguy cơ béo phì**', '**Sức khỏe dinh dưỡng tốt**', và '**Thiếu cân**' để mô tả từng khu vực tương ứng với chỉ số BMI.
179
 
180
+ ### Example 04: Image Captioning
181
 
182
  <!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->
183
 
 
187
 
188
  Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. **<span style="color:green">Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình</span>**. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. **<span style="color:blue">Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm</span>**. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
189
 
190
+ ### Example 05: Visual Question Answering
191
 
192
  <div align="left">
193
  <img src="images/images_biencadoitheo_3.jpg" width="500"/>
 
197
 
198
  - **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: **<span style="color:green">'Sofia's bear was old, tatty and very well loved.'** </span> (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: **<span style="color:green">'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.'** </span>. Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.
199
 
200
+ ### Example 06: Multi-turns Visual Question Answering and Reasoning
201
 
202
  <div align="left">
203
  <img src="images/images_henkham_0.jpg" width="500"/>
 
228
 
229
  - **Assistant**: **<span style="color:blue">Vào năm 2020</span>**, Nguyễn Thị Luân sẽ **<span style="color:blue">44 tuổi vì năm 2020 cách năm 2024 4 năm</span>**.
230
 
231
+ ### Example 07: Multi-images Visual Question Answering
232
 
233
  <div style="display: flex; justify-content: left; gap: 10px;">
234
  <img src="images/images_langque_0.jpg" width="350"/>
 
237
 
238
  - **User**: Hãy trích xuất toàn bộ chi tiết của các bức ảnh này theo đúng thứ tự của nội dung và không bình luận gì
239
 
240
+ - **Assistant**: Hình ảnh đầu tiên là một bức tranh sơn dầu với phong cách tả thực, thể hiện khung cảnh làng quê Việt Nam thanh bình. Bức tranh được vẽ với gam màu tươi sáng, rực rỡ, tạo cảm giác ấm áp, vui tươi. **<span style="color:skyblue">Nền trời xanh biếc</span>**, điểm xuyết những **<span style="color:darkcyan">đám mây trắng bồng bềnh</span>**. Phía xa là **<span style="color:greenyellow">dãy núi xanh ngắt</span>**, thấp thoáng **<span style="color:indianred">những ngôi nhà mái ngói đỏ au</span>**. Giữa khung cảnh là **<span style="color:orangered">dòng sông uốn lượn</span>**, chảy hiền hòa giữa **<span style="color:mediumpurple">cánh đồng lúa chín vàng óng ánh</span>**. Hai bên bờ sông là những **<span style="color:forestgreen">hàng cây xanh mát rượi</span>**, tạo nên một **<span style="color:mediumpurple">bức tranh thiên nhiên thơ mộng, hữu tình</span>**. Trên dòng sông, có **<span style="color:blue">hai người đang ngồi trên thuyền nhỏ</span>**, tay cầm lái, hướng về phía trước. Bên cạnh đó, còn có **<span style="color:hotpink">một người phụ nữ đang đi trên con đường đất nhỏ, hướng về phía làng</span>**. Hình ảnh này gợi lên **<span style="color:darkseagreen">một cuộc sống thanh bình, yên ả của người dân làng quê Việt Nam</span>**.
241
 
242
  Hình ảnh thứ hai là một bức ảnh chụp chân dung, thể hiện sự hồn nhiên, trong sáng của tuổi thơ. Trong ảnh, có **<span style="color:blueviolet">ba nhân vật chính: hai cậu bé và một người đàn ông</span>**. **<span style="color:mediumvioletred">Cậu bé lớn hơn</span>** đang cưỡi trên lưng con trâu đen, hai tay nắm chặt vào dây cương, vẻ mặt đầy thích thú. **<span style="color:seagreen">Cậu bé nhỏ hơn</span>** ngồi sau lưng cậu bạn lớn, tay cầm một chiếc mũ rộng vành, nhìn về phía trước với ánh mắt ngây thơ. **<span style="color:darkblue">Người đàn ông</span>** đứng ở phía sau, mặc quần đùi, tay cầm một cái chậu nước, đang đổ nước lên đầu hai cậu bé. Bối cảnh của bức ảnh là một cánh đồng cỏ xanh mướt, phía xa là những hàng cây xanh mát. Ánh nắng ban mai chiếu rọi xuống cánh đồng, tạo nên một **<span style="color:darkgreen">khung cảnh đẹp như tranh vẽ</span>**.
243
 
 
281
 
282
  min_pixels = 256 * 28 * 28
283
  max_pixels = 1280 * 28 * 28
284
+ processor_model = "erax/EraX-VL-7B-V1"
285
  processor = AutoProcessor.from_pretrained(
286
  processor_model,
287
  min_pixels=min_pixels,