Update README.md
Browse files
README.md
CHANGED
@@ -168,18 +168,7 @@ Please contact **[email protected]** for API access inquiry.
|
|
168 |
}
|
169 |
}
|
170 |
```
|
171 |
-
|
172 |
-
### Example 03: Image Captioning w/ Hand-writing
|
173 |
-
|
174 |
-
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/qUmymDQnE2Br46LckVMbb.jpeg) -->
|
175 |
-
|
176 |
-
<div align="left">
|
177 |
-
<img src="https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/qUmymDQnE2Br46LckVMbb.jpeg" width="500"/>
|
178 |
-
</div>
|
179 |
-
|
180 |
-
Hình ảnh là một bức chân dung của Chủ tịch Hồ Chí Minh, được in trên nền giấy màu vàng. Bên trái hình ảnh là chân dung của Hồ Chí Minh, với nét mặt nghiêm nghị, râu quai nón và tóc bạc. Bên phải hình ảnh là một đoạn văn bản viết tay bằng tiếng Việt, với nội dung: 'Khuyên đồng bào nam nữ 18 tuổi trở lên hôm nay tất cả đều đi bỏ phiếu, để bầu những đại biểu xứng đáng, vào Quốc hội đầu tiên của nước ta.' Dưới đoạn văn bản là chữ ký 'Hồ Chí Minh' và ngày tháng '6,1,46'.
|
181 |
-
|
182 |
-
### Example 04: Image Captioning
|
183 |
|
184 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg) -->
|
185 |
<div align="left">
|
@@ -188,7 +177,7 @@ Hình ảnh là một bức chân dung của Chủ tịch Hồ Chí Minh, đư
|
|
188 |
|
189 |
Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi</span>, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: **<span style="color:red">vùng màu đỏ</span>** ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; **<span style="color:orange">vùng màu vàng</span>** nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và **<span style="color:green">vùng màu xanh lá cây</span>** ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ '**Béo phì**', '**Nguy cơ béo phì**', '**Sức khỏe dinh dưỡng tốt**', và '**Thiếu cân**' để mô tả từng khu vực tương ứng với chỉ số BMI.
|
190 |
|
191 |
-
### Example
|
192 |
|
193 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->
|
194 |
|
@@ -198,7 +187,7 @@ Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối q
|
|
198 |
|
199 |
Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. **<span style="color:green">Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình</span>**. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. **<span style="color:blue">Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm</span>**. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
|
200 |
|
201 |
-
### Example
|
202 |
|
203 |
<div align="left">
|
204 |
<img src="images/images_biencadoitheo_3.jpg" width="500"/>
|
@@ -208,7 +197,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
|
|
208 |
|
209 |
- **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: **<span style="color:green">'Sofia's bear was old, tatty and very well loved.'** </span> (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: **<span style="color:green">'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.'** </span>. Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.
|
210 |
|
211 |
-
### Example
|
212 |
|
213 |
<div align="left">
|
214 |
<img src="images/images_henkham_0.jpg" width="500"/>
|
@@ -239,7 +228,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
|
|
239 |
|
240 |
- **Assistant**: **<span style="color:blue">Vào năm 2020</span>**, Nguyễn Thị Luân sẽ **<span style="color:blue">44 tuổi vì năm 2020 cách năm 2024 4 năm</span>**.
|
241 |
|
242 |
-
### Example
|
243 |
|
244 |
<div style="display: flex; justify-content: left; gap: 10px;">
|
245 |
<img src="images/images_langque_0.jpg" width="350"/>
|
@@ -248,7 +237,7 @@ Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét
|
|
248 |
|
249 |
- **User**: Hãy trích xuất toàn bộ chi tiết của các bức ảnh này theo đúng thứ tự của nội dung và không bình luận gì
|
250 |
|
251 |
-
- **Assistant**: Hình ảnh đầu tiên là một
|
252 |
|
253 |
Hình ảnh thứ hai là một bức ảnh chụp chân dung, thể hiện sự hồn nhiên, trong sáng của tuổi thơ. Trong ảnh, có **<span style="color:blueviolet">ba nhân vật chính: hai cậu bé và một người đàn ông</span>**. **<span style="color:mediumvioletred">Cậu bé lớn hơn</span>** đang cưỡi trên lưng con trâu đen, hai tay nắm chặt vào dây cương, vẻ mặt đầy thích thú. **<span style="color:seagreen">Cậu bé nhỏ hơn</span>** ngồi sau lưng cậu bạn lớn, tay cầm một chiếc mũ rộng vành, nhìn về phía trước với ánh mắt ngây thơ. **<span style="color:darkblue">Người đàn ông</span>** đứng ở phía sau, mặc quần đùi, tay cầm một cái chậu nước, đang đổ nước lên đầu hai cậu bé. Bối cảnh của bức ảnh là một cánh đồng cỏ xanh mướt, phía xa là những hàng cây xanh mát. Ánh nắng ban mai chiếu rọi xuống cánh đồng, tạo nên một **<span style="color:darkgreen">khung cảnh đẹp như tranh vẽ</span>**.
|
254 |
|
@@ -292,7 +281,7 @@ tokenizer = AutoTokenizer.from_pretrained(model_path)
|
|
292 |
|
293 |
min_pixels = 256 * 28 * 28
|
294 |
max_pixels = 1280 * 28 * 28
|
295 |
-
processor_model = "
|
296 |
processor = AutoProcessor.from_pretrained(
|
297 |
processor_model,
|
298 |
min_pixels=min_pixels,
|
|
|
168 |
}
|
169 |
}
|
170 |
```
|
171 |
+
### Example 03: Image Captioning
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
172 |
|
173 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/pSSqEOXQCsvz9H76CGQXa.jpeg) -->
|
174 |
<div align="left">
|
|
|
177 |
|
178 |
Hình ảnh là một biểu đồ thể hiện <span style="color:blue">mối quan hệ giữa chỉ số BMI (Body Mass Index) và tuổi</span>, được chia thành các mức độ khác nhau dựa trên phần trăm percentile. Trục hoành của biểu đồ đại diện cho tuổi từ 2 đến 20 năm, trong khi trục tung đại diện cho chỉ số BMI từ 10 đến 32. Biểu đồ này có ba khu vực chính: **<span style="color:red">vùng màu đỏ</span>** ở phía dưới cùng đại diện cho mức béo phì với chỉ số BMI cao hơn 30; **<span style="color:orange">vùng màu vàng</span>** nằm giữa đại diện cho nguy cơ béo phì với chỉ số BMI từ khoảng 25 đến 30; và **<span style="color:green">vùng màu xanh lá cây</span>** ở phía trên đại diện cho mức cân nặng khỏe mạnh hoặc thiếu cân với chỉ số BMI thấp hơn 25. Trên biểu đồ còn có đường cong màu xám chạy qua các mức độ BMI theo tuổi, đánh dấu các mức 5th, 50th, và 95th percentile. Văn bản trong hình gồm các cụm từ '**Béo phì**', '**Nguy cơ béo phì**', '**Sức khỏe dinh dưỡng tốt**', và '**Thiếu cân**' để mô tả từng khu vực tương ứng với chỉ số BMI.
|
179 |
|
180 |
+
### Example 04: Image Captioning
|
181 |
|
182 |
<!-- ![image/jpeg](https://cdn-uploads.huggingface.co/production/uploads/66e93d483745423cbb14c5ff/kXrR6s990p0EgphZEtEnJ.jpeg) -->
|
183 |
|
|
|
187 |
|
188 |
Hình ảnh chụp một khung cảnh đồng quê Việt Nam với những nét đặc trưng riêng biệt. **<span style="color:green">Bối cảnh là một cánh đồng lúa xanh mướt, trải dài bất tận, được bao phủ bởi một lớp sương mù nhẹ nhàng. Phía xa là những dãy núi xanh ngắt, tạo nên một bức tranh thiên nhiên thơ mộng và trữ tình</span>**. Ở trung tâm bức ảnh, hai cậu bé đang ngồi trên lưng con trâu nước đen tuyền. Cậu bé phía trước mặc quần đỏ, đang cười tươi rói, trong khi cậu bé phía sau mặc quần đen, vẻ mặt trầm tư hơn. **<span style="color:blue">Con trâu nước đang đứng yên, đầu hướng về phía bên phải, nhìn về phía xa xăm</span>**. Phía bên phải hình ảnh, một người đàn ông đang cầm một cái chậu màu đen, đang đổ nước lên đầu mình. Nước từ chậu chảy xuống tạo thành những giọt nước li ti, tung tóe khắp không gian. Trên bầu trời, có những đám mây trắng bồng bềnh, tạo nên một khung cảnh thanh bình và lãng mạn. Ánh nắng vàng óng chiếu rọi xuống cánh đồng, tạo nên một bức tranh tuyệt đẹp.
|
189 |
|
190 |
+
### Example 05: Visual Question Answering
|
191 |
|
192 |
<div align="left">
|
193 |
<img src="images/images_biencadoitheo_3.jpg" width="500"/>
|
|
|
197 |
|
198 |
- **Assistant**: Bức ảnh là một hình vẽ minh họa đơn giản về một cô bé đang ôm một con gấu bông màu vàng. Cô bé có mái tóc đen ngắn, mặc váy đỏ và đi tất sọc trắng. Cô bé đứng ở giữa khung hình với tư thế ôm chặt gấu bông bằng cả hai tay. Gấu bông có đôi mắt to tròn và nụ cười tươi. Văn bản trong ảnh được chia thành hai phần: phần trên cùng là tiếng Anh và phần dưới là tiếng Việt. Nội dung văn bản như sau: **<span style="color:green">'Sofia's bear was old, tatty and very well loved.'** </span> (Có nghĩa là 'Con gấu bông của Sofia đã cũ kỹ và rách rưới nhưng cô bé rất yêu nó'). Dưới dòng chữ tiếng Anh là dòng chữ tiếng Việt: **<span style="color:green">'Sofia có một bạn gấu bông tuy đã cũ kỹ và sờn rách nhưng cô bé rất yêu quý nó.'** </span>. Bố cục tổng thể của bức ảnh khá đơn giản, tập trung vào nhân vật chính là cô bé và con gấu bông mà cô đang ôm. Màu sắc chủ đạo là các gam màu ấm áp như đỏ, vàng và nâu nhạt, tạo cảm giác thân thiện và gần gũi.
|
199 |
|
200 |
+
### Example 06: Multi-turns Visual Question Answering and Reasoning
|
201 |
|
202 |
<div align="left">
|
203 |
<img src="images/images_henkham_0.jpg" width="500"/>
|
|
|
228 |
|
229 |
- **Assistant**: **<span style="color:blue">Vào năm 2020</span>**, Nguyễn Thị Luân sẽ **<span style="color:blue">44 tuổi vì năm 2020 cách năm 2024 4 năm</span>**.
|
230 |
|
231 |
+
### Example 07: Multi-images Visual Question Answering
|
232 |
|
233 |
<div style="display: flex; justify-content: left; gap: 10px;">
|
234 |
<img src="images/images_langque_0.jpg" width="350"/>
|
|
|
237 |
|
238 |
- **User**: Hãy trích xuất toàn bộ chi tiết của các bức ảnh này theo đúng thứ tự của nội dung và không bình luận gì
|
239 |
|
240 |
+
- **Assistant**: Hình ảnh đầu tiên là một bức tranh sơn dầu với phong cách tả thực, thể hiện khung cảnh làng quê Việt Nam thanh bình. Bức tranh được vẽ với gam màu tươi sáng, rực rỡ, tạo cảm giác ấm áp, vui tươi. **<span style="color:skyblue">Nền trời xanh biếc</span>**, điểm xuyết những **<span style="color:darkcyan">đám mây trắng bồng bềnh</span>**. Phía xa là **<span style="color:greenyellow">dãy núi xanh ngắt</span>**, thấp thoáng **<span style="color:indianred">những ngôi nhà mái ngói đỏ au</span>**. Giữa khung cảnh là **<span style="color:orangered">dòng sông uốn lượn</span>**, chảy hiền hòa giữa **<span style="color:mediumpurple">cánh đồng lúa chín vàng óng ánh</span>**. Hai bên bờ sông là những **<span style="color:forestgreen">hàng cây xanh mát rượi</span>**, tạo nên một **<span style="color:mediumpurple">bức tranh thiên nhiên thơ mộng, hữu tình</span>**. Trên dòng sông, có **<span style="color:blue">hai người đang ngồi trên thuyền nhỏ</span>**, tay cầm lái, hướng về phía trước. Bên cạnh đó, còn có **<span style="color:hotpink">một người phụ nữ đang đi trên con đường đất nhỏ, hướng về phía làng</span>**. Hình ảnh này gợi lên **<span style="color:darkseagreen">một cuộc sống thanh bình, yên ả của người dân làng quê Việt Nam</span>**.
|
241 |
|
242 |
Hình ảnh thứ hai là một bức ảnh chụp chân dung, thể hiện sự hồn nhiên, trong sáng của tuổi thơ. Trong ảnh, có **<span style="color:blueviolet">ba nhân vật chính: hai cậu bé và một người đàn ông</span>**. **<span style="color:mediumvioletred">Cậu bé lớn hơn</span>** đang cưỡi trên lưng con trâu đen, hai tay nắm chặt vào dây cương, vẻ mặt đầy thích thú. **<span style="color:seagreen">Cậu bé nhỏ hơn</span>** ngồi sau lưng cậu bạn lớn, tay cầm một chiếc mũ rộng vành, nhìn về phía trước với ánh mắt ngây thơ. **<span style="color:darkblue">Người đàn ông</span>** đứng ở phía sau, mặc quần đùi, tay cầm một cái chậu nước, đang đổ nước lên đầu hai cậu bé. Bối cảnh của bức ảnh là một cánh đồng cỏ xanh mướt, phía xa là những hàng cây xanh mát. Ánh nắng ban mai chiếu rọi xuống cánh đồng, tạo nên một **<span style="color:darkgreen">khung cảnh đẹp như tranh vẽ</span>**.
|
243 |
|
|
|
281 |
|
282 |
min_pixels = 256 * 28 * 28
|
283 |
max_pixels = 1280 * 28 * 28
|
284 |
+
processor_model = "erax/EraX-VL-7B-V1"
|
285 |
processor = AutoProcessor.from_pretrained(
|
286 |
processor_model,
|
287 |
min_pixels=min_pixels,
|