yoonshik1205 commited on
Commit
a04bbde
·
1 Parent(s): 5874092

add more models

Browse files
Files changed (2) hide show
  1. app.py +1 -0
  2. leaderboard_data.csv +5 -0
app.py CHANGED
@@ -61,6 +61,7 @@ with gr.Blocks(title=f'{benchname} Leaderboard', css=custom_css) as demo:
61
  interactive=False,
62
  wrap=True,
63
  visible=True,
 
64
  column_widths=colwidths,
65
  )
66
  return ret
 
61
  interactive=False,
62
  wrap=True,
63
  visible=True,
64
+ max_height=700,
65
  column_widths=colwidths,
66
  )
67
  return ret
leaderboard_data.csv CHANGED
@@ -1,6 +1,7 @@
1
  name,eval_date,num_params,clickable,hf_path,SCORE overall,SCORE object attributes,SCORE recognition,SCORE recognition-KO,SCORE relationship,SCORE KO-OCR,SCORE commonsense reasoning,SCORE document understanding,SCORE table understanding,SCORE graph and chart understanding,SCORE hallucination and robustness
2
  gemini-1.5-flash-002,2024-12-05,,False,,73.81818181818181,74.5,90.0,50.0,68.0,72.5,78.22222222222221,89.33333333333334,83.33333333333334,61.333333333333336,40.0
3
  claude-3-5-sonnet-20241022,2024-12-05,,False,,80.47272727272727,81.83333333333334,90.0,80.0,66.0,76.5,88.88888888888889,78.0,73.66666666666666,88.66666666666667,80.0
 
4
  Molmo-7B-D-0924,2024-12-05,8021025280.0,True,allenai/Molmo-7B-D-0924,45.52727272727273,69.16666666666667,55.0,0.0,55.33333333333333,5.0,77.77777777777777,18.666666666666668,16.0,30.666666666666668,60.0
5
  Ovis1.6-Gemma2-9B,2024-12-05,10206910518.0,True,AIDC-AI/Ovis1.6-Gemma2-9B,53.018181818181816,83.16666666666666,75.0,0.0,56.333333333333336,10.0,82.8888888888889,23.0,19.0,43.33333333333333,66.0
6
  gpt-4o-2024-08-06,2024-12-05,,False,,77.6,77.5,80.0,90.0,64.66666666666667,80.0,87.55555555555557,77.0,82.0,68.0,70.0
@@ -12,12 +13,16 @@ gpt-4o-mini-2024-07-18,2024-12-05,,False,,68.2909090909091,71.33333333333334,80.
12
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,53.92727272727272,86.16666666666667,80.0,0.0,61.333333333333336,5.0,78.0,32.333333333333336,11.333333333333332,46.66666666666667,70.0
13
  Llama-3.2-MAAL-11B-Vision-v0.1,2024-12-05,11142080035.0,True,maum-ai/Llama-3.2-MAAL-11B-Vision-v0.1,61.127272727272725,78.0,65.0,5.0,51.66666666666667,63.0,77.33333333333333,53.0,45.0,50.0,70.0
14
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
 
15
  gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
16
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,41.6,67.83333333333333,35.0,0.0,53.0,5.0,66.0,21.33333333333333,8.666666666666668,35.33333333333333,40.0
17
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.52727272727272,73.16666666666666,50.0,40.0,56.0,75.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
 
 
18
  Pixtral-12B-2409,2024-12-05,12682739712.0,True,mistralai/Pixtral-12B-2409,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
19
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
20
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
21
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
 
22
  InternVL2-8B,2024-12-05,8075365376.0,True,OpenGVLab/InternVL2-8B,32.763636363636365,49.66666666666667,30.0,0.0,36.0,5.0,38.44444444444444,24.666666666666668,16.333333333333332,31.0,66.0
23
  Qwen2-VL-72B-Instruct,2024-12-05,73405560320.0,True,Qwen/Qwen2-VL-72B-Instruct,74.76363636363637,86.66666666666666,80.0,45.0,62.66666666666666,75.0,83.11111111111111,64.0,84.33333333333334,61.333333333333336,70.0
 
1
  name,eval_date,num_params,clickable,hf_path,SCORE overall,SCORE object attributes,SCORE recognition,SCORE recognition-KO,SCORE relationship,SCORE KO-OCR,SCORE commonsense reasoning,SCORE document understanding,SCORE table understanding,SCORE graph and chart understanding,SCORE hallucination and robustness
2
  gemini-1.5-flash-002,2024-12-05,,False,,73.81818181818181,74.5,90.0,50.0,68.0,72.5,78.22222222222221,89.33333333333334,83.33333333333334,61.333333333333336,40.0
3
  claude-3-5-sonnet-20241022,2024-12-05,,False,,80.47272727272727,81.83333333333334,90.0,80.0,66.0,76.5,88.88888888888889,78.0,73.66666666666666,88.66666666666667,80.0
4
+ Molmo-72B-0924,2024-12-09,73308285952.0,True,allenai/Molmo-72B-0924,52.763636363636365,81.16666666666667,60.0,10.0,66.66666666666667,10.0,74.44444444444444,19.666666666666664,20.666666666666668,46.0,80.0
5
  Molmo-7B-D-0924,2024-12-05,8021025280.0,True,allenai/Molmo-7B-D-0924,45.52727272727273,69.16666666666667,55.0,0.0,55.33333333333333,5.0,77.77777777777777,18.666666666666668,16.0,30.666666666666668,60.0
6
  Ovis1.6-Gemma2-9B,2024-12-05,10206910518.0,True,AIDC-AI/Ovis1.6-Gemma2-9B,53.018181818181816,83.16666666666666,75.0,0.0,56.333333333333336,10.0,82.8888888888889,23.0,19.0,43.33333333333333,66.0
7
  gpt-4o-2024-08-06,2024-12-05,,False,,77.6,77.5,80.0,90.0,64.66666666666667,80.0,87.55555555555557,77.0,82.0,68.0,70.0
 
13
  Ovis1.6-Gemma2-27B,2024-12-05,28863552566.0,True,AIDC-AI/Ovis1.6-Gemma2-27B,53.92727272727272,86.16666666666667,80.0,0.0,61.333333333333336,5.0,78.0,32.333333333333336,11.333333333333332,46.66666666666667,70.0
14
  Llama-3.2-MAAL-11B-Vision-v0.1,2024-12-05,11142080035.0,True,maum-ai/Llama-3.2-MAAL-11B-Vision-v0.1,61.127272727272725,78.0,65.0,5.0,51.66666666666667,63.0,77.33333333333333,53.0,45.0,50.0,70.0
15
  MiniCPM-V-2_6,2024-12-05,8099175152.0,True,openbmb/MiniCPM-V-2_6,32.69090909090909,56.0,35.0,0.0,33.666666666666664,5.0,59.77777777777778,20.666666666666668,5.333333333333333,16.666666666666668,20.0
16
+ InternVL2_5-78B,2024-12-09,78408318336.0,True,OpenGVLab/InternVL2_5-78B,67.52727272727273,71.33333333333334,75.0,25.0,66.66666666666667,70.0,78.88888888888889,64.0,51.0,68.0,85.0
17
  gemini-1.5-pro-002,2024-12-05,,False,,77.23636363636363,71.33333333333334,90.0,60.0,69.33333333333334,62.5,83.33333333333334,94.66666666666669,80.0,84.66666666666667,60.0
18
  internlm-xcomposer2d5-7b,2024-12-05,11095734272.0,True,internlm/internlm-xcomposer2d5-7b,41.6,67.83333333333333,35.0,0.0,53.0,5.0,66.0,21.33333333333333,8.666666666666668,35.33333333333333,40.0
19
  Qwen2-VL-7B-Instruct,2024-12-05,8291375616.0,True,Qwen/Qwen2-VL-7B-Instruct,63.52727272727272,73.16666666666666,50.0,40.0,56.0,75.0,74.88888888888889,64.33333333333334,50.0,53.33333333333333,60.0
20
+ InternVL2_5-8B,2024-12-09,8075365376.0,True,OpenGVLab/InternVL2_5-8B,44.400000000000006,56.333333333333336,25.0,5.0,40.66666666666666,30.0,57.333333333333336,46.0,21.33333333333333,56.66666666666667,41.0
21
+ llava-onevision-qwen2-72b-ov-sft,2024-12-09,73173689888.0,True,lmms-lab/llava-onevision-qwen2-72b-ov-sft,54.50909090909092,79.5,65.0,5.0,71.0,5.0,79.33333333333334,23.0,18.33333333333333,54.0,86.0
22
  Pixtral-12B-2409,2024-12-05,12682739712.0,True,mistralai/Pixtral-12B-2409,44.61818181818182,61.66666666666667,65.0,10.0,45.66666666666666,10.0,65.11111111111111,17.666666666666664,23.666666666666668,56.0,40.0
23
  gpt-4-turbo-2024-04-09,2024-12-05,,False,,65.19999999999999,76.66666666666667,90.0,60.0,76.33333333333334,30.0,80.0,47.333333333333336,39.33333333333333,64.66666666666667,80.0
24
  Llama-3.2-11B-Vision-Instruct,2024-12-05,10670220835.0,True,meta-llama/Llama-3.2-11B-Vision-Instruct,50.36363636363636,55.5,80.0,25.0,62.0,62.5,58.66666666666666,36.0,24.666666666666668,46.66666666666667,50.0
25
  claude-3-haiku-20240307,2024-12-05,,False,,50.47272727272727,59.833333333333336,70.0,0.0,57.333333333333336,50.0,73.55555555555556,26.666666666666664,25.33333333333333,46.66666666666667,60.0
26
+ InternVL2-Llama3-76B,2024-12-09,76262358400.0,True,OpenGVLab/InternVL2-Llama3-76B,52.25454545454546,72.66666666666667,90.0,15.0,60.0,5.0,77.11111111111111,20.33333333333333,14.0,60.0,76.0
27
  InternVL2-8B,2024-12-05,8075365376.0,True,OpenGVLab/InternVL2-8B,32.763636363636365,49.66666666666667,30.0,0.0,36.0,5.0,38.44444444444444,24.666666666666668,16.333333333333332,31.0,66.0
28
  Qwen2-VL-72B-Instruct,2024-12-05,73405560320.0,True,Qwen/Qwen2-VL-72B-Instruct,74.76363636363637,86.66666666666666,80.0,45.0,62.66666666666666,75.0,83.11111111111111,64.0,84.33333333333334,61.333333333333336,70.0