Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,5 @@
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
---
|
|
|
|
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
---
|
4 |
+
### Korean Otter
|
5 |
+
[Otter](https://huggingface.co/luodian/OTTER-9B-LA-InContext) ๋ชจ๋ธ์ [KoLLaVA-Instruct-150K](https://huggingface.co/datasets/tabtoyou/KoLLaVA-Instruct-150k) ์ค Complex resoning์ ํด๋นํ๋ 77k ๋ฐ์ดํฐ์
์ผ๋ก ํ์ตํ์ต๋๋ค. Otter ์ด๋ฏธ์ง [๋ฐ๋ชจ](https://github.com/Luodian/Otter)์์ ํ๊ตญ์ด ์ง๋ฌธ์ ์ด๋์ ๋ ์ดํดํด ์์ด๋ก ๋ต๋ณํ๋ ๊ฒ์ ํ์ธํ๊ณ , ํด๋น ๋ชจ๋ธ์ ๊ทธ๋๋ก ๊ฐ์ ธ์ ํ๊ตญ์ด ๋ฐ์ดํฐ์
์ผ๋ก ํ์ต์ด ๋๋์ง ํ
์คํธํ ๋ชจ๋ธ์
๋๋ค. GPU memory ํ๊ณ๋ก Otter์ LLM ๋ถ๋ถ์์ ํน์ ๋ ์ด์ด ์ด์(>25)๋ง 1epoch ํ์ตํ์ต๋๋ค. ์ด ๋ชจ๋ธ์ ๋ต๋ณ์ ํ์ง์ด ์ข์ง ์์ง๋ง, ๋ ๋ง์ ๋ฐ์ดํฐ์
์ผ๋ก epoch์ ๋๋ ค ํ์ตํ๋ค๋ฉด ๋ ์ข์ ๊ฒฐ๊ณผ๋ฅผ ์ป์ ์ ์์ ๊ฒ์ผ๋ก ๋ณด์
๋๋ค. inference๋ [Otter](https://huggingface.co/luodian/OTTER-9B-LA-InContext)์ ์ฝ๋๋ฅผ ์ฐธ๊ณ ํด ์งํํ ์ ์์ต๋๋ค.
|