--- license: mit --- # bge-m3.gguf ```py import torch from llama_cpp import Llama from sentence_transformers import SentenceTransformer from scipy.spatial.distance import cosine model = SentenceTransformer( "BAAI/bge-m3", model_kwargs={"torch_dtype": torch.float16} ) llm = Llama.from_pretrained( "mykor/bge-m3.gguf", filename="bge-m3-567M-F16.gguf", embedding=True, verbose=False, ) text = """움츠러든 어깨를 따라서 다시 저물어가는 오늘의 끝 밤이 조용히 나를 안으면 무너져가는 날 잊어버릴 수 있어 색 바랜 오늘은 희망 위에 내일의 구름을 드리우고 다시 깊은 잠에 빠져들어, 그날을 위한 연습인 것처럼 질리지도 않고 나를 처방하는 만약이라는 말 항상 똑같은 매일은 내성이 되어 내일을 어지러이 무너뜨려 쓰라린 날에 쓰라린 나를 삼키지 못해 뱉어내고 싶었던 밤 의미도 없이 건넨 위선의 말, 추락을 향해 올라가는 날 만들어 그리운 날에 드리운 맘이 아름다웠던 날들을 덧칠할까 봐 잊어버릴게, 눈을 감고 흩어져 사라질 듯한 그댄 허무하고 애달픈 꽃망울 모질게 내린 눈물에 잠겨 피지 못하고 멈춰있지만 차디찬 철길 위에 놓여 나아갈 방향을 모를 뿐이야 내가 그댈 두 손에 그러모아 레일에 꽃 핀 내일을 비추게 해줘 메마른 꽃잎이 읽지 못한 오늘에 갈피를 꽂아서 더 이상 그댈 읽지 못하는 나는 그저 오늘의 끝에 매달릴 뿐 찬란한 날에 찬란한 그댈 차마 비추지 못하고 스러져갔던 낯 심장을 끄집어내 힘껏 소리쳐도 결말을 향해 추락하는 우리가 있어 그리운 날에 드리운 맘이 내일조차 허락하지 않는다 해도 잊지 않을게, 두 눈 감는 날까지 피어나고 피어나도 시들어버리는 슬픔이란 꽃 짙어져만 가는 그대의 아픔이 마지막을 향해 꽃을 피워내고 있어 고마웠어, 미안했어, 양손에 가득 품은 꽃다발과 너를 떠나가는 걸 사실은 나도 있잖아, 살아가고 싶어, 밀려드는 절망에 묻혀 사라지던 아픈 오늘과 두려운 내일 그 사이에 어느새 네가 들어왔어 쓰라린 날에 찬란한 네가 내게 살아있어줘서 그저 고맙다고 잊지 않을게 영원히""" embed1 = model.encode(text) embed2 = llm.embed(text) print(cosine(embed1, embed2)) ``` ```sh 2.879617546280855e-05 ```