--- tags: - sentence-transformers - sentence-similarity - feature-extraction - generated_from_trainer - loss:ContrastiveLoss base_model: ai-forever/ruBert-base widget: - source_sentence: 'Шатов вдруг прокричал кратким и отчаянным криком; но ему кричать не дали: Петр Степанович аккуратно и твердо наставил ему револьвер прямо в лоб, крепко в упор и – спустил курок. Выстрел, кажется, был не очень громок, по крайней мере в Скворешниках ничего не слыхали. Слышал, разумеется, Шигалев, вряд ли успевший отойти шагов триста, – слышал и крик и выстрел, но, по его собственному потом свидетельству, не повернулся и даже не остановился. Смерть произошла почти мгновенно. Полную распорядительность – не думаю, чтоб и хладнокровие, – сохранил в себе один только Петр Степанович. Присев на корточки, он поспешно, но твердою рукой обыскал в карманах убитого. Денег не оказалось (портмоне остался под подушкой у Марьи Игнатьевны). Нашлись две-три бумажки, пустые: одна конторская записка, заглавие какой-то книги и один старый заграничный трактирный счет, бог знает почему уцелевший два года в его кармане. Бумажки Петр Степанович переложил в свой карман и, заметив вдруг, что все столпились, смотрят на труп и ничего не делают, начал злостно и невежливо браниться и понукать. Толкаченко и Эркель, опомнившись, побежали и мигом принесли из грота еще с утра запасенные ими там два камня, каждый фунтов по двадцати весу, уже приготовленные, то есть крепко и прочно обвязанные веревками.' sentences: - Черт таким же порядком отправился вслед за нею. Но так как это животное проворнее всякого франта в чулках, то не мудрено, что он наехал при самом входе в трубу на шею своей любовницы, и оба очутились в просторной печке между горшками. Путешественница отодвинула потихоньку заслонку, поглядеть, не назвал ли сын ее Вакула в хату гостей, но, увидевши, что никого не было, выключая только мешки, которые лежали посреди хаты, вылезла из печки, скинула теплый кожух, оправилась, и никто бы не мог узнать, что она за минуту назад ездила на метле. Мать кузнеца Вакулы имела от роду не больше сорока лет. Она была ни хороша, ни дурна собою. Трудно и быть хорошею в такие годы. Однако ж она так умела причаровать к себе самых степенных козаков (которым, не мешает, между прочим, заметить, мало было нужды до красоты), что к ней хаживал и голова, и дьяк Осип Никифорович (конечно, если дьячихи не было дома), и козак Корний Чуб, и козак Касьян Свербыгуз. И, к чести ее сказать, она умела искусно обходиться с ними. Ни одному из них и в ум не приходило, что у него есть соперник. - Поднимаясь в свою квартиру, он заметил, что Настасья, оторвавшись от самовара, пристально следит за ним и провожает его глазами. «Уж нет ли кого у меня?» – подумал он. Ему с отвращением померещился Порфирий. Но, дойдя до своей комнаты и отворив ее, он увидел Дунечку. Она сидела одна-одинешенька, в глубоком раздумье и, кажется, давно уже ждала его. Он остановился на пороге. Она привстала с дивана в испуге и выпрямилась пред ним. Ее взгляд, неподвижно устремленный на него, изображал ужас и неутолимую скорбь. - Девушки между тем, дружно взявшись за руки, полетели, как вихорь, с санками по скрыпучему снегу. Множество, шаля, садились на санки; другие взбирались на самого голову. Голова решился сносить все. Наконец приехали, отворили настежь двери в сенях и хате и с хохотом втащили мешок. — Посмотрим, что-то лежит тут, — закричали все, бросившись развязывать. Тут икотка, которая не переставала мучить голову во все время сидения его в мешке, так усилилась, что он начал икать и кашлять во все горло. — Ах, тут сидит кто-то! - source_sentence: И вот, Я подниму руку Мою на них, и они сделаются добычею рабов своих, и тогда узнаете, что Господь Саваоф послал Меня. Ликуй и веселись, дщерь Сиона! Ибо вот, Я приду и поселюсь посреди тебя, говорит Господь. И прибегнут к Господу многие народы в тот день, и будут Моим народом; и Я поселюсь посреди тебя, и узнаешь, что Господь Саваоф послал Меня к тебе. Тогда Господь возьмет во владениеИуду, Свой удел на святой земле, и снова изберет Иерусалим. Да молчит всякая плоть пред лицем Господа! Ибо Он поднимается от святаго жилища Своего. sentences: - 'Однако, она умела держать себя с таким тактом и достоинством, что никто не мог похвастать ни малейшей близостью с ней. Даже острые провинциальные языки не могли уязвить ее никакой сплетней. Я изнывал от своей любви. Больше всего меня мучила невозможность открыто в ней признаться. Я готов был на все на свете, чтобы только упасть на колени пред Еленой Григорьевной и сказать ей громко: "я вас люблю". Молодость немного похожа на опьянение. Ради того, чтобы полчаса побыть наедине с той, кого я любил, я решился на средство отчаянное. Зима была в тот год снежная. На святках, что ни день, то начинала крутиться метель. Я выбрал вечер, когда вьюга была особенно злая, приказал оседлать коня и выехал в поле. Не знаю, как я не погиб тогда. Везде в двух шагах словно стояла серая стена. На дороге снег был чуть не по колено. Двадцать раз я сбивался с пути. Двадцать раз моя лошадь отказывалась идти дальше. Со мной была фляжка коньяку, и только потому я не замерз. Десять верст я ехал чуть ли не три часа. Прямо каким-то чудом я добрался до усадьбы С. Было уже поздно и я едва достучался. Сторож, узнав меня, ахнул. Я был весь в снегу, заледеневший, словно ряженый. Конечно, у меня была готова история, чтобы объяснить свое появление.' - Несчастная любовь, долги, женитьба, творчество, конфликт с государством. Плюс, как говорил Достоевский, — оттенок высшего значения. Я думал, что в этих занятиях растворятся мои невзгоды. Так уже бывало раньше, в пору литературного становления. Вроде бы это называется — сублимация. Когда пытаешься возложить на литературу ответственность за свои грехи. Сочинил человек «Короля Лира» и может после этого год не вытаскивать шпагу... Вскоре отослал жене семьдесят рублей. Купил себе рубашку — поступок для меня беспрецедентный. Доходили слухи о каких-то публикациях на Западе. Я старался об этом не думать. Ведь мне безразлично, что делается на том свете. Прямо так и скажу, если вызовут... Кроме того, я отправил несколько долговых писем. - 'В одиннадцатом году, в первый день первого месяца, было ко мне слово Господне: сын человеческий! за то, что Тир говорит о Иерусалиме: „а! а! он сокрушен – врата народов; он обращается ко мне; наполнюсь; он опустошен", – за то, так говорит Господь Бог: вот, Я – на тебя, Тир, и подниму на тебя многие народы, как море поднимает волны свои. И разобьют стены Тира и разрушат башни его; и вымету из него прах его и сделаю его голою скалою. Местом для расстилания сетей будет он среди моря; ибо Я сказал это, говорит Господь Бог: и будет он на расхищение народам. А дочери его, которые на земле, убиты будут мечом,и узнают, что Я Господь. Ибо так говорит Господь Бог: вот, Я приведу против Тира от севераНавуходоносора, царя Вавилонского, царя царей, с конями и с колесницами, и со всадниками, и с войском, и с многочисленным народом.' - source_sentence: По лицу его дочки заметно было, что ей не слишком приятно тереться около возов с мукою и пшеницею. Ей бы хотелось туда, где под полотняными ятками нарядно развешаны красные ленты, серьги, оловянные, медные кресты и дукаты. sentences: - Надоело ходить в рваных чулках. Надоело радоваться говяжьим сарделькам... Что тебя удерживает? Эрмитаж, Нева, березы? — Березы меня совершенно не волнуют. — Так что же? — Язык. На чужом языке мы теряем восемьдесят процентов своей личности. Мы утрачиваем способность шутить, иронизировать. Одно это меня в ужас приводит. — А мне вот не до шуток. Подумай о Маше. Представь себе, что ее ожидает. — Ты все ужасно преувеличиваешь. Миллионы людей живут, работают и абсолютно счастливы. - Она сидела в широком кресле, в ночном капоте, перед своим столом, задумавшись, вспоминая. Она не слыхала, как я вошел. Несколько минут я стоял в полутьме, не смея сделать ни шага вперед. Вдруг, почувствовав мое присутствие или заслышав какой-нибудь шум, Елена Григорьевна обернулась. Она увидела меня и задрожала. Моя проделка удалась лучше, чем я мог ожидать. Она приняла меня за своего покойного мужа. Со слабым криком, привстав с кресла, она протянула ко мне руки. - В молодости своей он был капитан и крикун, употреблялся и по штатским делам, мастер был хорошо высечь, был и расторопен, и щеголь, и глуп; но в старости своей он слил в себе все эти резкие особенности в какую-то тусклую неопределенность. Он был уже вдов, был уже в отставке, уже не щеголял, не хвастал, не задирался, любил только пить чай и болтать за ним всякий вздор; ходил по комнате, поправлял сальный огарок; аккуратно по истечении каждого месяца наведывался к своим жильцам за деньгами; выходил на улицу с ключом в руке, для того чтобы посмотреть на крышу своего дома; выгонял несколько раз дворника из его конуры, куда он запрятывался спать; одним словом, человек в отставке, которому после всей забубенной жизни и тряски на перекладных остаются одни пошлые привычки. -- Извольте сами глядеть, Варух Кузьмич, -- сказал хозяин, обращаясь к квартальному и расставив руки, -- вот не платит за квартиру, не платит. -- Что ж, если нет денег? - source_sentence: Дай бог, чтобы их стало еще меньше... Тебе не платят — вот что скверно. Деньги — это свобода, пространство, капризы... Имея деньги, так легко переносить нищету... Учись зарабатывать их, не лицемеря. Иди работать грузчиком, пиши ночами. Мандельштам говорил, люди сохранят все, что им нужно. Вот и пиши... У тебя есть к этому способности — могло и не быть. sentences: - 'Все миски, из которых диканьские козаки хлебали борщ, были размалеваны кузнецом. Кузнец был богобоязливый человек и писал часто образа святых: и теперь еще можно найти в Т... церкви его евангелиста Луку.' - 'В коридоре было уже почти совсем темно: «Что, если он вдруг теперь выйдет из того угла и остановит меня у лестницы?» – мелькнуло ему, когда он подходил к знакомому месту. Но никто не вышел.' - Тотчас же из-за отдаленного пакгауза выбежали двое. Один — в распахнутом драповом пальто. Другой — изящный, маленький, в плаще. Они бежали рядом, задыхаясь, перегоняя друг друга. Бегущие приблизились. Красноперов узнал Дебоширина и Трюмо. — Черт возьми, — прокричал Дебоширин, — едва не опоздали! — Я кепи уронил, — сказал Трюмо, — но это пустяки. Надеюсь, его поднимет хороший человек. — Друзья мои! — начал Красноперов. Волнение мешало ему говорить. Прощание было недолгим. Трюмо подарил Красноперову ржавый гвоздь. — Это необычный гвоздь, — сказал Трюмо, — это — личная вещь Бунина. Этим гвоздем Бунин нацарапал слово «жопа» под окнами Мережковского. Бунина рассердило, что Дмитрий Константинович прославляет Муссолини. Дебоширин тоже сделал Красноперову подарок. Вручил ему последний номер газеты «Известия». Там была помещена заметка Дебоширина о росте в мире капитала цен на яхты. У Красноперова сжалось горло. Он взбежал по трапу и махнул рукой. Затем, нагнувшись, исчез в дверях салона. — Кланяйтесь русским березам, — выкрикнул Дебоширин, — помните, у Есенина?.. - source_sentence: 'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может кого-то и по затылку треснуть. И молодые люди заткнулись.' sentences: - Ты у меня еще дров попросишь... Я в лесничестве работаю — дружбист! — Кто? — не понял я. — Бензопила у меня... «Дружба»... Хуяк — и червонец в кармане. — Дружбист, — ворчала тетка, — с винищем дружишь... До смерти не опейся... — Трудно, — как будто даже посетовал Михал Иваныч. - 'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к голове, который попятился назад и все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся… Сказавши это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! – вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после ни одна баба не возьмется вылить переполоху.' - — А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более, когда все решено. Я посмотрел на окна. pipeline_tag: sentence-similarity library_name: sentence-transformers metrics: - cosine_accuracy model-index: - name: SentenceTransformer based on ai-forever/ruBert-base results: - task: type: triplet name: Triplet dataset: name: Unknown type: unknown metrics: - type: cosine_accuracy value: 0.9506604506604507 name: Cosine Accuracy --- # SentenceTransformer based on ai-forever/ruBert-base This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [ai-forever/ruBert-base](https://huggingface.co/ai-forever/ruBert-base). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. ## Model Details ### Model Description - **Model Type:** Sentence Transformer - **Base model:** [ai-forever/ruBert-base](https://huggingface.co/ai-forever/ruBert-base) - **Maximum Sequence Length:** 512 tokens - **Output Dimensionality:** 768 dimensions - **Similarity Function:** Cosine Similarity ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) ### Full Model Architecture ``` SentenceTransformer( (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) ) ``` ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import SentenceTransformer # Download from the 🤗 Hub model = SentenceTransformer("abragin/ruBert-style-base") # Run inference sentences = [ 'В общем — ничего хорошего... Читаю газету. Вдруг поднялся мужчина средних лет. Американец. Худой такой. И ниже меня ростом. Подошел к хулиганам и говорит: — Заткнитесь! И затем: — Вон отсюда. Чувствовалось, если надо, он может кого-то и по затылку треснуть. И молодые люди заткнулись.', '— А зачем мне пальма? — Начнем с аквариума. — Всю жизнь мечтал иметь парочку дрессированных золотых рыбок... — А пальма? — Пальму можно рисовать с натуры. Держать ее на балконе. — Спрашивается, где у нас балкон? — Так ведь и пальмы еще нет... — Господи, о чем я спрашиваю? О чем мы вообще говорим?! — Действительно, о чем нам говорить?! Тем более, когда все решено. Я посмотрел на окна.', 'И свояченица, всхлипывая, рассказала, как схватили ее хлопцы в охапку на улице и, несмотря на сопротивление, опустили в широкое окно хаты и заколотили ставнем. Писарь взглянул: петли у широкого ставня оторваны, и он приколочен только сверху деревянным брусом. – Добро ты, одноглазый сатана! – вскричала она, приступив к голове, который попятился назад и все еще продолжал ее мерять своим глазом. – Я знаю твой умысел: ты хотел, ты рад был случаю спечь меня, чтобы свободнее было волочиться за дивчатами, чтобы некому было видеть, как дурачится седой дед. Ты думаешь, я не знаю, о чем говорил ты сего вечера с Ганною? О! я знаю все. Меня трудно провесть и не твоей бестолковой башке. Я долго терплю, но после не прогневайся… Сказавши это, она показала кулак и быстро ушла, оставив в остолбенении голову. «Нет, тут не на шутку сатана вмешался», – думал он, сильно почесывая свою макушку. – Поймали! – вскрикнули вошедшие в это время десятские. – Кого поймали? – спросил голова. – Дьявола в вывороченном тулупе. – Подавайте его! – закричал голова, схватив за руки приведенного пленника. – Вы с ума сошли: да это пьяный Каленик! – Что за пропасть! в руках наших был, пан голова! – отвечали десятские. – В переулке окружили проклятые хлопцы, стали танцевать, дергать, высовывать языки, вырывать из рук… черт с вами!.. И как мы попали на эту ворону вместо его, бог один знает! – Властью моей и всех мирян дается повеление, – сказал голова, – изловить сей же миг сего разбойника: а оным образом и всех, кого найдете на улице, и привесть на расправу но мне!. – Помилуй, пан голова! – закричали некоторые, кланяясь в ноги. – Увидел бы ты, какие хари: убей бог нас, и родились и крестились – не видали таких мерзких рож. Долго ли до греха, пан голова, перепугают доброго человека так, что после ни одна баба не возьмется вылить переполоху.', ] embeddings = model.encode(sentences) print(embeddings.shape) # [3, 768] # Get the similarity scores for the embeddings similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] ``` ## Evaluation ### Metrics #### Triplet * Evaluated with [TripletEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator) | Metric | Value | |:--------------------|:-----------| | **cosine_accuracy** | **0.9507** | ## Training Details ### Training Dataset #### Unnamed Dataset * Columns: anchor, sentence, and label * Loss: [ContrastiveLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters: ```json { "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true } ``` ### Evaluation Dataset #### Unnamed Dataset * Size: 10,296 evaluation samples * Columns: anchor, sentence, and label * Approximate statistics based on the first 1000 samples: | | anchor | sentence | label | |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-----------------------------| | type | string | string | int | | details | | | | * Samples: | anchor | sentence | label | |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------| | ибо в один час пришел суд твой. И купцы земные восплачут и возрыдают о ней, потому что товаров их никто уже не покупает, товаров золотых и серебряных, и камней драгоценных и жемчуга, и виссона и порфиры, и шелка и багряницы, и всякого благовонного дерева, и всяких изделий из слоновой кости, и всяких изделий из дорогих дерев, из меди и железа и мрамора, корицы и фимиама, и мира и ладана, и вина и елея, и муки и пшеницы, и скота и овец, иконей и колесниц, и тел и душ человеческих. И плодов, угодных для души твоей, не стало у тебя, и все тучное и блистательное удалилось от тебя; ты уже не найдешь его. Торговавшие всем сим, обогатившиеся от нее, станут вдали от страха мучений ее, плача и рыдая и говоря: горе, горе тебе , великий город, одетый в виссон и порфиру и багряницу, украшенныйзолотом и камнями драгоценными и жемчугом, ибо в один час погибло такое богатство! И все кормчие, и все плывущие на кораблях, и все корабельщики, и всеторгующие на море стали вдали и, видя дым от пожара ее, во... | Так говорит Господь Бог: вот распределение, по которому вы должны разделить землю в наследие двенадцати коленам Израилевым: Иосифу два удела. И наследуйте ее, как один, так и другой; так как Я, подняв руку Мою, клялся отдать ее отцам вашим, то и будет земля сия наследием вашим. И вот предел земли: на северном конце, начиная от великого моря, через Хетлон, по дороге в Цедад, Емаф, Берот, Сивраим, находящийся между Дамасскою и Емафскою областями Гацар-Тихон, который на границе Аврана. И будет граница от моря до Гацар-Енон, граница с Дамаском, и далее на севере область Емаф; и вот северный край. | 1 | | В скорби своей они с раннего утрабудут искать Меня и говорить: „пойдем и возвратимся к Господу! ибо Он уязвил – и Он исцелит нас, поразил – и перевяжет наши раны; оживит нас через два дня, в третий день восставит нас, и мы будем жить пред лицем Его. Итак познаем, будем стремиться познать Господа; как утренняя заря – явление Его, и Он придет к нам, как дождь, как поздний дождь оросит землю". | Угодно было Дарию поставить над царством сто двадцать сатрапов, чтобы они были во всем царстве, а над ними трех князей, – из которых один был Даниил, – чтобысатрапы давали им отчет и чтобы царю не было никакого обременения. | 1 | | Буду пасти их на хорошей пажити, и загон их будетна высоких горах Израилевых; там они будут отдыхать в хорошем загоне и будут пастись на тучной пажити, на горахИзраилевых. Я буду пасти овец Моих и Я будупокоить их, говорит Господь Бог. Потерявшуюся отыщу и угнанную возвращу, и пораненную перевяжу, и больную укреплю, а разжиревшую и буйную истреблю; буду пасти их по правде. Вас же, овцы Мои, – так говорит Господь Бог, – вот, Я буду судить между овцою и овцою, между бараном и козлом. Разве мало вам того, что пасетесь на хорошей пажити, а между тем остальное на пажити вашей топчете ногами вашими, пьете чистую воду, а оставшуюся мутите ногами вашими, | Откровение Иисуса Христа, которое дал Ему Бог, чтобы показать рабам Своим, чему надлежит быть вскоре. И Он показал, послав оное через Ангела Своего рабу Своему Иоанну, который свидетельствовал слово Божие и свидетельство Иисуса Христа и что он видел. Блажен читающий и слушающие слова пророчества сего и соблюдающие написанное в нем; ибо время близко. Иоанн семи церквам, находящимся в Асии: благодать вам и мир от Того, Который есть и был и грядет, и от семи духов, находящихся перед престолом Его, и от Иисуса Христа, Который есть свидетель верный, первенец из мертвых и владыка царей земных. Ему, возлюбившему нас и омывшему нас от грехов наших Кровию Своею и соделавшему нас царями и священниками Богу и Отцу Своему, слава и держава во веки веков, аминь. Се, грядет с облаками, и узрит Еговсякое око и те, которые пронзили Его; и возрыдают пред Ним все племена земные. Ей, аминь. Я есмь Альфа и Омега, начало и конец, говорит Господь, Который есть и был игрядет, Вседержитель. Я, Иоанн, брат ваш ... | 1 | * Loss: [ContrastiveLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#contrastiveloss) with these parameters: ```json { "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", "margin": 0.5, "size_average": true } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 4 - `gradient_accumulation_steps`: 4 - `learning_rate`: 2e-05 - `max_steps`: 72667 - `warmup_steps`: 1453 - `fp16`: True - `load_best_model_at_end`: True #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 4 - `per_device_eval_batch_size`: 8 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 4 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 2e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1.0 - `num_train_epochs`: 3.0 - `max_steps`: 72667 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.0 - `warmup_steps`: 1453 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: True - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: True - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: False - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: batch_sampler - `multi_dataset_batch_sampler`: proportional
### Training Logs
Click to expand | Epoch | Step | Training Loss | Validation Loss | cosine_accuracy | |:----------:|:---------:|:-------------:|:---------------:|:---------------:| | 0.0028 | 200 | 0.0236 | - | - | | 0.0055 | 400 | 0.0196 | - | - | | 0.0083 | 600 | 0.0175 | - | - | | 0.0110 | 800 | 0.016 | - | - | | 0.0138 | 1000 | 0.0158 | - | - | | 0.0165 | 1200 | 0.0166 | - | - | | 0.0193 | 1400 | 0.0156 | - | - | | 0.0220 | 1600 | 0.0153 | - | - | | 0.0248 | 1800 | 0.0148 | - | - | | 0.0275 | 2000 | 0.0145 | - | - | | 0.0303 | 2200 | 0.0143 | - | - | | 0.0330 | 2400 | 0.014 | - | - | | 0.0333 | 2422 | - | 0.0146 | 0.9025 | | 0.0358 | 2600 | 0.0137 | - | - | | 0.0385 | 2800 | 0.0131 | - | - | | 0.0413 | 3000 | 0.0135 | - | - | | 0.0440 | 3200 | 0.0128 | - | - | | 0.0468 | 3400 | 0.0129 | - | - | | 0.0495 | 3600 | 0.0125 | - | - | | 0.0523 | 3800 | 0.0128 | - | - | | 0.0550 | 4000 | 0.0125 | - | - | | 0.0578 | 4200 | 0.0119 | - | - | | 0.0606 | 4400 | 0.0121 | - | - | | 0.0633 | 4600 | 0.0117 | - | - | | 0.0661 | 4800 | 0.0124 | - | - | | 0.0667 | 4844 | - | 0.0134 | 0.9079 | | 0.0688 | 5000 | 0.011 | - | - | | 0.0716 | 5200 | 0.0113 | - | - | | 0.0743 | 5400 | 0.0105 | - | - | | 0.0771 | 5600 | 0.0111 | - | - | | 0.0798 | 5800 | 0.0109 | - | - | | 0.0826 | 6000 | 0.0109 | - | - | | 0.0853 | 6200 | 0.0105 | - | - | | 0.0881 | 6400 | 0.0111 | - | - | | 0.0908 | 6600 | 0.0102 | - | - | | 0.0936 | 6800 | 0.0109 | - | - | | 0.0963 | 7000 | 0.0102 | - | - | | 0.0991 | 7200 | 0.0107 | - | - | | 0.1000 | 7266 | - | 0.0132 | 0.9165 | | 0.1018 | 7400 | 0.0104 | - | - | | 0.1046 | 7600 | 0.0111 | - | - | | 0.1073 | 7800 | 0.01 | - | - | | 0.1101 | 8000 | 0.0106 | - | - | | 0.1128 | 8200 | 0.01 | - | - | | 0.1156 | 8400 | 0.0106 | - | - | | 0.1183 | 8600 | 0.0105 | - | - | | 0.1211 | 8800 | 0.01 | - | - | | 0.1239 | 9000 | 0.01 | - | - | | 0.1266 | 9200 | 0.0097 | - | - | | 0.1294 | 9400 | 0.0097 | - | - | | 0.1321 | 9600 | 0.0095 | - | - | | 0.1333 | 9688 | - | 0.0117 | 0.9277 | | 0.1349 | 9800 | 0.01 | - | - | | 0.1376 | 10000 | 0.0103 | - | - | | 0.1404 | 10200 | 0.0102 | - | - | | 0.1431 | 10400 | 0.0098 | - | - | | 0.1459 | 10600 | 0.0103 | - | - | | 0.1486 | 10800 | 0.0101 | - | - | | 0.1514 | 11000 | 0.0094 | - | - | | 0.1541 | 11200 | 0.0094 | - | - | | 0.1569 | 11400 | 0.0098 | - | - | | 0.1596 | 11600 | 0.0099 | - | - | | 0.1624 | 11800 | 0.01 | - | - | | 0.1651 | 12000 | 0.0099 | - | - | | 0.1667 | 12110 | - | 0.0120 | 0.9240 | | 0.1679 | 12200 | 0.0095 | - | - | | 0.1706 | 12400 | 0.009 | - | - | | 0.1734 | 12600 | 0.0096 | - | - | | 0.1761 | 12800 | 0.0093 | - | - | | 0.1789 | 13000 | 0.0092 | - | - | | 0.1817 | 13200 | 0.0098 | - | - | | 0.1844 | 13400 | 0.0094 | - | - | | 0.1872 | 13600 | 0.0091 | - | - | | 0.1899 | 13800 | 0.0089 | - | - | | 0.1927 | 14000 | 0.0091 | - | - | | 0.1954 | 14200 | 0.0087 | - | - | | 0.1982 | 14400 | 0.0091 | - | - | | 0.2000 | 14532 | - | 0.0112 | 0.9287 | | 0.2009 | 14600 | 0.009 | - | - | | 0.2037 | 14800 | 0.0091 | - | - | | 0.2064 | 15000 | 0.0091 | - | - | | 0.2092 | 15200 | 0.0089 | - | - | | 0.2119 | 15400 | 0.0087 | - | - | | 0.2147 | 15600 | 0.0083 | - | - | | 0.2174 | 15800 | 0.0093 | - | - | | 0.2202 | 16000 | 0.0093 | - | - | | 0.2229 | 16200 | 0.0088 | - | - | | 0.2257 | 16400 | 0.0084 | - | - | | 0.2284 | 16600 | 0.0087 | - | - | | 0.2312 | 16800 | 0.0086 | - | - | | 0.2333 | 16954 | - | 0.0115 | 0.9291 | | 0.2339 | 17000 | 0.0086 | - | - | | 0.2367 | 17200 | 0.0088 | - | - | | 0.2394 | 17400 | 0.0085 | - | - | | 0.2422 | 17600 | 0.0085 | - | - | | 0.2450 | 17800 | 0.0086 | - | - | | 0.2477 | 18000 | 0.0087 | - | - | | 0.2505 | 18200 | 0.0082 | - | - | | 0.2532 | 18400 | 0.0088 | - | - | | 0.2560 | 18600 | 0.0087 | - | - | | 0.2587 | 18800 | 0.0086 | - | - | | 0.2615 | 19000 | 0.0088 | - | - | | 0.2642 | 19200 | 0.0086 | - | - | | 0.2666 | 19376 | - | 0.0116 | 0.9312 | | 0.2670 | 19400 | 0.0083 | - | - | | 0.2697 | 19600 | 0.008 | - | - | | 0.2725 | 19800 | 0.0083 | - | - | | 0.2752 | 20000 | 0.0083 | - | - | | 0.2780 | 20200 | 0.0078 | - | - | | 0.2807 | 20400 | 0.0084 | - | - | | 0.2835 | 20600 | 0.0082 | - | - | | 0.2862 | 20800 | 0.0085 | - | - | | 0.2890 | 21000 | 0.0082 | - | - | | 0.2917 | 21200 | 0.0081 | - | - | | 0.2945 | 21400 | 0.0078 | - | - | | 0.2972 | 21600 | 0.0078 | - | - | | 0.3000 | 21798 | - | 0.0109 | 0.9347 | | 0.3000 | 21800 | 0.0082 | - | - | | 0.3028 | 22000 | 0.0081 | - | - | | 0.3055 | 22200 | 0.0083 | - | - | | 0.3083 | 22400 | 0.0074 | - | - | | 0.3110 | 22600 | 0.0079 | - | - | | 0.3138 | 22800 | 0.0078 | - | - | | 0.3165 | 23000 | 0.0078 | - | - | | 0.3193 | 23200 | 0.0085 | - | - | | 0.3220 | 23400 | 0.0084 | - | - | | 0.3248 | 23600 | 0.0082 | - | - | | 0.3275 | 23800 | 0.0079 | - | - | | 0.3303 | 24000 | 0.008 | - | - | | 0.3330 | 24200 | 0.0078 | - | - | | 0.3333 | 24220 | - | 0.0112 | 0.9343 | | 0.3358 | 24400 | 0.0077 | - | - | | 0.3385 | 24600 | 0.0083 | - | - | | 0.3413 | 24800 | 0.0082 | - | - | | 0.3440 | 25000 | 0.0075 | - | - | | 0.3468 | 25200 | 0.0076 | - | - | | 0.3495 | 25400 | 0.0078 | - | - | | 0.3523 | 25600 | 0.0077 | - | - | | 0.3550 | 25800 | 0.0073 | - | - | | 0.3578 | 26000 | 0.0076 | - | - | | 0.3605 | 26200 | 0.0076 | - | - | | 0.3633 | 26400 | 0.0071 | - | - | | 0.3661 | 26600 | 0.0073 | - | - | | 0.3666 | 26642 | - | 0.0113 | 0.9336 | | 0.3688 | 26800 | 0.0074 | - | - | | 0.3716 | 27000 | 0.0074 | - | - | | 0.3743 | 27200 | 0.0076 | - | - | | 0.3771 | 27400 | 0.0075 | - | - | | 0.3798 | 27600 | 0.0078 | - | - | | 0.3826 | 27800 | 0.0071 | - | - | | 0.3853 | 28000 | 0.007 | - | - | | 0.3881 | 28200 | 0.0069 | - | - | | 0.3908 | 28400 | 0.0069 | - | - | | 0.3936 | 28600 | 0.0081 | - | - | | 0.3963 | 28800 | 0.0076 | - | - | | 0.3991 | 29000 | 0.0073 | - | - | | 0.4000 | 29064 | - | 0.0113 | 0.9336 | | 0.4018 | 29200 | 0.0073 | - | - | | 0.4046 | 29400 | 0.0071 | - | - | | 0.4073 | 29600 | 0.0069 | - | - | | 0.4101 | 29800 | 0.007 | - | - | | 0.4128 | 30000 | 0.0068 | - | - | | 0.4156 | 30200 | 0.0071 | - | - | | 0.4183 | 30400 | 0.0072 | - | - | | 0.4211 | 30600 | 0.0072 | - | - | | 0.4239 | 30800 | 0.0069 | - | - | | 0.4266 | 31000 | 0.0075 | - | - | | 0.4294 | 31200 | 0.0074 | - | - | | 0.4321 | 31400 | 0.0072 | - | - | | 0.4333 | 31486 | - | 0.0110 | 0.9363 | | 0.4349 | 31600 | 0.0074 | - | - | | 0.4376 | 31800 | 0.0066 | - | - | | 0.4404 | 32000 | 0.0074 | - | - | | 0.4431 | 32200 | 0.0071 | - | - | | 0.4459 | 32400 | 0.0075 | - | - | | 0.4486 | 32600 | 0.0077 | - | - | | 0.4514 | 32800 | 0.0072 | - | - | | 0.4541 | 33000 | 0.0069 | - | - | | 0.4569 | 33200 | 0.0063 | - | - | | 0.4596 | 33400 | 0.0067 | - | - | | 0.4624 | 33600 | 0.007 | - | - | | 0.4651 | 33800 | 0.0067 | - | - | | 0.4666 | 33908 | - | 0.0108 | 0.9376 | | 0.4679 | 34000 | 0.007 | - | - | | 0.4706 | 34200 | 0.0068 | - | - | | 0.4734 | 34400 | 0.0074 | - | - | | 0.4761 | 34600 | 0.0068 | - | - | | 0.4789 | 34800 | 0.0065 | - | - | | 0.4816 | 35000 | 0.0068 | - | - | | 0.4844 | 35200 | 0.007 | - | - | | 0.4872 | 35400 | 0.0067 | - | - | | 0.4899 | 35600 | 0.0065 | - | - | | 0.4927 | 35800 | 0.0068 | - | - | | 0.4954 | 36000 | 0.0065 | - | - | | 0.4982 | 36200 | 0.0066 | - | - | | 0.5000 | 36330 | - | 0.0109 | 0.9408 | | 0.5009 | 36400 | 0.0068 | - | - | | 0.5037 | 36600 | 0.0067 | - | - | | 0.5064 | 36800 | 0.0074 | - | - | | 0.5092 | 37000 | 0.0064 | - | - | | 0.5119 | 37200 | 0.0068 | - | - | | 0.5147 | 37400 | 0.007 | - | - | | 0.5174 | 37600 | 0.0069 | - | - | | 0.5202 | 37800 | 0.0066 | - | - | | 0.5229 | 38000 | 0.007 | - | - | | 0.5257 | 38200 | 0.0065 | - | - | | 0.5284 | 38400 | 0.0068 | - | - | | 0.5312 | 38600 | 0.006 | - | - | | 0.5333 | 38752 | - | 0.0108 | 0.9402 | | 0.5339 | 38800 | 0.0063 | - | - | | 0.5367 | 39000 | 0.0069 | - | - | | 0.5394 | 39200 | 0.0065 | - | - | | 0.5422 | 39400 | 0.0067 | - | - | | 0.5450 | 39600 | 0.0067 | - | - | | 0.5477 | 39800 | 0.007 | - | - | | 0.5505 | 40000 | 0.0067 | - | - | | 0.5532 | 40200 | 0.0064 | - | - | | 0.5560 | 40400 | 0.0065 | - | - | | 0.5587 | 40600 | 0.0068 | - | - | | 0.5615 | 40800 | 0.0068 | - | - | | 0.5642 | 41000 | 0.007 | - | - | | 0.5666 | 41174 | - | 0.0104 | 0.9398 | | 0.5670 | 41200 | 0.0066 | - | - | | 0.5697 | 41400 | 0.0066 | - | - | | 0.5725 | 41600 | 0.0063 | - | - | | 0.5752 | 41800 | 0.0064 | - | - | | 0.5780 | 42000 | 0.0065 | - | - | | 0.5807 | 42200 | 0.0061 | - | - | | 0.5835 | 42400 | 0.0062 | - | - | | 0.5862 | 42600 | 0.0062 | - | - | | 0.5890 | 42800 | 0.0059 | - | - | | 0.5917 | 43000 | 0.0068 | - | - | | 0.5945 | 43200 | 0.0067 | - | - | | 0.5972 | 43400 | 0.0062 | - | - | | 0.5999 | 43596 | - | 0.0110 | 0.9382 | | 0.6000 | 43600 | 0.0062 | - | - | | 0.6027 | 43800 | 0.0066 | - | - | | 0.6055 | 44000 | 0.0065 | - | - | | 0.6083 | 44200 | 0.006 | - | - | | 0.6110 | 44400 | 0.0066 | - | - | | 0.6138 | 44600 | 0.0067 | - | - | | 0.6165 | 44800 | 0.0064 | - | - | | 0.6193 | 45000 | 0.0066 | - | - | | 0.6220 | 45200 | 0.0069 | - | - | | 0.6248 | 45400 | 0.0067 | - | - | | 0.6275 | 45600 | 0.0063 | - | - | | 0.6303 | 45800 | 0.0064 | - | - | | 0.6330 | 46000 | 0.0064 | - | - | | 0.6333 | 46018 | - | 0.0105 | 0.9458 | | 0.6358 | 46200 | 0.0067 | - | - | | 0.6385 | 46400 | 0.0063 | - | - | | 0.6413 | 46600 | 0.0064 | - | - | | 0.6440 | 46800 | 0.0064 | - | - | | 0.6468 | 47000 | 0.0064 | - | - | | 0.6495 | 47200 | 0.0065 | - | - | | 0.6523 | 47400 | 0.0061 | - | - | | 0.6550 | 47600 | 0.0065 | - | - | | 0.6578 | 47800 | 0.0061 | - | - | | 0.6605 | 48000 | 0.0065 | - | - | | 0.6633 | 48200 | 0.0061 | - | - | | 0.6661 | 48400 | 0.0059 | - | - | | 0.6666 | 48440 | - | 0.0105 | 0.9468 | | 0.6688 | 48600 | 0.0064 | - | - | | 0.6716 | 48800 | 0.006 | - | - | | 0.6743 | 49000 | 0.0061 | - | - | | 0.6771 | 49200 | 0.0061 | - | - | | 0.6798 | 49400 | 0.0062 | - | - | | 0.6826 | 49600 | 0.006 | - | - | | 0.6853 | 49800 | 0.0066 | - | - | | 0.6881 | 50000 | 0.0059 | - | - | | 0.6908 | 50200 | 0.0065 | - | - | | 0.6936 | 50400 | 0.0065 | - | - | | 0.6963 | 50600 | 0.0062 | - | - | | 0.6991 | 50800 | 0.0061 | - | - | | 0.6999 | 50862 | - | 0.0103 | 0.9470 | | 0.7018 | 51000 | 0.0063 | - | - | | 0.7046 | 51200 | 0.0065 | - | - | | 0.7073 | 51400 | 0.0061 | - | - | | 0.7101 | 51600 | 0.0066 | - | - | | 0.7128 | 51800 | 0.0064 | - | - | | 0.7156 | 52000 | 0.006 | - | - | | 0.7183 | 52200 | 0.006 | - | - | | 0.7211 | 52400 | 0.0057 | - | - | | 0.7238 | 52600 | 0.0065 | - | - | | 0.7266 | 52800 | 0.0059 | - | - | | 0.7294 | 53000 | 0.0063 | - | - | | 0.7321 | 53200 | 0.0063 | - | - | | 0.7333 | 53284 | - | 0.0105 | 0.9429 | | 0.7349 | 53400 | 0.0063 | - | - | | 0.7376 | 53600 | 0.006 | - | - | | 0.7404 | 53800 | 0.0058 | - | - | | 0.7431 | 54000 | 0.0063 | - | - | | 0.7459 | 54200 | 0.0057 | - | - | | 0.7486 | 54400 | 0.0058 | - | - | | 0.7514 | 54600 | 0.0058 | - | - | | 0.7541 | 54800 | 0.0062 | - | - | | 0.7569 | 55000 | 0.0058 | - | - | | 0.7596 | 55200 | 0.006 | - | - | | 0.7624 | 55400 | 0.0056 | - | - | | 0.7651 | 55600 | 0.0061 | - | - | | 0.7666 | 55706 | - | 0.0103 | 0.9454 | | 0.7679 | 55800 | 0.006 | - | - | | 0.7706 | 56000 | 0.0061 | - | - | | 0.7734 | 56200 | 0.0063 | - | - | | 0.7761 | 56400 | 0.0061 | - | - | | 0.7789 | 56600 | 0.006 | - | - | | 0.7816 | 56800 | 0.0062 | - | - | | 0.7844 | 57000 | 0.0059 | - | - | | 0.7872 | 57200 | 0.0055 | - | - | | 0.7899 | 57400 | 0.0053 | - | - | | 0.7927 | 57600 | 0.0057 | - | - | | 0.7954 | 57800 | 0.0055 | - | - | | 0.7982 | 58000 | 0.006 | - | - | | 0.7999 | 58128 | - | 0.0101 | 0.9476 | | 0.8009 | 58200 | 0.0056 | - | - | | 0.8037 | 58400 | 0.0058 | - | - | | 0.8064 | 58600 | 0.0061 | - | - | | 0.8092 | 58800 | 0.006 | - | - | | 0.8119 | 59000 | 0.0057 | - | - | | 0.8147 | 59200 | 0.0056 | - | - | | 0.8174 | 59400 | 0.0066 | - | - | | 0.8202 | 59600 | 0.006 | - | - | | 0.8229 | 59800 | 0.0056 | - | - | | 0.8257 | 60000 | 0.006 | - | - | | 0.8284 | 60200 | 0.006 | - | - | | 0.8312 | 60400 | 0.0063 | - | - | | 0.8333 | 60550 | - | 0.0101 | 0.9481 | | 0.8339 | 60600 | 0.0064 | - | - | | 0.8367 | 60800 | 0.0061 | - | - | | 0.8394 | 61000 | 0.006 | - | - | | 0.8422 | 61200 | 0.0056 | - | - | | 0.8450 | 61400 | 0.006 | - | - | | 0.8477 | 61600 | 0.0063 | - | - | | 0.8505 | 61800 | 0.0064 | - | - | | 0.8532 | 62000 | 0.0058 | - | - | | 0.8560 | 62200 | 0.0063 | - | - | | 0.8587 | 62400 | 0.0056 | - | - | | 0.8615 | 62600 | 0.0058 | - | - | | 0.8642 | 62800 | 0.0059 | - | - | | 0.8666 | 62972 | - | 0.0101 | 0.9491 | | 0.8670 | 63000 | 0.0057 | - | - | | 0.8697 | 63200 | 0.0056 | - | - | | 0.8725 | 63400 | 0.0059 | - | - | | 0.8752 | 63600 | 0.006 | - | - | | 0.8780 | 63800 | 0.0057 | - | - | | 0.8807 | 64000 | 0.0056 | - | - | | 0.8835 | 64200 | 0.0053 | - | - | | 0.8862 | 64400 | 0.0059 | - | - | | 0.8890 | 64600 | 0.0055 | - | - | | 0.8917 | 64800 | 0.006 | - | - | | 0.8945 | 65000 | 0.0053 | - | - | | 0.8972 | 65200 | 0.0059 | - | - | | **0.8999** | **65394** | **-** | **0.01** | **0.9483** | | 0.9000 | 65400 | 0.0058 | - | - | | 0.9027 | 65600 | 0.0061 | - | - | | 0.9055 | 65800 | 0.0057 | - | - | | 0.9083 | 66000 | 0.0058 | - | - | | 0.9110 | 66200 | 0.006 | - | - | | 0.9138 | 66400 | 0.0057 | - | - | | 0.9165 | 66600 | 0.0058 | - | - | | 0.9193 | 66800 | 0.0062 | - | - | | 0.9220 | 67000 | 0.0059 | - | - | | 0.9248 | 67200 | 0.0058 | - | - | | 0.9275 | 67400 | 0.0057 | - | - | | 0.9303 | 67600 | 0.0054 | - | - | | 0.9330 | 67800 | 0.0057 | - | - | | 0.9332 | 67816 | - | 0.0100 | 0.9487 | | 0.9358 | 68000 | 0.0056 | - | - | | 0.9385 | 68200 | 0.0058 | - | - | | 0.9413 | 68400 | 0.0059 | - | - | | 0.9440 | 68600 | 0.0058 | - | - | | 0.9468 | 68800 | 0.0055 | - | - | | 0.9495 | 69000 | 0.0059 | - | - | | 0.9523 | 69200 | 0.0057 | - | - | | 0.9550 | 69400 | 0.0058 | - | - | | 0.9578 | 69600 | 0.0061 | - | - | | 0.9605 | 69800 | 0.0052 | - | - | | 0.9633 | 70000 | 0.0056 | - | - | | 0.9661 | 70200 | 0.0059 | - | - | | 0.9666 | 70238 | - | 0.0102 | 0.9501 | | 0.9688 | 70400 | 0.0057 | - | - | | 0.9716 | 70600 | 0.0058 | - | - | | 0.9743 | 70800 | 0.0054 | - | - | | 0.9771 | 71000 | 0.0057 | - | - | | 0.9798 | 71200 | 0.0055 | - | - | | 0.9826 | 71400 | 0.0056 | - | - | | 0.9853 | 71600 | 0.0053 | - | - | | 0.9881 | 71800 | 0.0062 | - | - | | 0.9908 | 72000 | 0.0057 | - | - | | 0.9936 | 72200 | 0.0057 | - | - | | 0.9963 | 72400 | 0.006 | - | - | | 0.9991 | 72600 | 0.0054 | - | - | | 0.9999 | 72660 | - | 0.0100 | 0.9507 | * The bold row denotes the saved checkpoint.
### Framework Versions - Python: 3.11.5 - Sentence Transformers: 3.3.1 - Transformers: 4.46.3 - PyTorch: 2.1.1 - Accelerate: 1.1.1 - Datasets: 2.15.0 - Tokenizers: 0.20.1 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ``` #### ContrastiveLoss ```bibtex @inproceedings{hadsell2006dimensionality, author={Hadsell, R. and Chopra, S. and LeCun, Y.}, booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, title={Dimensionality Reduction by Learning an Invariant Mapping}, year={2006}, volume={2}, number={}, pages={1735-1742}, doi={10.1109/CVPR.2006.100} } ```