rombodawg/rombos_Mistral-Evolved-11b-v0.1

Model card for the Mistral-Evolved-11b-v0.1 AI model.

An upscaling and continued pretraining of Mistral-7B-v0.1 AI model by MistralAi.

❤ Thank you for the original Mistral-7B-v0.1 model to:

                                                                 ▄▄▄░░
                                                        ▄▄▄▄▄█████████░░░░
                                            ▄▄▄▄▄▄████████████████████░░░░░
                                         █████████████████████████████░░░░░
                    ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░
         ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░
  ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░
  ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
  ███████████████████████████████░░░░░░░██████████████████████████████░░░░░
  ███████████████████████████████░░░░░░███████████████████████████████░░░░░
  ████████████████████████████████░░░░░███████████████████████████████░░░░░
  ████████████████████████████████░░░░████████████████████████████████░░░░░
  █████████████████████████████████░░░████████████████████████████████░░░░░
  █████████████████████████████████░░░████████████░███████████████████░░░░░
  ██████████████████████████████████░█████████████░███████████████████░░░░░
  ███████████████████░██████████████▄█████████████░███████████████████░░░░░
  ███████████████████░███████████████████████████░░███████████████████░░░░░
  ███████████████████░░██████████████████████████░░███████████████████░░░░░
  ███████████████████░░█████████████████████████░░░███████████████████░░░░░
  ███████████████████░░░████████████████████████░░░███████████████████░░░░░
  ███████████████████░░░████████████████████████░░░███████████████████░░░░░
  ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
  ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░
  ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░
  ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░
  ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░
  ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░
  ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
  ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░
  ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░
  ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
  ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
  ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
  ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░
  ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░
      ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░
            ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░
               ░░░░░░░░░░░░░░░░░░░░░░░░░░░░
                    ░░░░░░░░░░░░░░░░░
                       ░░░░░

The Mistral-Evolved-11b-v0.1 AI model is a next generation AI meant to continue the legacy started by MistralAi. What began as a 7b parameter model, we have now grown, not only in capacity but also in intelligence, to help bring more to the open source AI community that was sorely needed in this area. Mistral-7B-v0.1 at the time of release was the best and smartest AI model for its size, and we at Replete-AI hope to reproduce that success with our new model at its 11b parameter size.

The model had continued pre-training on a private collection of data that we do not plan on releasing at the current time.

---

The Prompt template for the Mistral-Evolved-11b-v0.1 is (ChatML) as that is the format that it was trained on.

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

Note: I've had some confusion as to the prompt format, how the model was trained, and how to further finetune the model so I want to clarify: Although the ChatML format is best used when training the model, there will not be an issue if other formats are used, such as Alpaca. As long as they are in the same general structure as ChatML, it should be fine.

---

Scores on the open-llm-leaderboard can be found here:

Model	Average	ARC	HellaSwag	MMLU	TruthfulQA	Winogrande	GSM8K
Replete-AI/Mistral-Evolved-11b-v0.1	65.8	62.2	84.65	63.11	59.23	75.77	49.81

---

Quantizations for the model can be found below

GGUF

• https://huggingface.co/bartowski/Mistral-Evolved-11b-v0.1-GGUF

exl2

• https://huggingface.co/bartowski/Mistral-Evolved-11b-v0.1-exl2

---

Join the Replete-AI discord server!

https://discord.gg/ZTjEp3EuHV