Spaces:
Running
on
Zero
Running
on
Zero
BramVanroy
commited on
Update app.py
Browse files
app.py
CHANGED
@@ -15,7 +15,7 @@ MAX_MAX_NEW_TOKENS = 1536
|
|
15 |
DEFAULT_MAX_NEW_TOKENS = 1024
|
16 |
MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
|
17 |
|
18 |
-
model_id = "BramVanroy/
|
19 |
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
|
20 |
model = model.to("cuda" if torch.cuda.is_available() else "cpu")
|
21 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
@@ -51,7 +51,7 @@ def generate(
|
|
51 |
conversation = [
|
52 |
{
|
53 |
"role": "system",
|
54 |
-
"content": f"Je bent
|
55 |
f" Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT)."
|
56 |
f" De huidige datum en tijd is {now_str}."
|
57 |
}
|
@@ -91,9 +91,9 @@ def generate(
|
|
91 |
chat_interface = gr.ChatInterface(
|
92 |
fn=generate,
|
93 |
chatbot=gr.Chatbot(height=450,
|
94 |
-
label="
|
95 |
show_share_button=True,
|
96 |
-
avatar_images=(None, '
|
97 |
additional_inputs=[
|
98 |
gr.Slider(
|
99 |
label="Max new tokens",
|
@@ -146,10 +146,10 @@ chat_interface = gr.ChatInterface(
|
|
146 |
["Ik wil in Python een nieuwe abstracte klasse aanmaken die `Dier` heet en die een abstracte methode `geluid_maken` heeft. Maak daarnaast ook een subklasse `Geit` aan, met een passende invulling van `geluid_maken` voor dit mekkerende dier."],
|
147 |
["Wat is het belang van open-source taalmodellen?"],
|
148 |
],
|
149 |
-
title="
|
150 |
description="""\
|
151 |
<div style="float: left; margin-right: 1em; margin-bottom: 0.48em; max-width: 96px;">
|
152 |
-
<img src="
|
153 |
<div style="clear: both"></div>
|
154 |
</div>
|
155 |
|
@@ -170,12 +170,10 @@ with gr.Blocks(css="style.css") as demo:
|
|
170 |
|
171 |
Hoewel dit model gealigneerd is met AI feedback (van gpt-4-turbo), kan en zal het nog steeds fouten maken, leugens verzinnen, redeneringsfouten maken, en misschien wel stoute dingen vertellen. Gebruik dit model dus op eigen risico en controleer de output zelf!
|
172 |
|
173 |
-
Als je problemen ondervindt, [rapporteer die dan gerust](https://huggingface.co/spaces/BramVanroy/
|
174 |
In deze demo wordt gebruik gemaakt van deze system message:
|
175 |
|
176 |
-
> Je bent
|
177 |
-
|
178 |
-
<small>Deze demo is gebaseerd op de originele <a href="https://huggingface.co/spaces/Rijgersberg/GEITje-7B-chat">Geitje Chat</a> demo, die dan weer op deze [mistral demo](https://huggingface.co/spaces/hysts/mistral-7b) gebaseerd is.</small>
|
179 |
""")
|
180 |
|
181 |
if __name__ == "__main__":
|
|
|
15 |
DEFAULT_MAX_NEW_TOKENS = 1024
|
16 |
MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
|
17 |
|
18 |
+
model_id = "BramVanroy/fietje-2b-sft"
|
19 |
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
|
20 |
model = model.to("cuda" if torch.cuda.is_available() else "cpu")
|
21 |
tokenizer = AutoTokenizer.from_pretrained(model_id)
|
|
|
51 |
conversation = [
|
52 |
{
|
53 |
"role": "system",
|
54 |
+
"content": f"Je bent Fietje, een behulpzame, efficiënte en enthousiaste AI-assistent die in het Nederlands communiceert."
|
55 |
f" Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT)."
|
56 |
f" De huidige datum en tijd is {now_str}."
|
57 |
}
|
|
|
91 |
chat_interface = gr.ChatInterface(
|
92 |
fn=generate,
|
93 |
chatbot=gr.Chatbot(height=450,
|
94 |
+
label="Fietje",
|
95 |
show_share_button=True,
|
96 |
+
avatar_images=(None, 'fietje-2b-avatar.png')),
|
97 |
additional_inputs=[
|
98 |
gr.Slider(
|
99 |
label="Max new tokens",
|
|
|
146 |
["Ik wil in Python een nieuwe abstracte klasse aanmaken die `Dier` heet en die een abstracte methode `geluid_maken` heeft. Maak daarnaast ook een subklasse `Geit` aan, met een passende invulling van `geluid_maken` voor dit mekkerende dier."],
|
147 |
["Wat is het belang van open-source taalmodellen?"],
|
148 |
],
|
149 |
+
title="Fietje",
|
150 |
description="""\
|
151 |
<div style="float: left; margin-right: 1em; margin-bottom: 0.48em; max-width: 96px;">
|
152 |
+
<img src="fietje-2b-banner.png" style="display: inline-block; width: auto; height: auto;border-radius:50%">
|
153 |
<div style="clear: both"></div>
|
154 |
</div>
|
155 |
|
|
|
170 |
|
171 |
Hoewel dit model gealigneerd is met AI feedback (van gpt-4-turbo), kan en zal het nog steeds fouten maken, leugens verzinnen, redeneringsfouten maken, en misschien wel stoute dingen vertellen. Gebruik dit model dus op eigen risico en controleer de output zelf!
|
172 |
|
173 |
+
Als je problemen ondervindt, [rapporteer die dan gerust](https://huggingface.co/spaces/BramVanroy/fietje-2b/discussions), al zal ik er waarschijnlijk niet veel aan kunnen verhelpen! Toch is het goed om een verslag bij te houden van mogelijke vooroordelen of problemen die het model heeft, zodat daar in toekomstige ontwikkelingen rekening mee gehouden kan worden.
|
174 |
In deze demo wordt gebruik gemaakt van deze system message:
|
175 |
|
176 |
+
> Je bent Fietje, een behulpzame, efficiënte en enthousiaste AI-assistent die in het Nederlands communiceert. Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT). De huidige datum en tijd is {huidige_tijd}.
|
|
|
|
|
177 |
""")
|
178 |
|
179 |
if __name__ == "__main__":
|