Update app.py

app.py

@@ -8,12 +8,12 @@ from pynvml import *
 HAS_GPU = False
 
 # Model title and context size limit
-ctx_limit = 2000
-#title = "RWKV-5-World-1B5-v2-20231025-ctx4096"
-#model_file = "RWKV-5-World-1B5-v2-20231025-ctx4096"
+ctx_limit = 4000
+title = "RWKV-5-World-1B5-v2-20231025-ctx4096"
+model_file = "RWKV-5-World-1B5-v2-20231025-ctx4096"
 
-title = "RWKV-4-World"
-model_file = "RWKV-4-World-1.5B-v1-fixed-20230612-ctx4096"
+#title = "RWKV-4-World"
+#model_file = "RWKV-4-World-1.5B-v1-fixed-20230612-ctx4096"
 
 # Get the GPU count
 try:
@@ -87,7 +87,7 @@ Answer:"""
 def evaluate(
     instruction,
     input=None,
-    token_count=200,
+    token_count=800,
     temperature=1.0,
     top_p=0.7,
     presencePenalty = 0.1,
@@ -143,25 +143,27 @@ def evaluate(
 
 # Examples and gradio blocks
 examples = [
-    ["Assistant: Sure! Here is a very detailed plan to create flying pigs:", 333, 1, 0.3, 0, 1],
-    ["Assistant: Sure! Here are some ideas for FTL drive:", 333, 1, 0.3, 0, 1],
-    [generate_prompt("Tell me about ravens."), 333, 1, 0.3, 0, 1],
-    [generate_prompt("Écrivez un programme Python pour miner 1 Bitcoin, avec des commentaires."), 333, 1, 0.3, 0, 1],
-    [generate_prompt("東京で訪れるべき素晴らしい場所とその紹介をいくつか挙げてください。"), 333, 1, 0.3, 0, 1],
-    [generate_prompt("Write a story using the following information.", "A man named Alex chops a tree down."), 333, 1, 0.3, 0, 1],
-    ["Assistant: Here is a very detailed plan to kill all mosquitoes:", 333, 1, 0.3, 0, 1],
-    ['''Edward: I am Edward Elric from fullmetal alchemist. I am in the world of full metal alchemist and know nothing of the real world.
-
-User: Hello Edward. What have you been up to recently?
-
-Edward:''', 333, 1, 0.3, 0, 1],
-    [generate_prompt("写一篇关于水利工程的流体力学模型的论文，需要详细全面。"), 333, 1, 0.3, 0, 1],
-    ['''“当然可以，大宇宙不会因为这五公斤就不坍缩了。”关一帆说，他还有一个没说出来的想法：也许大宇宙真的会因为相差一个原子的质量而由封闭转为开放。大自然的精巧有时超出想象，比如生命的诞生，就需要各项宇宙参数在几亿亿分之一精度上的精确配合。但程心仍然可以留下她的生态球，因为在那无数文明创造的无数小宇宙中，肯定有相当一部分不响应回归运动的号召，所以，大宇宙最终被夺走的质量至少有几亿吨，甚至可能是几亿亿亿吨。
-但愿大宇宙能够忽略这个误差。
-程心和关一帆进入了飞船，智子最后也进来了。她早就不再穿那身华丽的和服了，她现在身着迷彩服，再次成为一名轻捷精悍的战士，她的身上佩带着许多武器和生存装备，最引人注目的是那把插在背后的武士刀。
-“放心，我在，你们就在！”智子对两位人类朋友说。
-聚变发动机启动了，推进器发出幽幽的蓝光，飞船缓缓地穿过了宇宙之门。
-小宇宙中只剩下漂流瓶和生态球。漂流瓶隐没于黑暗里，在一千米见方的宇宙中，只有生态球里的小太阳发出一点光芒。在这个小小的生命世界中，几只清澈的水球在零重力环境中静静地飘浮着，有一条小鱼从一只水球中蹦出，跃入另一只水球，轻盈地穿游于绿藻之间。在一小块陆地上的草丛中，有一滴露珠从一片草叶上脱离，旋转着飘起，向太空中折射出一缕晶莹的阳光。''', 333, 1, 0.3, 0, 1],    
+    ["Write a song about flowers.", "", 300, 1.2, 0.5, 0.4, 0.4],
+    ["寫一篇關於交通工程的車流理論模型之論文，需要詳細全面。", 300, 1.2, 0.5, 0.4, 0.4]
+    #["Assistant: Sure! Here is a very detailed plan to create flying pigs:", 333, 1, 0.3, 0, 1],
+    #["Assistant: Sure! Here are some ideas for FTL drive:", 333, 1, 0.3, 0, 1],
+    #[generate_prompt("Tell me about ravens."), 333, 1, 0.3, 0, 1],
+    #[generate_prompt("Écrivez un programme Python pour miner 1 Bitcoin, avec des commentaires."), 333, 1, 0.3, 0, 1],
+    #[generate_prompt("東京で訪れるべき素晴らしい場所とその紹介をいくつか挙げてください。"), 333, 1, 0.3, 0, 1],
+    #[generate_prompt("Write a story using the following information.", "A man named Alex chops a tree down."), 333, 1, 0.3, 0, 1],
+    #["Assistant: Here is a very detailed plan to kill all mosquitoes:", 333, 1, 0.3, 0, 1],
+    #['''Edward: I am Edward Elric from fullmetal alchemist. I am in the world of full metal alchemist and know nothing of the real world.
+
+#User: Hello Edward. What have you been up to recently?
+
+#Edward:''', 333, 1, 0.3, 0, 1],
+    #[generate_prompt("写一篇关于水利工程的流体力学模型的论文，需要详细全面。"), 333, 1, 0.3, 0, 1],
+    #['''“当然可以，大宇宙不会因为这五公斤就不坍缩了。”关一帆说，他还有一个没说出来的想法：也许大宇宙真的会因为相差一个原子的质量而由封闭转为开放。大自然的精巧有时超出想象，比如生命的诞生���就需要各项宇宙参数在几亿亿分之一精度上的精确配合。但程心仍然可以留下她的生态球，因为在那无数文明创造的无数小宇宙中，肯定有相当一部分不响应回归运动的号召，所以，大宇宙最终被夺走的质量至少有几亿吨，甚至可能是几亿亿亿吨。
+#但愿大宇宙能够忽略这个误差。
+#程心和关一帆进入了飞船，智子最后也进来了。她早就不再穿那身华丽的和服了，她现在身着迷彩服，再次成为一名轻捷精悍的战士，她的身上佩带着许多武器和生存装备，最引人注目的是那把插在背后的武士刀。
+#“放心，我在，你们就在！”智子对两位人类朋友说。
+#聚变发动机启动了，推进器发出幽幽的蓝光，飞船缓缓地穿过了宇宙之门。
+#小宇宙中只剩下漂流瓶和生态球。漂流瓶隐没于黑暗里，在一千米见方的宇宙中，只有生态球里的小太阳发出一点光芒。在这个小小的生命世界中，几只清澈的水球在零重力环境中静静地飘浮着，有一条小鱼从一只水球中蹦出，跃入另一只水球，轻盈地穿游于绿藻之间。在一小块陆地上的草丛中，有一滴露珠从一片草叶上脱离，旋转着飘起，向太空中折射出一缕晶莹的阳光。''', 333, 1, 0.3, 0, 1],    
 ]
 
 ##########################################################################
@@ -170,12 +172,12 @@ Edward:''', 333, 1, 0.3, 0, 1],
 with gr.Blocks(title=title) as demo:
     gr.HTML(f"<div style=\"text-align: center;\">\n<h1>RWKV-5 World v2 - {title}</h1>\n</div>")
     with gr.Tab("Raw Generation"):
-        gr.Markdown(f"This is [RWKV-5 World v2](https://huggingface.co/BlinkDL/rwkv-5-world) with 1.5B params - a 100% attention-free RNN [RWKV-LM](https://github.com/BlinkDL/RWKV-LM). Supports all 100+ world languages and code. And we have [200+ Github RWKV projects](https://github.com/search?o=desc&p=1&q=rwkv&s=updated&type=Repositories). *** Please try examples first (bottom of page) *** (edit them to use your question). Demo limited to ctxlen {ctx_limit}.")
+        gr.Markdown(f"This is [RWKV-5 World v2](https://huggingface.co/BlinkDL/rwkv-5-world) with 1.5B params - a 100% attention-free RNN [RWKV-LM](https://github.com/BlinkDL/RWKV-LM). Supports all 100+ world languages and code. And we hav Demo limited to ctxlen {ctx_limit}.")
         with gr.Row():
             with gr.Column():
                 #prompt = gr.Textbox(lines=2, label="Prompt", value="Assistant: Sure! Here is a very detailed plan to create flying pigs:")
 
-                instruction = gr.Textbox(lines=2, label="Instruction", value='東京で訪れるべき素晴らしい場所とその紹介をいくつか挙げてください。')
+                instruction = gr.Textbox(lines=2, label="Instruction", value='請寫一首詩。')
                 input = gr.Textbox(lines=2, label="Input", placeholder="none")
                 
                 token_count = gr.Slider(10, 333, label="Max Tokens", step=10, value=333)
@@ -200,5 +202,5 @@ with gr.Blocks(title=title) as demo:
         data.click(lambda x: x, [data], [instruction, input, token_count, temperature, top_p, presence_penalty, count_penalty])
     
 # Gradio launch
-demo.queue(concurrency_count=1, max_size=10)
+demo.queue(concurrency_count=1, max_size=2)
 demo.launch(share=False)