Add Files

README.md

@@ -1,14 +1,14 @@
 ---
 title: JURAN
-emoji: 👁
-colorFrom: purple
-colorTo: gray
+emoji: 🌺
+colorFrom: green
+colorTo: red
 sdk: gradio
 sdk_version: 5.9.1
 app_file: app.py
 pinned: false
-license: apache-2.0
-short_description: 学生時代打ち込んだことから質問を生成
+license: mit
+short_description: 面接官の質問をシミュレート
 ---
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,80 @@
+import gradio as gr
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import os
+import shutil
+
+model_name = "minoD/JURAN"
+
+# モデルのロード
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    device_map="auto"
+)
+
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
+
+# プロンプトテンプレートの準備
+def generate_prompt(F):
+    # input キーの代わりに Q と F を使用
+    result = f"""### 指示:あなたは企業の面接官です．就活生のエントリーシートを元に質問を行ってください．
+
+### 質問:
+{F}
+
+### 回答:
+""" # 回答セクションを追加
+    # 改行→<NL>
+    result = result.replace('\n', '<NL>')
+    return result
+
+# テキスト生成関数の定義
+def generate2(F=None, maxTokens=256):
+    # 推論
+    prompt = generate_prompt(F)
+    input_ids = tokenizer(prompt,
+                          return_tensors="pt",
+                          truncation=True,
+                          add_special_tokens=False).input_ids.cuda()
+    outputs = model.generate(
+        input_ids=input_ids,
+        max_new_tokens=maxTokens,
+        do_sample=True,
+        temperature=0.7,
+        top_p=0.75,
+        top_k=40,
+        no_repeat_ngram_size=2,
+    )
+    outputs = outputs[0].tolist()
+    decoded = tokenizer.decode(outputs)
+
+    # EOSトークンにヒットしたらデコード完了
+    if tokenizer.eos_token_id in outputs:
+        eos_index = outputs.index(tokenizer.eos_token_id)
+        decoded = tokenizer.decode(outputs[:eos_index])
+
+        # レスポンス内容のみ抽出
+        sentinel = "### 回答:"
+        sentinelLoc = decoded.find(sentinel)
+        if sentinelLoc >= 0:
+            result = decoded[sentinelLoc + len(sentinel):]
+            return result.replace("<NL>", "\n")  # <NL>→改行
+        else:
+            return 'Warning: Expected prompt template to be emitted.  Ignoring output.'
+    else:
+       return 'Warning: no <eos> detected ignoring output'
+    
+def inference(input_text):
+  return generate2(input_text)
+
+
+iface = gr.Interface(
+    fn=inference,
+    inputs=gr.Textbox(lines=5, label="学生時代に打ち込んだこと、研究、ESを入力", placeholder="半導体の研究に打ち込んだ"),
+    outputs=gr.Textbox(label="想定される質問"),
+    title="JURAN🌺",
+    description="面接官モデルが回答を生成します。",
+)
+
+if __name__ == "__main__":
+    iface.launch()

requirements.txt

@@ -0,0 +1,65 @@
+accelerate==1.2.1
+aiofiles==23.2.1
+annotated-types==0.7.0
+anyio==4.7.0
+bitsandbytes==0.42.0
+certifi==2024.12.14
+charset-normalizer==3.4.0
+click==8.1.8
+exceptiongroup==1.2.2
+fastapi==0.115.6
+ffmpy==0.5.0
+filelock==3.16.1
+fsspec==2024.12.0
+gradio==5.9.1
+gradio_client==1.5.2
+h11==0.14.0
+httpcore==1.0.7
+httpx==0.28.1
+huggingface-hub==0.27.0
+idna==3.10
+Jinja2==3.1.5
+markdown-it-py==3.0.0
+MarkupSafe==2.1.5
+mdurl==0.1.2
+mpmath==1.3.0
+networkx==3.4.2
+numpy==1.26.4
+orjson==3.10.12
+packaging==24.2
+pandas==2.2.3
+pillow==11.0.0
+psutil==6.1.1
+pydantic==2.10.4
+pydantic_core==2.27.2
+pydub==0.25.1
+Pygments==2.18.0
+python-dateutil==2.9.0.post0
+python-multipart==0.0.20
+pytz==2024.2
+PyYAML==6.0.2
+regex==2024.11.6
+requests==2.32.3
+rich==13.9.4
+ruff==0.8.4
+safehttpx==0.1.6
+safetensors==0.4.5
+scipy==1.14.1
+semantic-version==2.10.0
+sentencepiece==0.2.0
+shellingham==1.5.4
+six==1.17.0
+sniffio==1.3.1
+starlette==0.41.3
+sympy==1.13.1
+tokenizers==0.21.0
+tomlkit==0.13.2
+torch==2.5.1
+tqdm==4.67.1
+transformers==4.47.1
+typer==0.15.1
+typing_extensions==4.12.2
+tzdata==2024.2
+urllib3==2.2.3
+uvicorn==0.34.0
+websockets==14.1