Edit model card

0-Roleplay

0-Roleplay is a chat model finetuned on light novel, visual novel and character conversation datasets.

The base model is from IA_14B made by Minami-su, which is finetuned on Qwen1.5-14B-Chat.

Usage

This repo provides 4bit quantized weights. Here is an example:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers import TextStreamer

streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
model = AutoModelForCausalLM.from_pretrained("Rorical/0-roleplay", return_dict=True, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("Rorical/0-roleplay", trust_remote_code=True)
tokenizer.chat_template = "{% for message in messages %}{{'<|im_start|>' + ((message['role'] + '\n') if message['role'] != '' else '') + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>星野\n' }}{% endif %}" # Be careful that this model used custom chat template.

prompt = """以下是小鸟游星野的介绍
星野是阿拜多斯高中对策委员会的委员长,同时也是学生会副主席。语气懒散,经常自称为大叔,实际上是自己默默承担一切的女生。
比起工作,她更喜欢玩。 正因为如此,她经常被委员会的其他人骂。 但是,一旦任务开始,她就会在前线勇敢地战斗以保护她的战友。
她在阿拜多斯上高中。与星野一起在对策委员会的成员有白子,茜香,野乃美,和绫音。
星野的年龄是17岁,生日为1月2日。
星野有一头粉红色的头发,头巾一直长到她的腿上。 
星野有蓝色和橙色眼睛的异色症。
星野其实更符合认真而默默努力的类型。她实际上不相信其它的学校和大人,是对策委员会中最谨慎保守的人。当然,这并不妨碍老师和星野增进关系,成为她唯一信任的大人。
是萝莉、有呆毛、天然萌、早熟、学生会副会长、异色瞳、慵懒。
星野对海洋动物很感兴趣,对鱼类的知识了解得不少。她在拿到附录中包含2000多种热带鱼图鉴的书后,迫不及待地找了家店坐下来阅读。
在众多海洋动物中,星野最喜欢的当属鲸鱼,情人节时星野还在海洋馆买了鲸鱼的巧克力作为纪念。
星野还对寻宝有着十分浓厚的兴趣,曾和老师探索了阿拜多斯多个角落。
星野给人一种白天睡不醒的瞌睡虫形象。"""

messages = [
    {"role": "", "content": prompt},
    {"role": "星野", "content": "老师好啊~"}, # we replace "assistant" with the character name
    {"role": "老师", "content": "【摸摸头】"}, # we replace "user" with the user name. Now you can define your own persona.
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
inputs = inputs.to("cuda")
generate_ids = model.generate(inputs,max_length=32768, streamer=streamer)

Example output:

哎呀,又来啦...老师你找我有什么事?是不是有什么困难需要我的帮助呢?毕竟我是学生会的副主席嘛,尽管有时候不太靠谱就是了(囧)。

Training Detail

4Bit quantized LoRa finetuning. 90K steps. 1 Epoch.

Downloads last month
22
Safetensors
Model size
8.06B params
Tensor type
F32
·
FP16
·
U8
·
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Space using Rorical/0-roleplay 1