language:
- en
- ja
tags:
- translation
- gemma2
- llama.cpp
- gguf
News
2024.07.21
C3TR-Adapter_ggufのVersion3を公開しました。
Version 3 of C3TR-Adapter_gguf has been released.
Version3はgoogle gemma-2ベースになり、一部の翻訳ベンチマークではgpt-4 turboやcommand-R plusを凌駕する品質です。
Version 3 is based on Google Gemma-2, and in some translation benchmarks, it outperforms GPT-4 Turbo and Command-R Plus.
以前のVersionのユーザーの方はプロンプトテンプレートに特殊なトークン(<start_of_turn>, <end_of_turn>)が追加されている事に注意してください
For users of previous versions, please note that special tokens(<start_of_turn>, <end_of_turn>) have been added to the prompt templates.
2024.05.18
C3TR-Adapter_ggufのVersion2を公開しました。
Version 2 of C3TR-Adapter_gguf has been released.
Version2では主にカジュアルな会話に関する翻訳能力が大幅に向上しています。
Version 2 has greatly improved the ability to translate casual conversations.
その反面、フォーマルな文章の翻訳能力が少し落ちてしまっています。フォーマルな文章を対象にする場合、Version1を引き続きお使いください
On the other hand, translation capabilities for formal texts have declined slightly. If you are targeting formal texts, please continue to use Version1.
モデルカード(Model Card for Model ID)
Gemmaベースの日英、英日ニューラル機械翻訳モデルであるwebbigdata/C3TR-AdapterをGPUがないPCでも動かせるようにggufフォーマットに変換したモデルです。
A Japanese-English and English-Japanese neural machine translation model, webbigdata/C3TR-Adapter, converted to gguf format so that it can run on a PC without a GPU.
簡単に試す方法(Easy way to try it)
Googleの無料WebサービスColabを使うとブラウザを使って試す事ができます。
You can try it using your browser with Colab, Google's free web service.
しかし、ColabのCPUは以前と比較して非常に性能が悪くなったため、デモは非常に時間がかかるので注意してください
Please note that the demo will take a very long time because the CPU of the Collabo is much slower than before.
リンク先で[Open in Colab]ボタンを押してColabを起動してください
Press the [Open in Colab] button on the link to start Colab
Colab Sample C3TR_Adapter_gguf_v3_Free_Colab_sample
利用可能なVersion(Available Versions)
llama.cppを使うと、様々な量子化手法でファイルのサイズを小さくする事が出来ますが、本モデルでは7種類のみを扱います。小さいサイズのモデルは、少ないメモリで高速に動作させることができますが、モデルの性能も低下します。4ビット(Q4_K_M)くらいがバランスが良いと言われています。
Although llama.cpp can be used to reduce the size of the file with various quantization methods, this sample deals with only six types. Smaller models can run faster with less memory, but also reduce the performance of the models. 4 bits (Q4_K_M) is said to be a good balance.
- C3TR-Adapter-IQ3_XXS.gguf 3.6GB
- C3TR-Adapter-Q3_k_m.gguf 4.5GB
- C3TR-Adapter-Q4_k_m.gguf 5.4GB
- C3TR-Adapter.f16.Q4_k_m.gguf 6.4GB
- C3TR-Adapter.f16.Q5_k_m.gguf 7.2GB
- C3TR-Adapter.f16.Q6_k.gguf 8.1GB
- C3TR-Adapter.f16.Q8_0.gguf 10GB
サンプルコード(sample code)
ColabのCPUは遅いので、少し技術的な挑戦が必要ですが皆さんが所有しているPCでllama.cppをコンパイルして動かす方が良いでしょう。
Since Colab's CPU is slow, it is better to compile and run llama.cpp on your own PC, which requires a bit of a technical challenge.
Install and compile example(linux)
その他のOSについてはllama.cpp公式サイトを確認してください
For other operating systems, please check the llama.cpp official website
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
推論実行例(Inference execution sample)
英日翻訳(Translate English to Japanese)
./llama-cli -m ./C3TR-Adapter.f16.Q4_k_m.gguf -e --temp 0 --repeat-penalty 1.0 -n -2 -p "You are a highly skilled professional Japanese-English and English-Japanese translator. Translate the given text accurately, taking into account the context and specific instructions provided. Steps may include hints enclosed in square brackets [] with the key and value separated by a colon:. Only when the subject is specified in the Japanese sentence, the subject will be added when translating into English. If no additional instructions or context are provided, use your expertise to consider what the most appropriate context is and provide a natural translation that aligns with that context. When translating, strive to faithfully reflect the meaning and tone of the original text, pay attention to cultural nuances and differences in language usage, and ensure that the translation is grammatically correct and easy to read. After completing the translation, review it once more to check for errors or unnatural expressions. For technical terms and proper nouns, either leave them in the original language or use appropriate translations as necessary. Take a deep breath, calm down, and start translating.
<start_of_turn>### Instruction:
Translate English to Japanese.
When translating, please use the following hints:
[writing_style: web-fiction]
### Input:
[Blackthorne] My name is John Blackthorne!
I’m English, pilot of the Erasmus, a Dutch merchant vessel.
Lies! You’re a pirate!
They don’t know about us, do they?
The great Lord Yoshii Toranaga wants to meet you.
What does he want with me?
Play with your balls, maybe. How should I know?
♪ ♪
[man chuckles]
[indistinct whispering]
[laughing]
[laughs]
Hmm.
♪ ♪
♪ ♪
♪ ♪
[Dell’Acqua] This English pilot-how do you mean he is obscene?
You know the sort. Uh, dirty. Diseased.
And he’s got a filthy mouth.
He’s like a back-passage whore of the 15th rank.
Know what I mean, Father-Visitor?
These journals are proof of his depravity.
Look, Your Eminence.
Sacked, slaughtered and pillaged his way through Manila.
He’s a real piece of work, that one. Brutal savage.
So we show these to the Japanese.
And he will be hanged for piracy.
I’m afraid it may not be so simple.
Despite the discord in Osaka, Toranaga is still president of foreign relations.
He’s a thorough man.
I fear he’ll want a complete translation of this journal.
Perhaps a bit too complete.
I’ll thank you to leave now.
So you know, this, uh, pirate– he’s not a man to leave his fate with God.
I suggest you don’t, either.
So he knows everything about Macao.
Christ as my witness… with these bushos on the verge of open war, the last thing we need is any discussion of past entanglements.
Well, then let us be grateful our visitor does not speak Japanese.
Hm.
I’m going to the castle where Toranaga has been sequestered.
I’m to translate for him this afternoon.
Martin.
These are critical times for the mission.
You will see to it this man is not a problem.
♪ ♪
[horse whinnying]
[door slides open]
[guard calls out]
[door slides closed]
Shit.
Good morning.
My name is Martin Alvito of the Society of Jesus.
You must be the Anjin.
What does that mean?
It means “pilot.”
The way Tsuji means “translator” for me.
You are in the court of Lord Yoshii Toranaga, and I am the interpreter to the Council of Regents.
Oh, good, so you’ll be able to twist my words in your Portuguese favor.
What did you just say?
[Alvito] Exactly what you said.
I will translate without prejudice.
Well, seeing as you’re so bloody honest, perhaps you would do me the courtesy of telling him we are enemies.
[Alvito] Tell him yourself.
The Japanese word for “enemy” is teki.
Gesture at me and say the word.
He will understand.
I may be your enemy, John Blackthorne of the Erasmus… but I am not your assassin.
That you will do yourself.
Hm.
He wants to know why we are enemies.
Because our countries are at war.
[Alvito] Tell him where you’re from.
England.
It’s an island kingdom,
1,000 miles north of Portugal.
[continues speaking Japanese]
[Alvito] Why are you at war with my kingdom?
Because England refuses to be intimidated by Catholics.
[Alvito translating]
[Alvito] You are not Catholic?
There are two Christian religions.
Protestant and Catholic.
We English are Protestant.
[Blackthorne] Yes.
Though I won’t know for sure till I’m dead.
I am not a pirate.
My ship contains letters of marque from the rulers of a nation called Holland, authorizing us to trade in all seas.
And to defend ourselves against anyone who dare stop us.
I cannot conceive of being an enemy to you, Lord.
Then I would commend my soul to God.
For surely I would die by the hand of a teki like you.
[guard calls out]
[door slides open]
[Alvito] Move.
This is Lord General Ishido.
Toranaga’s chief rival. If you value your life, do not say a word.
[door slides closed]
Bow. Fast.
[chuckles]
You are to be detained.
For how long?
I do not know, Anjin.
But I will pray for your soul.
[Blackthorne] What have you told him, you bastard?
This is fucking great.
[mumbles indistinctly]
There’s clearly been some sort of misunderstanding.
Where are you taking me?
If I’ve committed some sort of offense, I apologize. Apolo…
Do any of you people understand a damn word I’m saying?
You, up front-where are you taking me?
[grunting]
No, I protest this treatment!
<end_of_turn>
<start_of_turn>### Response:
"
出力例(output)
[ブラックソーン] 私はジョン・ブラックソーンと名乗る。
私はイギリス人であり、オランダの商船「エラスムス」の船長だ。
嘘つき！お前は海賊だ！
彼らは我々について知らないだろう。
大名義氏虎長は君と会いたいらしい。
彼は私に何を求めているんだ？
玉の緒を弄ぶのかもしれない。誰が知ってんだよ。
♪ ♪
[男が笑う]
[ぼやけたささやき]
[笑い声]
[笑い声]
うーん。
♪ ♪
♪ ♪
♪ ♪
[デル・アクア] この英語の船長、彼はなぜ下品なのか？
その手のやつを知っているだろう。汚い。病んでいる。
そして彼は汚い口をきく。
彼は15位の娼婦のようなものだ。
わかるか、神父？
この日記は彼の堕落を証明している。
見てくれ、枢機卿。
マニラを略奪し、殺戮し、略奪した。
彼は本当に厄介な奴だ。残虐な野蛮人だ。
だからこれを日本人に示して、海賊として彼を吊るすんだ。
だが、そう簡単ではないかもしれない。
大阪の混乱にもかかわらず、虎長は依然として外交担当者だ。
彼は徹底的な男だ。
彼がこの日記の完全な翻訳を望むのではないかと恐れている。
恐らく、少しばかり過剰な翻訳かもしれない。
もう出て行ってくれ。
そうね、この海賊は、自分の運命を神に委ねない男だ。
君もそうすべきだ。
だから彼はマカオについてすべて知っている。
神に誓って…この武士がオープンな戦争の危機に瀕している中、過去に絡んだことについて議論する必要はない。
では、我々の訪問者が日本語を話さないことを感謝しよう。
うーん。
私は虎長が隔離されている城に行く。
午後には彼のために翻訳する。
マーティン。
このミッションにとって重要な時期だ。
この男が問題にならないようにする責任は君にある。
♪ ♪
[馬の鳴き声]
[扉がスライドして開く]
[警備兵が呼ぶ]
[扉がスライドして閉じる]
クソだ。
おはようございます。
私はイエズス会のマティン・アルヴィートです。
あなたはアンジンでしょう。
アンジンってどういう意味？
それは「船長」という意味だ。
私の場合、ツジは「通訳」という意味だ。
あなたは義氏虎長大名の御前におり、私は摂政評議会の通訳だ。
ああ、そうか、つまり、君がポルトガル語で有利に私の言葉を曲げることになるのか。
君は何と言ったんだ？
[アルヴィート] 君が言ったことと同じことを言った。
私は偏見なく翻訳する。
君がそんなに正直な人間なら、彼に敵であることを教えてくれるだろう。
[アルヴィート] 自分で言ってくれ。
「敵」は「敵」だ。
私を指さして「敵」と言う。
彼は理解するだろう。
私は君が敵であるかもしれない、エラスムスのジョン・ブラックソーンだが、君の暗殺者ではない。
それは君が自分でやることだ。
うーん。
彼はなぜ敵であるのかを知りたいと思っている。
なぜなら、我々の国は戦争をしているから。
[アルヴィート] 君はどこから来たのかを伝えてくれ。
イングランド。
それはポルトガルより北に1,000マイル離れた島国だ。
[続けて日本語で話す]
[アルヴィート] なぜ私の王国と戦争をしているのか？
イングランドはカトリックに屈しない。
[アルヴィートが翻訳する]
[アルヴィート] 君はカトリックではないのか？
キリスト教には2つの宗教がある。プロテスタントとカトリックだ。
我々イギリス人はプロテスタントだ。
[ブラックソーン] そうだな。
だが、死んだら確かめられるだろう。
私は海賊ではない。
私の船には、オランダという国を統治する者から、すべての海で貿易し、我々を止めようとする者から身を守ることを許可する書状が入っている。
君に敵対することは考えられない。
そうであれば、私は神に魂を委ねることだろう。
きっと君のような敵に殺されるだろう。
[警備兵が呼ぶ]
[扉がスライドして開く]
[アルヴィート] 動きなさい。
これは石戸大将だ。
虎長の最大のライバルだ。命を大切にしたいのなら、一言も言わないでくれ。
[扉がスライドして閉じる]
頭を下げろ。早く。
[笑い声]
君は拘束される。
どれくらい？
わからない、アンジン。
だが、君の魂のために祈るよ。
[ブラックソーン] 君は何を彼に話したんだ、クソ野郎？
これは fucking すごい。
[ぼやけながら話す]
明らかに誤解があったようだ。
どこへ連れて行くんだ？
もし私が何らかの罪を犯したのなら、謝罪する。謝罪…
君たちは私の言っていること一つも理解しているのか？
君、一番前の人-どこへ連れて行くんだ？
[唸り声]
いいえ、この扱いには抗議する！ [end of text]
日英翻訳時(Translate Japanese to English)
./llama-cli -m ./C3TR-Adapter.f16.Q4_k_m.gguf -e --temp 0 --repeat-penalty 1.0 -n -2 -p "You are a highly skilled professional Japanese-English and English-Japanese translator. Translate the given text accurately, taking into account the context and specific instructions provided. Steps may include hints enclosed in square brackets [] with the key and value separated by a colon:. Only when the subject is specified in the Japanese sentence, the subject will be added when translating into English. If no additional instructions or context are provided, use your expertise to consider what the most appropriate context is and provide a natural translation that aligns with that context. When translating, strive to faithfully reflect the meaning and tone of the original text, pay attention to cultural nuances and differences in language usage, and ensure that the translation is grammatically correct and easy to read. After completing the translation, review it once more to check for errors or unnatural expressions. For technical terms and proper nouns, either leave them in the original language or use appropriate translations as necessary. Take a deep breath, calm down, and start translating.
<start_of_turn>### Instruction:
Translate Japanese to English.
When translating, please use the following hints:
[writing_style: educational-casual]
[虎視虎子: Torako Koshi]
[鹿乃子のこ: Noko Shikanoko]
### Input:
都立日野南高校の虎視虎子は、近所や学校でも「お淑やかな優等生」と評判の女子高生だが、実は「中学までヤンキーで、高校デビューして優等生になった」ことを隠しながら生活していた。
ある日の登校中、虎子は頭にツノが生えている少女・鹿乃子のこが電線に引っ掛かっていたところを助ける。なぜか、のこに「元ヤン」であることを見破られた虎子は、「ヤンキーのお姉さん」と呼ばれるのが嫌で「こしたん」という愛称を受け入れる。
虎子は自分が「元ヤン」だと周囲にバレないように、虎子のクラスに転校してきたのこを警戒するが、のこの生態に振り回される中で、彼女が立ち上げた部活動「シカ部」の部長として、シカであるのこのお世話係になる。
<end_of_turn>
<start_of_turn>### Response:
"
出力例(output)
Torako Koshi, a high school student at Tokyo's Hino-Minami High School, is known as a "well-behaved honor student" by her neighbors and classmates. However, she's actually hiding the fact that she was a "delinquent" until middle school and became an honor student when she entered high school.
One day, while on her way to school, Torako sees a girl with horns on her head, Noko Shikanoko, hanging from a power line. She helps her, but somehow, Noko sees through Torako's disguise and calls her "a delinquent older sister." Torako hates being called that, so she accepts Noko's nickname, "Koshi-chan."
Torako tries to keep her past as a "delinquent" a secret, so she keeps an eye on Noko, who transferred to her class. However, she ends up taking care of Noko, who is a deer, as the president of the "Deer Club" that Noko started. [end of text]
詳細はwebbigdata/C3TR-Adapterを参照してください gguf版は一部の指定が動作しません
For other grammars see webbigdata/C3TR-Adapter Some specifications do not work with the gguf version.
パラメーター(Parameters)
現在のgguf版は翻訳後に幻覚を追加出力してしまう傾向があり、パラメーターを適宜調整する必要があります。
The current gguf version tends to add hallucinations after translation and the parameters need to be adjusted accordingly.
必要に応じて下記のパラメーターを調整してください
- 温度（--temp）: この値を下げると、モデルがより確信度の高い（つまり、より一般的な）単語を選択する傾向が強くなります。
- トップP（--top_p）: この値をさらに低く設定することで、モデルが考慮する単語の範囲を狭め、より一貫性のあるテキストを生成するようになります。
- 生成する単語数（-n）: この値を減らすことで、モデルが生成するテキストの長さを短くし、不要な追加テキストの生成を防ぐことができます。-1 = 無限大、-2 = 文脈が満たされるまで。
以下はllama.cppの作者(ggerganov)による推奨パラメーターです
- -e (改行\nをエスケープ)
- --temp 0 (最も確率の高いトークンのみを選択)
- --repeat-penalty 1.0 (繰り返しペナルティをオフ。指示調整済モデルでこれをするのは、決して良い考えとは言えないとの事。)
--no-penalize-nl (改行の繰り返しにはペナルティをあたえない)最新のllama.cppではディフォルト動作になったので指定不要
Adjust the following parameters as needed
- Temperature (--temp): Lowering this value will make the model more likely to select more confident (i.e., more common) words.
- Top P (--top_p): Setting this value even lower will narrow the range of words considered by the model and produce more consistent text.
- Number of words to generate (-n): Reducing this value will shorten the length of text generated by the model and prevent the generation of unnecessary additional text. -1 = infinity(default), -2 = until context filled.
The following are the recommended parameters by the author of llama.cpp(ggerganov)
- -e (escape newlines (\n))
- --temp 0(pick most probable tokens)
- --repeat-penalty 1.0(disable repetition penalty (it's never a good idea to have this with instruction tuned models)~~ latest llama.cpp default behavior, so don't mind.
--no-penalize-nl(do not penalize repeating newlines)latest llama.cpp's default behavior so you need not this option.