README.md

---
license: apache-2.0
language:
- ja
pipeline_tag: text-generation
---

# DiffLlama-1B

DiffLlama-1Bは、フルスクラッチで約100Bトークン事前学習を行った約1Bパラメータの大規模言語モデルです。このモデルは、従来のTransformerアーキテクチャに対する改良として提案された「Differential Transformer」の概念を取り入れています。特に、Differential AttentionメカニズムをLlamaモデルに適用することで、注意力の焦点を関連性の高いコンテキストに向け、ノイズを低減する設計となっています。

## モデルの特徴

- **アーキテクチャ**: LlamaモデルにDifferential Attentionメカニズムを統合。
- **パラメータ数**: 10億（1B）パラメータ。
- **Patch-level Training**: 学習コスト削減技術[Patch-level Training](https://arxiv.org/abs/2407.12665)を使用。
- **Muon Optimizer**: AdamWより収束が早いOptimizerを使うことで学習効率を2倍に\(つまり実質200Bトークン学習している\)。実装は[こちら](https://github.com/MoonshotAI/Moonlight/blob/master/examples/toy_train.py)

## 学習データ

DiffLlama-1Bは以下のデータセットを用いて、合計約1000億（100B）トークンで1エポックの学習を行いました。

- **hotchpotch/fineweb-2-edu-japanese**: 約900億（90B）トークン。
- **HuggingFaceFW/fineweb-edu**: 約100億（10B）トークン。

## 使用方法

以下のコードスニペットは、DiffLlama-1Bモデルを使用してテキスト生成を行う方法を示しています。


```python
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

model = AutoModelForCausalLM.from_pretrained("kajuma/DiffLlama-1B", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("kajuma/DiffLlama-1B")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
for t in text:
    print(t)
```

## ライセンス

このモデルはApache License 2.0の下で提供されています。

## 謝辞

本モデルの開発にあたり、[株式会社ZEALS](https://zeals.ai/jp/news/20250303/)が提供する『生成AIエンジニア向けGPU無償提供プログラム』の支援を受けました。