File size: 2,483 Bytes
dc0da04
 
 
 
 
 
b3f5d80
dc0da04
 
 
 
 
 
 
b3f5d80
dc0da04
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
---
language:
- ja
license: apache-2.0
library_name: transformers
datasets:
- llm-book/livedoor-news-corpus
pipeline_tag: text2text-generation
metrics:
- rouge
- bleu
- bertscore
---

# llm-book/t5-base-long-livedoor-news-corpus

「[大規模言語モデル入門](https://www.amazon.co.jp/dp/4297136333)」の第7章で紹介している要約生成のモデルです。
[retrieva-jp/t5-base-long](https://huggingface.co/retrieva-jp/t5-base-long)を[llm-book/livedoor-news-corpus](https://huggingface.co/datasets/llm-book/livedoor-news-corpus)でファインチューニングして構築されています。

## 関連リンク

* [GitHubリポジトリ](https://github.com/ghmagazine/llm-book)
* [Colabノートブック](https://colab.research.google.com/github/ghmagazine/llm-book/blob/main/chapter7/7-summarization-generation.ipynb)
* [データセット](https://huggingface.co/datasets/llm-book/livedoor-news-corpus)
* [大規模言語モデル入門(Amazon.co.jp)](https://www.amazon.co.jp/dp/4297136333/)
* [大規模言語モデル入門(gihyo.jp)](https://gihyo.jp/book/2023/978-4-297-13633-8)

## 使い方
```python
from transformers import pipeline

text2text_pipeline = pipeline(
    model="llm-book/t5-base-long-livedoor-news-corpus"
)
article = "ついに始まった3連休。テレビを見ながら過ごしている人も多いのではないだろうか? 今夜オススメなのは何と言っても、NHKスペシャル「世界を変えた男 スティーブ・ジョブズ」だ。実は知らない人も多いジョブズ氏の養子に出された生い立ちや、アップル社から一時追放されるなどの経験。そして、彼が追い求めた理想の未来とはなんだったのか、ファンならずとも気になる内容になっている。 今年、亡くなったジョブズ氏の伝記は日本でもベストセラーになっている。今後もアップル製品だけでなく、世界でのジョブズ氏の影響は大きいだろうと想像される。ジョブズ氏のことをあまり知らないという人もこの機会にぜひチェックしてみよう。 世界を変えた男 スティーブ・ジョブズ(NHKスペシャル)"
print(text2text_pipeline(article)[0]["generated_text"])
# 今夜はNHKスペシャル「世界を変えた男 スティーブ・ジョブズ」をチェック!
```

## ライセンス

[Apache License 2.0](https://www.apache.org/licenses/LICENSE-2.0)