pere/llama3.2-3B-reasoning-norwegian

Pretrained reasoning model

Trained with these parameters:

python MaxText/train.py MaxText/configs/base.yml \
    load_parameters_path='gs://maxlog-eu/north_llama32base_3b_edu_above_05_lr4e5_8192/checkpoints/50000/items' \
    steps=161 \
    checkpoint_period=80 \
    run_name='llama32_reasoning_norwegian' \
    model_name='llama3.2-3b' \
    max_target_length=8192 \
    async_checkpointing=false \
    base_output_directory='gs://maxlog-eu' \
    dataset_type='hf' \
    hf_path='json' \
    hf_train_files='gs://levanter-dataset-eu/wiki_reasoning_norwegian/train10*.jsonl' \
    tokenizer_path=../Llama-3.2-1B/ \
    per_device_batch_size=1 \
    attention='flash' \
    learning_rate=9e-5 \
    warmup_steps_fraction=0.01 \
    remat_policy=full \
    hf_eval_split='' \
    hf_eval_files='gs://levanter-dataset-eu/wiki_reasoning_norwegian/validation*.jsonl' \
    eval_steps=10

Trained on data from: https://huggingface.co/datasets/pere/nor_wiki_reasoning_english_v4

Example prompt:

Gjennomgå og korriger følgende tekst for feil i tegnsetting (feilplasserte, manglende eller overflødige tegn) samt bruk av store og små bokstaver.

Du skal aldri endre stavemåten eller legge til eller fjerne ord. Når du svarer, skal du kun returnere den korrigerte teksten, uten ekstra forklaring.

Hvis setningen allerede er korrekt, returner originalteksten.

Her er teksten du skal analysere:
<think>
I sin nåværende form er stedsnavnet Dunbar avledet fra sin gæliske ekvivalent, moderne skotsk-gæliske i betydningen «borg på høyden», tilsvarende bygdeborg.
Det er i seg selv antagelig en gælifisering av den kumbriske formen, med samme betydning.
Denne formen synes å være dokumentert som i hagiografien (helgenbiografien).

<think> Okay, la meg lese gjennom teksten nøye. Først ser jeg på tegnsetting og bruk av store og små bokstaver. "I sin nåværende form er stedsnavnet Dunbar avledet fra sin gæliske ekvivalent, moderne skotsk-gæliske i betydningen «borg på høyden», tilsvarende bygdeborg. Det er i seg selv antagelig en gælifisering av den kumbriske formen, med samme betydning. Denne formen synes å være dokumentert som i hagiografien (helgenbiografien)."
Første avsnitt: Etter "skotsk-gæliske" mangler det kanskje et anførselstegn eller en parentes? Nei, det står "i betydningen «borg på høyden»" som ser riktig ut.
Andre setning: "formen , med samme betydning." Her er det et komma før kommaet, feil plassert. Må fjerne mellomrommet før kommaet og sørge for at det ikke er mellomrom før. Så det skal være "den kumbriske formen, med samme betydning."
Tredje setning: "hagiografien (helgenbiografien) ." Her er det et punktum etter parentesen som ikke skal være der. Må flytte punktumet utenfor: "(helgenbiografien)."

Sjekker også store bokstaver. "gæliske" og "kumbriske" er adjektiver, så de skal være små. "gælifisering" er substantiv, riktig med liten forbokstav. "hagiografien" er vanlig substantiv, små bokstaver. Ser ut til at det er riktig.

Oppsummert: Rette kommaplassering i andre setning og punktum i tredje setning.
</think>

<answer> I sin nåværende form er stedsnavnet Dunbar avledet fra sin gæliske ekvivalent, moderne skotsk-gæliske i betydningen «borg på høyden», tilsvarende bygdeborg. Det er i seg selv antagelig en gælifisering av den kumbriske formen, med samme betydning. Denne formen synes å være dokumentert som i hagiografien (helgenbiografien). </answer>