---
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
widget:
- text: Denn das neue Heizungsverbotsgesetz wurde von Leuten in Habecks Ministerium
    geschrieben, die lediglich das Ziel der Klimaneutralität vor Augen hatten, ohne
    Rücksicht auf die Denkweise und die Möglichkeiten von Vermietern. Tatsächlich
    ist das neue Gesetz ein Schock für Leute für mich. Wir haben da beispielsweise
    ein 105 m² kleines Haus von 1928, das auf einem 551 m² großen Grundstück steht.
    Das Haus wurde immer wieder erneuert, beim letzten Mieterwechsel für eine niedrige,
    fünfstellige Summe. In den 60er-Jahren, bevor meine Eltern es gekauft haben, wurden
    noch die obigen Glasbausteine verbaut. Die kann man energetisch überhaupt nicht
    sanieren, und momentan macht auch noch die verbaute Gasheizung Probleme. Sprich,
    wir wären ein Bilderbuchbeispiel für jenen Totalumbau, den Herr Habeck und das
- text: 'Wir haben im Handelsblatt Morning Briefing gefragt: "Welche Frage hätten
    Sie gerne von Bundesverkehrsminister Volker Wissing beantwortet" und abstimmen
    lassen. Hier ist Ihre Frage und die Antwort des Ministers: "Wann kommt das Tempolimit
    auf Autobahnen?" "Das ist ein Thema, das die Menschen umtreibt, aber das löst
    die Probleme im Mobilitätssektor, vor allem im Pkw-Bereich, nicht. Es ist ein
    ganz kleines Thema, auch wenn es ein emotionales ist. Ich setze mehr auf die Nutzung
    von modernen Verkehrsleitsystemen, von digitaler Steuerung unserer Verkehrssysteme.
    Ich glaube, dass wir bei der Infrastrukturnutzung künftig besser werden müssen.
    Wir müssen nicht nur an den Ausbau der Infrastruktur denken, sondern auch die
    vorhandene intelligenter nutzen können. Und dann wird sich diese Frage relativieren,
    weil wir durch eine intelligente, digital gesteuerte Verkehrslenkung besser CO2
    einsparen können als durch das aus der analogen Welt kommende Tempolimit."'
- text: Mit scharfen Attacken auf die Koalitionspartner im Bund hat Grünen-Chef Omid
    Nouripour für stärkere Anstrengungen beim Klimaschutz im Verkehrsbereich geworben.
    Dort müsse 14 Mal mehr geschehen, sagte er am Samstag beim Landesparteitag der
    Grünen in Hamburg. "Der Verkehrsbereich ist der Sektor, der am meisten machen
    muss." Trotz Ablehnung der FDP müsse alles dafür getan werden, "dass es ein Tempolimit
    gibt". Auch verstehe er nicht, warum weiter Autobahnen gebaut werden müssten.
- text: 'Fans und Gegner des Automobils stehen sich zunehmend unversöhnlich gegenüber:
    Der Zwist über den Ausbau von Autobahnen und ein Tempolimit könnte sogar die Ampelkoalition
    sprengen. Die SPIEGEL-Titelgeschichte.'
- text: 'Selbst wenn das hier und da zutrifft: Niemand wird daran gehindert, auch
    ohne staatliches Handeln das Richtige zu tun. So wie man auf der Autobahn auch
    ohne generelles Tempolimit zurückhaltend und verantwortungsvoll fahren darf, kann
    man sich im Heizungskeller Gedanken über die Zukunft machen – selbst wenn man
    Robert Habeck nicht leiden kann. Zum Beispiel darf man sich auch heute schon eine
    Wärmepumpe einbauen.'
metrics:
- accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: sentence-transformers/distiluse-base-multilingual-cased-v1
model-index:
- name: SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1
  results:
  - task:
      type: text-classification
      name: Text Classification
    dataset:
      name: Unknown
      type: unknown
      split: test
    metrics:
    - type: accuracy
      value: 0.45454545454545453
      name: Accuracy
---

# SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1

This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/distiluse-base-multilingual-cased-v1](https://huggingface.co/sentence-transformers/distiluse-base-multilingual-cased-v1) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

## Model Details

### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [sentence-transformers/distiluse-base-multilingual-cased-v1](https://huggingface.co/sentence-transformers/distiluse-base-multilingual-cased-v1)
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
- **Maximum Sequence Length:** 128 tokens
- **Number of Classes:** 3 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)

### Model Labels
| Label      | Examples                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         |
|:-----------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| opposed    | <ul><li>'Für Michael Kruse (FDP) ist das eine Nachbesserung des Heiz-Gesetzes durch die Hintertür. "Ich bin gerne bereit, das Heizungsgesetz vom Bundestag zurück an den Minister zu geben, damit wir eine nachgebesserte Vorlage bekommen", sagte Kruse zu BILD.'</li><li>'Nicht nur sinkende Umfragewerte offenbaren: Die Grünen haben schon bessere Zeiten erlebt. Baden-Württembergs Ministerpräsident Winfried Kretschmann über die Fehler seiner Partei in Sachen Migration und Heizungsgesetz – und welche Lehren sie daraus ziehen sollte'</li><li>'Aktionen am Stachus; Münchner applaudieren Polizisten, die Klima-Kleber von der Straße zerren Wie angekündigt, hat die ›DLG› am Dienstagmorgen erneut am Stachus und an der Sonnenstraße protestiert. Geld- und Haftstrafen nehmen die aktivist für ihr Anliegen in Kauf.'</li></ul>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
| supportive | <ul><li>'Was heißt das also? Die DLG, die für Klimaschutz und gegen den ökologischen Kollaps kämpfen kann, sind die Aktivist und aktivist nicht. In ihrer Lebenszeit werde die Welt nicht kippen, sagt auch Schwarze. Ihr Anliegen sei trotzdem grundsätzlich richtig: ›Ich glaube, sie wurden gehört. In der Wissenschaft, in der Wirtschaft, in der Politik.›'</li><li>'Thema ist auch der Radverkehr. "Wir brauchen einen Schub auf der Ebene", sagte Erdmann. Zur Diskussion stehen nach niederländischem Vorbild 30 Euro pro Kopf und Jahr für den Radverkehr, finanziert von Land und Kommunen. Das wären in Schleswig-Holstein knapp 90 Millionen Euro. Weitere Anträge sehen ein auf zwei Jahre befristetes Tempolimit auf Autobahnen und einen Klimacheck für Straßenbauprojekte vor. Die Grüne beantragte eine Solidaritätsbekundung mit der Klimagruppe Letzte Generation, die immer wieder Straßen blockiert.'</li><li>'Zumindest in Umfragen zeigt sich, dass die Öffentlichkeit in Deutschland nicht mehr so sensibel auf das Reizwort Tempolimit reagiert. Langsam schwenkt die Mehrheit um: Laut Umweltbundesamt befürworten mehr als 60 Prozent der Befragten im Interesse des Umweltschutzes und der Sicherheit ein Tempolimit auf der Autobahn. Bleibt die Frage, wie lange egozentrische Wirk\xadlich\xadkeitsleugner ihr Bedürfnis nach ungebremstem Rasen durch Deutschland noch verteidigen können.'</li></ul>                                                                                                                                                                                                                                                                                                                                                            |
| neutral    | <ul><li>'FFF Hannover erklärte zu der Absage, es sei wichtig, Schwarzen, indigenen Menschen und People of Color einen Raum innerhalb der Klimagerechtigkeitsbewegung zu geben. Das Auftreten einer weißen Person mit Dreadlocks könne den Eindruck erwecken, dass es in der Klimaschutzbewegung für diese Menschen keinen geschützten Raum gebe, in dem Diskriminierungen abgebaut würden. ›Deshalb haben wir uns dazu entschieden, Maltzahn abzusagen›, hieß es in der Mitteilung.'</li><li>'Mit einer Flut von 22 Gesetzen und 19 Verordnungen bis Ende 2022 („Osterpaket“, „Sommerpaket“) hat das BMWK der Energiewende einen Neustart verordnet. Zentral dabei ist etwa die Umsetzung folgender Pläne: höhere Ausbauziele bei Wind an Land und auf See und bei PV-Strom, also Strom, der mit einer Photovoltaikanlage erzeugt wird; Abschaffung der EEG-Umlage; die Beschleunigung im Verfahren beim Windausbau, schnellere Planung der Stromnetze; die Normen für die Bekämpfung der Gasknappheit inklusive Baubeschleunigung bei den LNG-Terminals; die Ausweitung des nationalen Emissionshandels; die Regelung, Kohlekraftwerke aus der Reserve zu holen, und das jetzt heftig umkämpfte „Gebäude-Energiegesetz“ (GEG), das als „Habecks Heizungsverbot“ für viel Unruhe und Kritik gesorgt hat – und dessen rasche Umsetzung noch vor dem Sommer den nächsten Koalitionskrach bringen wird: Habeck geht davon aus, dass gilt, was im Kabinett beschlossen wurde. Die FDP will nachverhandeln.'</li><li>'Zu Gast bei ›Maybrit Illner› sind am Donnerstag: * Kevin Kühnert Generalsekretär SPD * Alexander Dobrindt Landesgruppenchef CSU * Carla Rochel Sprecherin ›DLG› * Karen Pittel Wirtschaftswissenschaftlerin * Robin Alexander stellvertretender ›Welt›-Chefredakteur'</li></ul> |

## Evaluation

### Metrics
| Label   | Accuracy |
|:--------|:---------|
| **all** | 0.4545   |

## Uses

### Direct Use for Inference

First install the SetFit library:

```bash
pip install setfit
```

Then you can load this model and run inference.

```python
from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("cbpuschmann/distiluse-base-multilingual-cased-klimacoder_v0.9")
# Run inference
preds = model("Fans und Gegner des Automobils stehen sich zunehmend unversöhnlich gegenüber: Der Zwist über den Ausbau von Autobahnen und ein Tempolimit könnte sogar die Ampelkoalition sprengen. Die SPIEGEL-Titelgeschichte.")
```

<!--
### Downstream Use

*List how someone could finetune this model on their own dataset.*
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Set Metrics
| Training set | Min | Median  | Max |
|:-------------|:----|:--------|:----|
| Word count   | 17  | 70.4091 | 231 |

| Label      | Training Sample Count |
|:-----------|:----------------------|
| neutral    | 59                    |
| opposed    | 55                    |
| supportive | 62                    |

### Training Hyperparameters
- batch_size: (32, 32)
- num_epochs: (1, 1)
- max_steps: -1
- sampling_strategy: oversampling
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- l2_weight: 0.01
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False

### Training Results
| Epoch  | Step | Training Loss | Validation Loss |
|:------:|:----:|:-------------:|:---------------:|
| 0.0016 | 1    | 0.2815        | -               |
| 0.0775 | 50   | 0.2603        | -               |
| 0.1550 | 100  | 0.2237        | -               |
| 0.2326 | 150  | 0.095         | -               |
| 0.3101 | 200  | 0.015         | -               |
| 0.3876 | 250  | 0.0083        | -               |
| 0.4651 | 300  | 0.0069        | -               |
| 0.5426 | 350  | 0.0056        | -               |
| 0.6202 | 400  | 0.0079        | -               |
| 0.6977 | 450  | 0.0027        | -               |
| 0.7752 | 500  | 0.0064        | -               |
| 0.8527 | 550  | 0.005         | -               |
| 0.9302 | 600  | 0.0034        | -               |

### Framework Versions
- Python: 3.10.12
- SetFit: 1.1.0
- Sentence Transformers: 3.3.1
- Transformers: 4.42.2
- PyTorch: 2.5.1+cu121
- Datasets: 3.2.0
- Tokenizers: 0.19.1

## Citation

### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->