README.md

metadata

tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: >-
      Denn das neue Heizungsverbotsgesetz wurde von Leuten in Habecks
      Ministerium geschrieben, die lediglich das Ziel der Klimaneutralität vor
      Augen hatten, ohne Rücksicht auf die Denkweise und die Möglichkeiten von
      Vermietern. Tatsächlich ist das neue Gesetz ein Schock für Leute für mich.
      Wir haben da beispielsweise ein 105 m² kleines Haus von 1928, das auf
      einem 551 m² großen Grundstück steht. Das Haus wurde immer wieder
      erneuert, beim letzten Mieterwechsel für eine niedrige, fünfstellige
      Summe. In den 60er-Jahren, bevor meine Eltern es gekauft haben, wurden
      noch die obigen Glasbausteine verbaut. Die kann man energetisch überhaupt
      nicht sanieren, und momentan macht auch noch die verbaute Gasheizung
      Probleme. Sprich, wir wären ein Bilderbuchbeispiel für jenen Totalumbau,
      den Herr Habeck und das
  - text: >-
      Wir haben im Handelsblatt Morning Briefing gefragt: "Welche Frage hätten
      Sie gerne von Bundesverkehrsminister Volker Wissing beantwortet" und
      abstimmen lassen. Hier ist Ihre Frage und die Antwort des Ministers: "Wann
      kommt das Tempolimit auf Autobahnen?" "Das ist ein Thema, das die Menschen
      umtreibt, aber das löst die Probleme im Mobilitätssektor, vor allem im
      Pkw-Bereich, nicht. Es ist ein ganz kleines Thema, auch wenn es ein
      emotionales ist. Ich setze mehr auf die Nutzung von modernen
      Verkehrsleitsystemen, von digitaler Steuerung unserer Verkehrssysteme. Ich
      glaube, dass wir bei der Infrastrukturnutzung künftig besser werden
      müssen. Wir müssen nicht nur an den Ausbau der Infrastruktur denken,
      sondern auch die vorhandene intelligenter nutzen können. Und dann wird
      sich diese Frage relativieren, weil wir durch eine intelligente, digital
      gesteuerte Verkehrslenkung besser CO2 einsparen können als durch das aus
      der analogen Welt kommende Tempolimit."
  - text: >-
      Mit scharfen Attacken auf die Koalitionspartner im Bund hat Grünen-Chef
      Omid Nouripour für stärkere Anstrengungen beim Klimaschutz im
      Verkehrsbereich geworben. Dort müsse 14 Mal mehr geschehen, sagte er am
      Samstag beim Landesparteitag der Grünen in Hamburg. "Der Verkehrsbereich
      ist der Sektor, der am meisten machen muss." Trotz Ablehnung der FDP müsse
      alles dafür getan werden, "dass es ein Tempolimit gibt". Auch verstehe er
      nicht, warum weiter Autobahnen gebaut werden müssten.
  - text: >-
      Fans und Gegner des Automobils stehen sich zunehmend unversöhnlich
      gegenüber: Der Zwist über den Ausbau von Autobahnen und ein Tempolimit
      könnte sogar die Ampelkoalition sprengen. Die SPIEGEL-Titelgeschichte.
  - text: >-
      Selbst wenn das hier und da zutrifft: Niemand wird daran gehindert, auch
      ohne staatliches Handeln das Richtige zu tun. So wie man auf der Autobahn
      auch ohne generelles Tempolimit zurückhaltend und verantwortungsvoll
      fahren darf, kann man sich im Heizungskeller Gedanken über die Zukunft
      machen – selbst wenn man Robert Habeck nicht leiden kann. Zum Beispiel
      darf man sich auch heute schon eine Wärmepumpe einbauen.
metrics:
  - accuracy
pipeline_tag: text-classification
library_name: setfit
inference: true
base_model: sentence-transformers/distiluse-base-multilingual-cased-v1
model-index:
  - name: SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: accuracy
            value: 0.45454545454545453
            name: Accuracy

SetFit with sentence-transformers/distiluse-base-multilingual-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/distiluse-base-multilingual-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: sentence-transformers/distiluse-base-multilingual-cased-v1
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 128 tokens
• Number of Classes: 3 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
opposed	'Für Michael Kruse (FDP) ist das eine Nachbesserung des Heiz-Gesetzes durch die Hintertür. "Ich bin gerne bereit, das Heizungsgesetz vom Bundestag zurück an den Minister zu geben, damit wir eine nachgebesserte Vorlage bekommen", sagte Kruse zu BILD.' 'Nicht nur sinkende Umfragewerte offenbaren: Die Grünen haben schon bessere Zeiten erlebt. Baden-Württembergs Ministerpräsident Winfried Kretschmann über die Fehler seiner Partei in Sachen Migration und Heizungsgesetz – und welche Lehren sie daraus ziehen sollte' 'Aktionen am Stachus; Münchner applaudieren Polizisten, die Klima-Kleber von der Straße zerren Wie angekündigt, hat die ›DLG› am Dienstagmorgen erneut am Stachus und an der Sonnenstraße protestiert. Geld- und Haftstrafen nehmen die aktivist für ihr Anliegen in Kauf.'
supportive	'Was heißt das also? Die DLG, die für Klimaschutz und gegen den ökologischen Kollaps kämpfen kann, sind die Aktivist und aktivist nicht. In ihrer Lebenszeit werde die Welt nicht kippen, sagt auch Schwarze. Ihr Anliegen sei trotzdem grundsätzlich richtig: ›Ich glaube, sie wurden gehört. In der Wissenschaft, in der Wirtschaft, in der Politik.›' 'Thema ist auch der Radverkehr. "Wir brauchen einen Schub auf der Ebene", sagte Erdmann. Zur Diskussion stehen nach niederländischem Vorbild 30 Euro pro Kopf und Jahr für den Radverkehr, finanziert von Land und Kommunen. Das wären in Schleswig-Holstein knapp 90 Millionen Euro. Weitere Anträge sehen ein auf zwei Jahre befristetes Tempolimit auf Autobahnen und einen Klimacheck für Straßenbauprojekte vor. Die Grüne beantragte eine Solidaritätsbekundung mit der Klimagruppe Letzte Generation, die immer wieder Straßen blockiert.' 'Zumindest in Umfragen zeigt sich, dass die Öffentlichkeit in Deutschland nicht mehr so sensibel auf das Reizwort Tempolimit reagiert. Langsam schwenkt die Mehrheit um: Laut Umweltbundesamt befürworten mehr als 60 Prozent der Befragten im Interesse des Umweltschutzes und der Sicherheit ein Tempolimit auf der Autobahn. Bleibt die Frage, wie lange egozentrische Wirk\xadlich\xadkeitsleugner ihr Bedürfnis nach ungebremstem Rasen durch Deutschland noch verteidigen können.'
neutral	'FFF Hannover erklärte zu der Absage, es sei wichtig, Schwarzen, indigenen Menschen und People of Color einen Raum innerhalb der Klimagerechtigkeitsbewegung zu geben. Das Auftreten einer weißen Person mit Dreadlocks könne den Eindruck erwecken, dass es in der Klimaschutzbewegung für diese Menschen keinen geschützten Raum gebe, in dem Diskriminierungen abgebaut würden. ›Deshalb haben wir uns dazu entschieden, Maltzahn abzusagen›, hieß es in der Mitteilung.' 'Mit einer Flut von 22 Gesetzen und 19 Verordnungen bis Ende 2022 („Osterpaket“, „Sommerpaket“) hat das BMWK der Energiewende einen Neustart verordnet. Zentral dabei ist etwa die Umsetzung folgender Pläne: höhere Ausbauziele bei Wind an Land und auf See und bei PV-Strom, also Strom, der mit einer Photovoltaikanlage erzeugt wird; Abschaffung der EEG-Umlage; die Beschleunigung im Verfahren beim Windausbau, schnellere Planung der Stromnetze; die Normen für die Bekämpfung der Gasknappheit inklusive Baubeschleunigung bei den LNG-Terminals; die Ausweitung des nationalen Emissionshandels; die Regelung, Kohlekraftwerke aus der Reserve zu holen, und das jetzt heftig umkämpfte „Gebäude-Energiegesetz“ (GEG), das als „Habecks Heizungsverbot“ für viel Unruhe und Kritik gesorgt hat – und dessen rasche Umsetzung noch vor dem Sommer den nächsten Koalitionskrach bringen wird: Habeck geht davon aus, dass gilt, was im Kabinett beschlossen wurde. Die FDP will nachverhandeln.' 'Zu Gast bei ›Maybrit Illner› sind am Donnerstag: * Kevin Kühnert Generalsekretär SPD * Alexander Dobrindt Landesgruppenchef CSU * Carla Rochel Sprecherin ›DLG› * Karen Pittel Wirtschaftswissenschaftlerin * Robin Alexander stellvertretender ›Welt›-Chefredakteur'

Evaluation

Metrics

Label	Accuracy
all	0.4545

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("cbpuschmann/distiluse-base-multilingual-cased-klimacoder_v0.9")
# Run inference
preds = model("Fans und Gegner des Automobils stehen sich zunehmend unversöhnlich gegenüber: Der Zwist über den Ausbau von Autobahnen und ein Tempolimit könnte sogar die Ampelkoalition sprengen. Die SPIEGEL-Titelgeschichte.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	17	70.4091	231

Label	Training Sample Count
neutral	59
opposed	55
supportive	62

Training Hyperparameters

• batch_size: (32, 32)
• num_epochs: (1, 1)
• max_steps: -1
• sampling_strategy: oversampling
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0016	1	0.2815	-
0.0775	50	0.2603	-
0.1550	100	0.2237	-
0.2326	150	0.095	-
0.3101	200	0.015	-
0.3876	250	0.0083	-
0.4651	300	0.0069	-
0.5426	350	0.0056	-
0.6202	400	0.0079	-
0.6977	450	0.0027	-
0.7752	500	0.0064	-
0.8527	550	0.005	-
0.9302	600	0.0034	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.42.2
• PyTorch: 2.5.1+cu121
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}