ManfredAabye commited on
Commit
91d06ad
1 Parent(s): a377a1e
Files changed (1) hide show
  1. mainXXX.md +17 -3
mainXXX.md CHANGED
@@ -10,6 +10,12 @@ pip install torch
10
 
11
  pip install huggingface-hub
12
 
 
 
 
 
 
 
13
  **CUDA**
14
 
15
  Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
@@ -22,20 +28,22 @@ pip install torch torchvision torchaudio --extra-index-url https://download.pyto
22
 
23
  **Führe das Skript aus:**
24
 
25
- python main_GPU.py /pfad/zu/deinem/verzeichnis
26
 
27
- oder
28
 
29
- python main_CUDA.py /pfad/zu/deinem/verzeichnis
30
 
31
  Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
32
 
 
33
  **Kurzfassung:**
34
 
35
  Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
36
 
37
  konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
38
 
 
39
  **Ausführlich:**
40
 
41
  Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
@@ -52,6 +60,7 @@ und speichert das trainierte Modell sowie den Tokenizer.
52
 
53
  Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
54
 
 
55
  1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
56
 
57
  - Öffnet eine Datei und liest deren Zeilen.
@@ -70,6 +79,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
70
  -
71
  - Speichert die extrahierten Parameter in der SQLite-Datenbank.
72
 
 
73
  3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
74
 
75
  - Verbindet sich mit der SQLite-Datenbank.
@@ -78,6 +88,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
78
  -
79
  - Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
80
 
 
81
  4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
82
 
83
 
@@ -85,6 +96,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
85
  -
86
  - Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
87
 
 
88
  5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
89
 
90
  - Lädt das Hugging Face Dataset von der Festplatte.
@@ -101,6 +113,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
101
  -
102
  - Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
103
 
 
104
  6. **Main-Funktion (`if __name__ == "__main__":`)**:
105
 
106
  - Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
@@ -111,6 +124,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
111
  -
112
  - Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
113
 
 
114
  Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
115
 
116
  diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.
 
10
 
11
  pip install huggingface-hub
12
 
13
+ pip install beautifulsoup4
14
+
15
+ pip install pyth3
16
+
17
+ pip install seaborn
18
+
19
  **CUDA**
20
 
21
  Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
 
28
 
29
  **Führe das Skript aus:**
30
 
31
+ python main_GPU_V004.py /path/to/your/directory
32
 
33
+ Testing
34
 
35
+ python main_Testing_V004.py /path/to/your/directory/ModelTestData.db
36
 
37
  Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
38
 
39
+
40
  **Kurzfassung:**
41
 
42
  Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
43
 
44
  konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
45
 
46
+
47
  **Ausführlich:**
48
 
49
  Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
 
60
 
61
  Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
62
 
63
+
64
  1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
65
 
66
  - Öffnet eine Datei und liest deren Zeilen.
 
79
  -
80
  - Speichert die extrahierten Parameter in der SQLite-Datenbank.
81
 
82
+
83
  3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
84
 
85
  - Verbindet sich mit der SQLite-Datenbank.
 
88
  -
89
  - Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
90
 
91
+
92
  4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
93
 
94
 
 
96
  -
97
  - Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
98
 
99
+
100
  5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
101
 
102
  - Lädt das Hugging Face Dataset von der Festplatte.
 
113
  -
114
  - Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
115
 
116
+
117
  6. **Main-Funktion (`if __name__ == "__main__":`)**:
118
 
119
  - Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
 
124
  -
125
  - Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
126
 
127
+
128
  Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
129
 
130
  diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.