ManfredAabye
commited on
Commit
•
91d06ad
1
Parent(s):
a377a1e
V 0.0.4
Browse files- mainXXX.md +17 -3
mainXXX.md
CHANGED
@@ -10,6 +10,12 @@ pip install torch
|
|
10 |
|
11 |
pip install huggingface-hub
|
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
13 |
**CUDA**
|
14 |
|
15 |
Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
|
@@ -22,20 +28,22 @@ pip install torch torchvision torchaudio --extra-index-url https://download.pyto
|
|
22 |
|
23 |
**Führe das Skript aus:**
|
24 |
|
25 |
-
python
|
26 |
|
27 |
-
|
28 |
|
29 |
-
python
|
30 |
|
31 |
Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
|
32 |
|
|
|
33 |
**Kurzfassung:**
|
34 |
|
35 |
Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
|
36 |
|
37 |
konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
|
38 |
|
|
|
39 |
**Ausführlich:**
|
40 |
|
41 |
Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
|
@@ -52,6 +60,7 @@ und speichert das trainierte Modell sowie den Tokenizer.
|
|
52 |
|
53 |
Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
|
54 |
|
|
|
55 |
1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
|
56 |
|
57 |
- Öffnet eine Datei und liest deren Zeilen.
|
@@ -70,6 +79,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
70 |
-
|
71 |
- Speichert die extrahierten Parameter in der SQLite-Datenbank.
|
72 |
|
|
|
73 |
3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
|
74 |
|
75 |
- Verbindet sich mit der SQLite-Datenbank.
|
@@ -78,6 +88,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
78 |
-
|
79 |
- Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
|
80 |
|
|
|
81 |
4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
|
82 |
|
83 |
|
@@ -85,6 +96,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
85 |
-
|
86 |
- Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
|
87 |
|
|
|
88 |
5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
|
89 |
|
90 |
- Lädt das Hugging Face Dataset von der Festplatte.
|
@@ -101,6 +113,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
101 |
-
|
102 |
- Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
|
103 |
|
|
|
104 |
6. **Main-Funktion (`if __name__ == "__main__":`)**:
|
105 |
|
106 |
- Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
|
@@ -111,6 +124,7 @@ Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioni
|
|
111 |
-
|
112 |
- Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
|
113 |
|
|
|
114 |
Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
|
115 |
|
116 |
diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.
|
|
|
10 |
|
11 |
pip install huggingface-hub
|
12 |
|
13 |
+
pip install beautifulsoup4
|
14 |
+
|
15 |
+
pip install pyth3
|
16 |
+
|
17 |
+
pip install seaborn
|
18 |
+
|
19 |
**CUDA**
|
20 |
|
21 |
Stellen Sie sicher, dass CUDA und cuDNN korrekt installiert sind.
|
|
|
28 |
|
29 |
**Führe das Skript aus:**
|
30 |
|
31 |
+
python main_GPU_V004.py /path/to/your/directory
|
32 |
|
33 |
+
Testing
|
34 |
|
35 |
+
python main_Testing_V004.py /path/to/your/directory/ModelTestData.db
|
36 |
|
37 |
Ersetze /pfad/zu/deinem/verzeichnis durch den tatsächlichen Pfad zu dem Verzeichnis, das du durchsuchen möchtest.
|
38 |
|
39 |
+
|
40 |
**Kurzfassung:**
|
41 |
|
42 |
Dieses Skript durchsucht das Verzeichnis, extrahiert die erforderlichen Parameter, speichert sie in einer SQLite-Datenbank,
|
43 |
|
44 |
konvertiert diese Daten in ein HuggingFace Dataset, trainiert ein Modell und speichert das trainierte Modell auf der Festplatte neben der Datenbank.
|
45 |
|
46 |
+
|
47 |
**Ausführlich:**
|
48 |
|
49 |
Dieses Python-Programm durchläuft einen angegebenen Verzeichnisbaum,
|
|
|
60 |
|
61 |
Hier ist eine einfache und verständliche Erklärung, wie das Programm funktioniert:
|
62 |
|
63 |
+
|
64 |
1. **Extrahiere Parameter aus Dateien (`extrahiere_parameter(file_path)`)**:
|
65 |
|
66 |
- Öffnet eine Datei und liest deren Zeilen.
|
|
|
79 |
-
|
80 |
- Speichert die extrahierten Parameter in der SQLite-Datenbank.
|
81 |
|
82 |
+
|
83 |
3. **Extrahiere Parameter aus der SQLite-Datenbank (`extrahiere_parameter_aus_db(db_pfad)`)**:
|
84 |
|
85 |
- Verbindet sich mit der SQLite-Datenbank.
|
|
|
88 |
-
|
89 |
- Gibt die abgerufenen Daten zurück, außer wenn ein Fehler auftritt.
|
90 |
|
91 |
+
|
92 |
4. **Konvertiere zu Hugging Face Dataset (`konvertiere_zu_hf_dataset(daten)`)**:
|
93 |
|
94 |
|
|
|
96 |
-
|
97 |
- Fügt Platzhalterwerte für Trainings- und Testdaten hinzu.
|
98 |
|
99 |
+
|
100 |
5. **Trainiere und speichere Modell (`trainiere_und_speichere_modell(hf_dataset_pfad, output_model_dir)`)**:
|
101 |
|
102 |
- Lädt das Hugging Face Dataset von der Festplatte.
|
|
|
113 |
-
|
114 |
- Speichert das trainierte Modell und den Tokenizer im angegebenen Ausgabeverzeichnis (`output_model_dir`).
|
115 |
|
116 |
+
|
117 |
6. **Main-Funktion (`if __name__ == "__main__":`)**:
|
118 |
|
119 |
- Überprüft, ob ein Verzeichnispfad als Argument übergeben wurde; andernfalls wird das aktuelle Verzeichnis verwendet.
|
|
|
124 |
-
|
125 |
- Gibt eine Erfolgsmeldung aus, wenn das Modell erfolgreich gespeichert wurde.
|
126 |
|
127 |
+
|
128 |
Das Programm ist darauf ausgelegt, durch Verzeichnisse zu navigieren, Dateiinformationen zu extrahieren,
|
129 |
|
130 |
diese in einem maschinenlesbaren Format zu speichern, ein Hugging Face Dataset zu erstellen und ein Modell zu trainieren, das auf diesen Daten basiert.
|