Update Model/MultimodelNER/Ner_processing.py

Model/MultimodelNER/Ner_processing.py

@@ -1,95 +1,95 @@
-def format_predictions(words, predictions):
-    '''
-    Chuyển đổi danh sách từ và dự đoán sang định dạng (word, label)
-    '''
-    formatted = []
-    for word, label in zip(words, predictions):
-        formatted.append((word, label))
-    return formatted
-
-def process_predictions(predictions):
-    '''
-    Tách các từ có dấu gạch dưới thành các từ riêng biệt với cùng nhãn
-    '''
-    formatted = []
-    for word, label in predictions:
-        if '_' in word:
-            formatted.append((word.replace('_', ' '), label))
-        else:
-            formatted.append((word, label))
-    return formatted
-
-
-def combine_entities(predictions):
-    combined = []
-    temp_entity = []
-    temp_label = None
-
-    for word, label in predictions:
-        if label.startswith('B-'):
-            if temp_entity:
-                combined.append((' '.join(temp_entity), temp_label))
-                temp_entity = []
-            temp_entity.append(word)
-            temp_label = label
-        elif label.startswith('I-') and temp_label and label[2:] == temp_label[2:]:
-            temp_entity.append(word)
-        else:
-            if temp_entity:
-                combined.append((' '.join(temp_entity), temp_label))
-                temp_entity = []
-                temp_label = None
-            combined.append((word, label))
-
-    if temp_entity:
-        combined.append((' '.join(temp_entity), temp_label))
-
-    return combined
-
-
-
-
-def remove_B_prefix(entities):
-    modified_entities = []
-    for word, label in entities:
-        if label.startswith('B-'):
-            label = label[2:]  # Loại bỏ phần 'B-' khỏi nhãn
-        modified_entities.append((word, label))
-    return modified_entities
-
-
-def combine_i_tags(tokens_labels):
-    combined = []
-    current_combination = []
-    current_label = None
-
-    for token, label in tokens_labels:
-        if label.startswith('I-'):
-            label = label[2:]  # Remove the 'I-' prefix
-            if current_label is None:
-                current_label = label
-                current_combination.append(token)
-            elif current_label == label:
-                current_combination.append(token)
-            else:
-                combined.append((' '.join(current_combination), current_label))
-                current_combination = [token]
-                current_label = label
-        else:
-            if current_combination:
-                combined.append((' '.join(current_combination), current_label))
-                current_combination = []
-                current_label = None
-            combined.append((token, label))
-
-    if current_combination:
-        combined.append((' '.join(current_combination), current_label))
-
-    return combined
-
-tokens_labels = [('Dân', 'O'), ('trí', 'O'), ('Chức', 'O'), ('vô', 'O'), ('địch', 'O'), ('Euro 2008', 'EVENT-SPORT'), ('đầy', 'O'), ('thuyết', 'O'), ('phục', 'O'), ('của', 'O'), ('Tây Ban Nha', 'LOCATION'), ('trên', 'O'), ('đất', 'O'), ('Áo', 'LOCATION'), ('và', 'O'), ('Thụy Sĩ', 'PERSON'), ('đã', 'O'), ('mở', 'O'), ('ra', 'O'), ('kỷ', 'O'), ('nguyên', 'O'), ('vinh', 'O'), ('quanh', 'O'), ('của', 'O'), ('La', 'ORGANIZATION'), ('Furia', 'I-ORGANIZATION-SPORTS'), ('Roja', 'I-ORGANIZATION-SPORTS'), (',', 'O'), ('với', 'O'), ('lối', 'O'), ('chơi', 'O'), ('tiqui', 'O'), ('taka', 'O'), ('đầy', 'O'), ('biến', 'O'), ('ảo', 'O'), ('.', 'O'), ('Trong', 'O'), ('quá', 'O'), ('khứ', 'O'), (',', 'O'), ('Tây Ban Nha', 'LOCATION'), ('nổi', 'O'), ('tiếng', 'O'), ('với', 'O'), ('biệt', 'O'), ('danh', 'O'), ('Vua', 'O'), ('vòng', 'O'), ('loại', 'O'), ('.', 'O'), ('Họ', 'O'), ('thường', 'O'), ('thi', 'O'), ('đấu', 'O'), ('rất', 'O'), ('tốt', 'O'), ('ở', 'O'), ('vòng', 'O'), ('loại', 'O'), ('nhưng', 'O'), ('lại', 'O'), ('chưa', 'O'), ('bao', 'O'), ('giờ', 'O'), ('chứng', 'O'), ('minh', 'O'), ('được', 'O'), ('sức', 'O'), ('mạnh', 'O'), ('ở', 'O'), ('vòng', 'O'), ('chung', 'O'), ('kết', 'O'), ('giải', 'O'), ('đấu', 'O'), ('lớn', 'O'), ('.', 'O'), ('Lần', 'O'), ('duy', 'O'), ('nhất', 'O'), ('họ', 'O'), ('lên', 'O'), ('ngôi', 'O'), ('là', 'O'), ('ở', 'O'), ('kỳ', 'O'), ('Euro', 'EVENT-SPORT'), ('1964', 'O'), ('.', 'O')]
-
-combined_tokens_labels = combine_i_tags(tokens_labels)
-print(combined_tokens_labels)
-
-
+def format_predictions(words, predictions):
+    '''
+    Chuyển đổi danh sách từ và dự đoán sang định dạng (word, label)
+    '''
+    formatted = []
+    for word, label in zip(words, predictions):
+        formatted.append((word, label))
+    return formatted
+
+def process_predictions(predictions):
+    '''
+    Tách các từ có dấu gạch dưới thành các từ riêng biệt với cùng nhãn
+    '''
+    formatted = []
+    for word, label in predictions:
+        if '_' in word:
+            formatted.append((word.replace('_', ' '), label))
+        else:
+            formatted.append((word, label))
+    return formatted
+
+
+def combine_entities(predictions):
+    combined = []
+    temp_entity = []
+    temp_label = None
+
+    for word, label in predictions:
+        if label.startswith('B-'):
+            if temp_entity:
+                combined.append((' '.join(temp_entity), temp_label))
+                temp_entity = []
+            temp_entity.append(word)
+            temp_label = label
+        elif label.startswith('I-') and temp_label and label[2:] == temp_label[2:]:
+            temp_entity.append(word)
+        else:
+            if temp_entity:
+                combined.append((' '.join(temp_entity), temp_label))
+                temp_entity = []
+                temp_label = None
+            combined.append((word, label))
+
+    if temp_entity:
+        combined.append((' '.join(temp_entity), temp_label))
+
+    return combined
+
+
+
+
+def remove_B_prefix(entities):
+    modified_entities = []
+    for word, label in entities:
+        if label.startswith('B-'):
+            label = label[2:]  # Loại bỏ phần 'B-' khỏi nhãn
+        modified_entities.append((word, label))
+    return modified_entities
+
+
+def combine_i_tags(tokens_labels):
+    combined = []
+    current_combination = []
+    current_label = None
+
+    for token, label in tokens_labels:
+        if label.startswith('I-'):
+            label = label[2:]  # Remove the 'I-' prefix
+            if current_label is None:
+                current_label = label
+                current_combination.append(token)
+            elif current_label == label:
+                current_combination.append(token)
+            else:
+                combined.append((' '.join(current_combination), current_label))
+                current_combination = [token]
+                current_label = label
+        else:
+            if current_combination:
+                combined.append((' '.join(current_combination), current_label))
+                current_combination = []
+                current_label = None
+            combined.append((token, label))
+
+    if current_combination:
+        combined.append((' '.join(current_combination), current_label))
+
+    return combined
+
+# tokens_labels = [('Dân', 'O'), ('trí', 'O'), ('Chức', 'O'), ('vô', 'O'), ('địch', 'O'), ('Euro 2008', 'EVENT-SPORT'), ('đầy', 'O'), ('thuyết', 'O'), ('phục', 'O'), ('của', 'O'), ('Tây Ban Nha', 'LOCATION'), ('trên', 'O'), ('đất', 'O'), ('Áo', 'LOCATION'), ('và', 'O'), ('Thụy Sĩ', 'PERSON'), ('đã', 'O'), ('mở', 'O'), ('ra', 'O'), ('kỷ', 'O'), ('nguyên', 'O'), ('vinh', 'O'), ('quanh', 'O'), ('của', 'O'), ('La', 'ORGANIZATION'), ('Furia', 'I-ORGANIZATION-SPORTS'), ('Roja', 'I-ORGANIZATION-SPORTS'), (',', 'O'), ('với', 'O'), ('lối', 'O'), ('chơi', 'O'), ('tiqui', 'O'), ('taka', 'O'), ('đầy', 'O'), ('biến', 'O'), ('ảo', 'O'), ('.', 'O'), ('Trong', 'O'), ('quá', 'O'), ('khứ', 'O'), (',', 'O'), ('Tây Ban Nha', 'LOCATION'), ('nổi', 'O'), ('tiếng', 'O'), ('với', 'O'), ('biệt', 'O'), ('danh', 'O'), ('Vua', 'O'), ('vòng', 'O'), ('loại', 'O'), ('.', 'O'), ('Họ', 'O'), ('thường', 'O'), ('thi', 'O'), ('đấu', 'O'), ('rất', 'O'), ('tốt', 'O'), ('ở', 'O'), ('vòng', 'O'), ('loại', 'O'), ('nhưng', 'O'), ('lại', 'O'), ('chưa', 'O'), ('bao', 'O'), ('giờ', 'O'), ('chứng', 'O'), ('minh', 'O'), ('được', 'O'), ('sức', 'O'), ('mạnh', 'O'), ('ở', 'O'), ('vòng', 'O'), ('chung', 'O'), ('kết', 'O'), ('giải', 'O'), ('đấu', 'O'), ('lớn', 'O'), ('.', 'O'), ('Lần', 'O'), ('duy', 'O'), ('nhất', 'O'), ('họ', 'O'), ('lên', 'O'), ('ngôi', 'O'), ('là', 'O'), ('ở', 'O'), ('kỳ', 'O'), ('Euro', 'EVENT-SPORT'), ('1964', 'O'), ('.', 'O')]
+
+# combined_tokens_labels = combine_i_tags(tokens_labels)
+# print(combined_tokens_labels)
+
+