dataset model json en

app.py

@@ -535,19 +535,21 @@ class ModeloDataset:
             filtered_labels = []
             
             
-            tok_new=[]
-            lab_new=[]
-            #se descartan los tokens speciales
-            for token_linea, label_linea in zip(new_tokens, new_identificadores):
-                for token, label in zip(token_linea, label_linea):
-                    if token not in special_tokens:
-                        print('token:*********************************', token)
-                        filtered_tokens.append(token)
-                        filtered_labels.append(label)
-                tok_new.append(filtered_tokens)    
-                lab_new.append(filtered_labels)     
-            
-            return tok_new,lab_new #new_identificadores, new_tokens
+        tok_new=[]
+        lab_new=[]
+        #se descartan los tokens speciales
+        for token_linea, label_linea in zip(new_tokens, new_identificadores):
+            filtered_tokens = []
+            filtered_labels = []
+            for token, label in zip(token_linea, label_linea):
+                if token not in special_tokens:
+                    
+                    filtered_tokens.append(token)
+                    filtered_labels.append(label)
+            tok_new.append(filtered_tokens)    
+            lab_new.append(filtered_labels)      
+                    
+        return tok_new,lab_new #new_identificadores, new_tokens
         
   ###
   ### Procesa los tokens generados del texto de entradas con los tokens predichos, para generar los tokens por palabra