Update helpers.py

helpers.py

@@ -92,15 +92,13 @@ key = "AIzaSyDJ4vIKuIBIPNHATLxnoHlagXWbsAz-vRs"
 #     return asyncio.run(_main)
 
 def get_web_documents(base_urls=['https://nct.neu.edu.vn/']):
-    """Tải nội dung từ danh sách URL"""
-    docs = [] 
-    for page_url in base_urls:  # Kiểm tra biến urls có được định nghĩa trước đó không
+    """Tải nội dung từ danh sách URL với thanh tiến trình"""
+    docs = []  
+    for page_url in tqdm(base_urls, desc="Đang tải trang", unit="url"):  
         try:
             loader = DoclingLoader(page_url)
-            # html2text = Html2TextTransformer()
-
             html = loader.load()
-            doc = html#html2text.transform_documents(html)
+            doc = html  
             docs.extend(doc)
         except Exception as e:
             print(f"Lỗi khi tải {page_url}: {e}")
@@ -108,6 +106,7 @@ def get_web_documents(base_urls=['https://nct.neu.edu.vn/']):
     print(f"Tải thành công {len(docs)} trang.")
     return docs
 
+
 def log_message(messages, filename="chat_log.txt"):
     """Ghi lịch sử tin nhắn vào file log"""
     with open(filename, "a", encoding="utf-8") as f: