Update helpers.py

helpers.py

@@ -86,29 +86,25 @@ key = "AIzaSyDJ4vIKuIBIPNHATLxnoHlagXWbsAz-vRs"
 #         docs = await _fetch_web_content(all_urls)
 #         return docs
 
-#     return asyncio.run(_main
-
+#     return asyncio.run(_main)
 
 def get_web_documents(base_urls=['https://nct.neu.edu.vn/']):
-        """Tải nội dung từ danh sách URL"""
-    # urls = asyncio.run(get_urls_playwright(base_url))
+    """Tải nội dung từ danh sách URL"""
     docs = [] 
-    for page_url in urls:
+    for page_url in base_urls:  # Kiểm tra biến urls có được định nghĩa trước đó không
         try:
-            # loader = WebBaseLoader(web_paths=[page_url])
             loader = AsyncHtmlLoader(page_url)
             html2text = Html2TextTransformer()
 
             html = loader.load()
             doc = html2text.transform_documents(html)
-            docs.extend(doc)  # Đồng bộ, không cần async
+            docs.extend(doc)
         except Exception as e:
             print(f"Lỗi khi tải {page_url}: {e}")
 
     print(f"Tải thành công {len(docs)} trang.")
     return docs
 
-    
 def log_message(messages, filename="chat_log.txt"):
     """Ghi lịch sử tin nhắn vào file log"""
     with open(filename, "a", encoding="utf-8") as f: