Add AWS files

main.py

@@ -7,6 +7,8 @@ import json
 import faiss
 import nest_asyncio
 import sys
+import boto3
+
 from pathlib import Path
 from bs4 import BeautifulSoup
 from typing import Union, List
@@ -47,7 +49,55 @@ Settings.context_window = 20000
 Settings.chunk_size = 2048
 Settings.similarity_top_k = 20
 
-PERSIST_DIR = "/home/docsa/Legal_Position/Save_index"
+import boto3
+import os
+from pathlib import Path
+
+# Параметри S3
+BUCKET_NAME = "legal-position"
+PREFIX_RETRIEVER = "Save_Index/bm25_retriever_es/"
+FILE_DOCSTORE = "Save_Index/docstore_es_filter.json"
+LOCAL_DIR = Path("local_data")  # Локальна директорія для збереження даних
+
+# Ініціалізація клієнта S3
+s3_client = boto3.client(
+    "s3",
+    aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
+    aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
+    region_name="eu-north-1"
+)
+
+# Створюємо локальну директорію, якщо вона не існує
+LOCAL_DIR.mkdir(parents=True, exist_ok=True)
+
+# Функція для завантаження файлу з S3
+def download_s3_file(bucket_name, s3_key, local_path):
+    s3_client.download_file(bucket_name, s3_key, str(local_path))
+    print(f"Завантажено: {s3_key} -> {local_path}")
+
+# Функція для завантаження папки з S3 у локальну директорію
+def download_s3_folder(bucket_name, prefix, local_dir):
+    response = s3_client.list_objects_v2(Bucket=bucket_name, Prefix=prefix)
+    if 'Contents' in response:
+        for obj in response['Contents']:
+            s3_key = obj['Key']
+            # Отримуємо локальний шлях
+            local_file_path = local_dir / Path(s3_key).relative_to(prefix)
+            local_file_path.parent.mkdir(parents=True, exist_ok=True)  # створення підкаталогів, якщо потрібно
+            # Завантажуємо файл
+            s3_client.download_file(bucket_name, s3_key, str(local_file_path))
+            print(f"Завантажено: {s3_key} -> {local_file_path}")
+
+# Завантаження файлу `docstore_es_filter.json`
+docstore_local_path = LOCAL_DIR / "docstore_es_filter.json"
+download_s3_file(BUCKET_NAME, FILE_DOCSTORE, docstore_local_path)
+
+# Завантаження папки `bm25_retriever_es`
+bm25_retriever_local_dir = LOCAL_DIR / "bm25_retriever_es"
+download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, bm25_retriever_local_dir)
+
+
+# PERSIST_DIR = "/home/docsa/Legal_Position/Save_index"
 
 # Apply nest_asyncio to handle nested async calls
 nest_asyncio.apply()
@@ -135,7 +185,8 @@ def get_links_html_lp(lp_ids):
 
 def initialize_components():
     try:
-        persist_path = Path(PERSIST_DIR)
+        # persist_path = Path(PERSIST_DIR)
+        persist_path = Path("local_data")
 
         if not persist_path.exists():
             raise FileNotFoundError(f"Directory not found: {persist_path}")
@@ -149,9 +200,13 @@ def initialize_components():
 
         global retriever_bm25
 
+
         docstore = SimpleDocumentStore.from_persist_path(str(persist_path / "docstore_es_filter.json"))
         bm25_retriever = BM25Retriever.from_persist_dir(str(persist_path / "bm25_retriever_es"))
 
+        # docstore = SimpleDocumentStore.from_persist_path(str(persist_path / "docstore_es_filter.json"))
+        # bm25_retriever = BM25Retriever.from_persist_dir(str(persist_path / "bm25_retriever_es"))
+
         retriever_bm25 = QueryFusionRetriever(
             [
                 bm25_retriever,

requirements.txt

@@ -8,4 +8,5 @@ llama-index-embeddings-openai
 llama-index-llms-openai
 gradio
 beautifulsoup4
-nest-asyncio
+nest-asyncio
+boto3