DocUA commited on
Commit
5a9d042
·
1 Parent(s): 0ac327e

add cheker download_s3_folder

Browse files
Files changed (2) hide show
  1. .gitignore +1 -0
  2. main.py +7 -9
.gitignore CHANGED
@@ -14,3 +14,4 @@ __pycache__/
14
  # Ігноруємо папку Save_index
15
  Save_index/
16
  /lp/
 
 
14
  # Ігноруємо папку Save_index
15
  Save_index/
16
  /lp/
17
+ /Save_Index_Local/
main.py CHANGED
@@ -68,13 +68,6 @@ s3_client = boto3.client(
68
  region_name="eu-north-1"
69
  )
70
 
71
- # # Ініціалізація клієнта S3
72
- # s3_client = boto3.client(
73
- # "s3",
74
- # aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
75
- # aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
76
- # region_name="eu-north-1"
77
- # )
78
 
79
  # Створюємо локальну директорію, якщо вона не існує
80
  LOCAL_DIR.mkdir(parents=True, exist_ok=True)
@@ -100,8 +93,13 @@ def download_s3_folder(bucket_name, prefix, local_dir):
100
  s3_client.download_file(bucket_name, s3_key, str(local_file_path))
101
  print(f"Завантажено: {s3_key} -> {local_file_path}")
102
 
103
- # Завантаження всього вмісту папки `Save_Index` з S3 у локальну директорію `Save_Index_Local`
104
- download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR) #
 
 
 
 
 
105
 
106
 
107
 
 
68
  region_name="eu-north-1"
69
  )
70
 
 
 
 
 
 
 
 
71
 
72
  # Створюємо локальну директорію, якщо вона не існує
73
  LOCAL_DIR.mkdir(parents=True, exist_ok=True)
 
93
  s3_client.download_file(bucket_name, s3_key, str(local_file_path))
94
  print(f"Завантажено: {s3_key} -> {local_file_path}")
95
 
96
+ # Перевіряємо, чи існує локальна директорія
97
+ if not LOCAL_DIR.exists():
98
+ print(f"Локальна директорія {LOCAL_DIR} відсутня. Починаємо завантаження...")
99
+ LOCAL_DIR.mkdir(parents=True, exist_ok=True) # Створення директорії
100
+ download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR)
101
+ else:
102
+ print(f"Локальна директорія {LOCAL_DIR} вже існує. Завантаження пропущено.")
103
 
104
 
105