Spaces:
Running
Running
add cheker download_s3_folder
Browse files- .gitignore +1 -0
- main.py +7 -9
.gitignore
CHANGED
@@ -14,3 +14,4 @@ __pycache__/
|
|
14 |
# Ігноруємо папку Save_index
|
15 |
Save_index/
|
16 |
/lp/
|
|
|
|
14 |
# Ігноруємо папку Save_index
|
15 |
Save_index/
|
16 |
/lp/
|
17 |
+
/Save_Index_Local/
|
main.py
CHANGED
@@ -68,13 +68,6 @@ s3_client = boto3.client(
|
|
68 |
region_name="eu-north-1"
|
69 |
)
|
70 |
|
71 |
-
# # Ініціалізація клієнта S3
|
72 |
-
# s3_client = boto3.client(
|
73 |
-
# "s3",
|
74 |
-
# aws_access_key_id=os.getenv("AWS_ACCESS_KEY_ID"),
|
75 |
-
# aws_secret_access_key=os.getenv("AWS_SECRET_ACCESS_KEY"),
|
76 |
-
# region_name="eu-north-1"
|
77 |
-
# )
|
78 |
|
79 |
# Створюємо локальну директорію, якщо вона не існує
|
80 |
LOCAL_DIR.mkdir(parents=True, exist_ok=True)
|
@@ -100,8 +93,13 @@ def download_s3_folder(bucket_name, prefix, local_dir):
|
|
100 |
s3_client.download_file(bucket_name, s3_key, str(local_file_path))
|
101 |
print(f"Завантажено: {s3_key} -> {local_file_path}")
|
102 |
|
103 |
-
#
|
104 |
-
|
|
|
|
|
|
|
|
|
|
|
105 |
|
106 |
|
107 |
|
|
|
68 |
region_name="eu-north-1"
|
69 |
)
|
70 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
71 |
|
72 |
# Створюємо локальну директорію, якщо вона не існує
|
73 |
LOCAL_DIR.mkdir(parents=True, exist_ok=True)
|
|
|
93 |
s3_client.download_file(bucket_name, s3_key, str(local_file_path))
|
94 |
print(f"Завантажено: {s3_key} -> {local_file_path}")
|
95 |
|
96 |
+
# Перевіряємо, чи існує локальна директорія
|
97 |
+
if not LOCAL_DIR.exists():
|
98 |
+
print(f"Локальна директорія {LOCAL_DIR} відсутня. Починаємо завантаження...")
|
99 |
+
LOCAL_DIR.mkdir(parents=True, exist_ok=True) # Створення директорії
|
100 |
+
download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR)
|
101 |
+
else:
|
102 |
+
print(f"Локальна директорія {LOCAL_DIR} вже існує. Завантаження пропущено.")
|
103 |
|
104 |
|
105 |
|