Without AI (local files)

main.py

@@ -41,17 +41,27 @@ from dotenv import load_dotenv
 load_dotenv()
 
 # OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
-OPENAI_API_KEY = "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"
 
-os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
-
-embed_model = OpenAIEmbedding(model_name="text-embedding-3-small")
-Settings.embed_model = embed_model
+# os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
+#
+# embed_model = OpenAIEmbedding(model_name="text-embedding-3-small")
+# Settings.embed_model = embed_model
 Settings.context_window = 20000
 Settings.chunk_size = 2048
 Settings.similarity_top_k = 20
 
 
+# Параметри для локального імпорту
+LOCAL_DIR = Path("/home/Legal_Position/Save_index")  # Локальна директорія для збереження даних з Save_Index
+
+# Ініціалізація локального завантаження без S3
+def load_local_folder(local_dir):
+    for file_path in local_dir.glob('**/*'):
+        if file_path.is_file():
+            print(f"Завантажено локальний файл: {file_path}")
+
+load_local_folder(LOCAL_DIR)
+
 # Параметри S3
 BUCKET_NAME = "legal-position"
 PREFIX_RETRIEVER = "Save_Index/"  # Префікс для всього вмісту, який потрібно завантажити
@@ -74,32 +84,32 @@ s3_client = boto3.client(
 #     region_name="eu-north-1"
 # )
 
-# Створюємо локальну директорію, якщо вона не існує
-LOCAL_DIR.mkdir(parents=True, exist_ok=True)
-
-# Функція для завантаження файлу з S3
-def download_s3_file(bucket_name, s3_key, local_path):
-    s3_client.download_file(bucket_name, s3_key, str(local_path))
-    print(f"Завантажено: {s3_key} -> {local_path}")
-
-# Функція для завантаження всієї папки з S3 у локальну директорію
-def download_s3_folder(bucket_name, prefix, local_dir):
-    response = s3_client.list_objects_v2(Bucket=bucket_name, Prefix=prefix)
-    if 'Contents' in response:
-        for obj in response['Contents']:
-            s3_key = obj['Key']
-            # Пропускаємо "папку" (кореневий префікс) у S3
-            if s3_key.endswith('/'):
-                continue
-            # Визначаємо локальний шлях, де буде збережений файл
-            local_file_path = local_dir / Path(s3_key).relative_to(prefix)
-            local_file_path.parent.mkdir(parents=True, exist_ok=True)  # створення підкаталогів, якщо потрібно
-            # Завантажуємо файл
-            s3_client.download_file(bucket_name, s3_key, str(local_file_path))
-            print(f"Завантажено: {s3_key} -> {local_file_path}")
-
-# Завантаження всього вмісту папки `Save_Index` з S3 у локальну директорію `Save_Index_Local`
-download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR)
+# # Створюємо локальну директорію, якщо вона не існує
+# LOCAL_DIR.mkdir(parents=True, exist_ok=True)
+#
+# # Функція для завантаження файлу з S3
+# def download_s3_file(bucket_name, s3_key, local_path):
+#     s3_client.download_file(bucket_name, s3_key, str(local_path))
+#     print(f"Завантажено: {s3_key} -> {local_path}")
+#
+# # Функція для завантаження всієї папки з S3 у локальну директорію
+# def download_s3_folder(bucket_name, prefix, local_dir):
+#     response = s3_client.list_objects_v2(Bucket=bucket_name, Prefix=prefix)
+#     if 'Contents' in response:
+#         for obj in response['Contents']:
+#             s3_key = obj['Key']
+#             # Пропускаємо "папку" (кореневий префікс) у S3
+#             if s3_key.endswith('/'):
+#                 continue
+#             # Визначаємо локальний шлях, де буде збережений файл
+#             local_file_path = local_dir / Path(s3_key).relative_to(prefix)
+#             local_file_path.parent.mkdir(parents=True, exist_ok=True)  # створення підкаталогів, якщо потрібно
+#             # Завантажуємо файл
+#             s3_client.download_file(bucket_name, s3_key, str(local_file_path))
+#             print(f"Завантажено: {s3_key} -> {local_file_path}")
+#
+# # Завантаження всього вмісту папки `Save_Index` з S3 у локальну директорію `Save_Index_Local`
+# download_s3_folder(BUCKET_NAME, PREFIX_RETRIEVER, LOCAL_DIR)
 
 
 
@@ -342,55 +352,71 @@ def create_gradio_interface():
 
         with gr.Row():
             url_input = gr.Textbox(label="URL судового рішення:")
-            question_input = gr.Textbox(label="Ваше питання:")
+            question_input = gr.Textbox(label="Текстовий запит:")
 
         with gr.Row():
-            generate_position_button = gr.Button("Генерувати короткий зміст позиції суду")
-            search_with_ai_button = gr.Button("Пошук із ШІ", interactive=False)
-            search_without_ai_button = gr.Button("Пошук без ШІ")
-            analyze_button = gr.Button("Аналіз", interactive=False)
+            # generate_position_button = gr.Button("Генерувати короткий зміст позиції суду")
+            # search_with_ai_button = gr.Button("Пошук із ШІ", interactive=False)
+            search_without_ai_button = gr.Button("Пошук за посиланням")
+            search_without_ai_button_query = gr.Button("Пошук за текстовим запитом")
+            # analyze_button = gr.Button("Аналіз", interactive=False)
 
-        position_output = gr.Markdown(label="Короткий зміст позиції суду за введеним рішенням")
-        search_output = gr.Markdown(label="Результат пошуку")
-        analysis_output = gr.Markdown(label="Результат аналізу")
+        # position_output = gr.Markdown(label="Короткий зміст позиції суду за введеним рішенням")
+        search_output_link = gr.Markdown(label="Результат пошуку за посиланням")
+        search_output_text = gr.Markdown(label="Результат пошуку за текстовим запитом")
 
         # Два об'єкти стану для зберігання legal_position_json та nodes
         state_lp_json = gr.State()
         state_nodes = gr.State()
 
-        async def generate_position_action(url):
-            try:
-                court_decision_text = extract_court_decision_text(url)
-                legal_position_json = generate_legal_position(court_decision_text, "")
-                position_output_content = f"**Короткий зміст позиції суду за введеним рішенням:**\n *{legal_position_json['title']}*: \n{legal_position_json['text']} **Категорія:** \n{legal_position_json['category']} ({legal_position_json['proceeding']})\n\n"
-                return position_output_content, legal_position_json
-            except Exception as e:
-                return f"Error during position generation: {str(e)}", None
+        # async def generate_position_action(url):
+        #     try:
+        #         court_decision_text = extract_court_decision_text(url)
+        #         legal_position_json = generate_legal_position(court_decision_text, "")
+        #         position_output_content = f"**Короткий зміст позиції суду за введеним рішенням:**\n *{legal_position_json['title']}*: \n{legal_position_json['text']} **Категорія:** \n{legal_position_json['category']} ({legal_position_json['proceeding']})\n\n"
+        #         return position_output_content, legal_position_json
+        #     except Exception as e:
+        #         return f"Error during position generation: {str(e)}", None
+
+        # async def search_with_ai_action(legal_position_json):
+        #     try:
+        #         query_text = legal_position_json["title"] + ': ' + legal_position_json["text"] + ': ' + legal_position_json["proceeding"] + ': ' + legal_position_json["category"]
+        #         nodes = await retriever_bm25.aretrieve(query_text)
+        #
+        #         sources_output = "\n **Результати пошуку (наявні правові позиції ВСУ):** \n\n"
+        #         for index, node in enumerate(nodes, start=1):
+        #             source_title = node.node.metadata.get('title')
+        #             doc_ids = node.node.metadata.get('doc_id')
+        #             lp_ids = node.node.metadata.get('lp_id')
+        #             links = get_links_html(doc_ids)
+        #             links_lp = get_links_html_lp(lp_ids)
+        #             sources_output += f"\n[{index}] *{source_title}* {links_lp} 👉 Score: {node.score} {links}\n"
+        #
+        #         return sources_output, nodes
+        #     except Exception as e:
+        #         return f"Error during search: {str(e)}", None
 
-        async def search_with_ai_action(legal_position_json):
+        async def search_without_ai_action(url):
             try:
-                query_text = legal_position_json["title"] + ': ' + legal_position_json["text"] + ': ' + legal_position_json["proceeding"] + ': ' + legal_position_json["category"]
-                nodes = await retriever_bm25.aretrieve(query_text)
+                court_decision_text = extract_court_decision_text(url)
+                nodes = await retriever_bm25.aretrieve(court_decision_text)
 
-                sources_output = "\n **Результати пошуку (наявні правові позиції ВСУ):** \n\n"
+                search_output_content = f"**Результати пошуку (наявні правові позиції ВС) за посиланням:** \n\n"
                 for index, node in enumerate(nodes, start=1):
-                    source_title = node.node.metadata.get('title')
+                    source_title = node.node.metadata.get('title', 'Невідомий заголовок')
                     doc_ids = node.node.metadata.get('doc_id')
-                    lp_ids = node.node.metadata.get('lp_id')
                     links = get_links_html(doc_ids)
-                    links_lp = get_links_html_lp(lp_ids)
-                    sources_output += f"\n[{index}] *{source_title}* {links_lp} 👉 Score: {node.score} {links}\n"
+                    search_output_content += f"\n[{index}] *{source_title}* 👉 Score: {node.score} {links}\n"
 
-                return sources_output, nodes
+                return search_output_content, nodes
             except Exception as e:
                 return f"Error during search: {str(e)}", None
 
-        async def search_without_ai_action(url):
+        async def search_without_ai_action_text(question_input):
             try:
-                court_decision_text = extract_court_decision_text(url)
-                nodes = await retriever_bm25.aretrieve(court_decision_text)
+                nodes = await retriever_bm25.aretrieve(question_input)
 
-                search_output_content = f"**Результати пошуку (наявні правові позиції ВСУ):** \n\n"
+                search_output_content = f"**Результати пошуку (наявні правові позиції ВС) за текстовим запитом:** \n\n"
                 for index, node in enumerate(nodes, start=1):
                     source_title = node.node.metadata.get('title', 'Невідомий заголовок')
                     doc_ids = node.node.metadata.get('doc_id')
@@ -456,44 +482,50 @@ def create_gradio_interface():
                 return f"Error during analysis: {str(e)}"
 
         # Підключаємо функції до кнопок з оновленими входами та виходами
-        generate_position_button.click(
-            fn=generate_position_action,
-            inputs=url_input,
-            outputs=[position_output, state_lp_json]
-        )
-        generate_position_button.click(
-            fn=lambda: gr.update(interactive=True),
-            inputs=None,
-            outputs=search_with_ai_button
-        )
-
-        search_with_ai_button.click(
-            fn=search_with_ai_action,
-            inputs=state_lp_json,
-            outputs=[search_output, state_nodes]
-        )
-        search_with_ai_button.click(
-            fn=lambda: gr.update(interactive=True),
-            inputs=None,
-            outputs=analyze_button
-        )
+        # generate_position_button.click(
+        #     fn=generate_position_action,
+        #     inputs=url_input,
+        #     outputs=[position_output, state_lp_json]
+        # )
+        # generate_position_button.click(
+        #     fn=lambda: gr.update(interactive=True),
+        #     inputs=None,
+        #     outputs=search_with_ai_button
+        # )
+
+        # search_with_ai_button.click(
+        #     fn=search_with_ai_action,
+        #     inputs=state_lp_json,
+        #     outputs=[search_output, state_nodes]
+        # )
+        # search_with_ai_button.click(
+        #     fn=lambda: gr.update(interactive=True),
+        #     inputs=None,
+        #     outputs=analyze_button
+        # )
 
         search_without_ai_button.click(
             fn=search_without_ai_action,
             inputs=url_input,
-            outputs=[search_output, state_nodes]
+            outputs=[search_output_link, state_nodes]
         )
-        search_without_ai_button.click(
-            fn=lambda: gr.update(interactive=True),
-            inputs=None,
-            outputs=analyze_button
+        # search_without_ai_button.click(
+        #     fn=lambda: gr.update(interactive=True),
+        #     inputs=None,
+        #     outputs=analyze_button
+        # )
+
+        search_without_ai_button_query.click(
+            fn=search_without_ai_action_text,
+            inputs=question_input,
+            outputs=[search_output_text, state_nodes]
         )
 
-        analyze_button.click(
-            fn=analyze_action,
-            inputs=[state_lp_json, question_input, state_nodes],
-            outputs=analysis_output
-        )
+        # analyze_button.click(
+        #     fn=analyze_action,
+        #     inputs=[state_lp_json, question_input, state_nodes],
+        #     outputs=analysis_output
+        # )
 
     return app