feat: refatoração nome de pastas

_utils/gerar_documento.py

@@ -4,16 +4,16 @@ from typing import Any, Union, cast
 from _utils.langchain_utils.LLM_class import LLM
 from _utils.bubble_integrations.enviar_resposta_final import enviar_resposta_final
 from _utils.custom_exception_handler import custom_exception_handler_wihout_api_handler
-from _utils.gerar_relatorio_modelo_usuario.prompts import (
+from _utils.gerar_documento_utils.prompts import (
     prompt_gerar_query_dinamicamente,
 )
-from _utils.gerar_relatorio_modelo_usuario.GerarDocumento import (
+from _utils.gerar_documento_utils.GerarDocumento import (
     GerarDocumento,
 )
-from _utils.gerar_relatorio_modelo_usuario.contextual_retriever import (
+from _utils.gerar_documento_utils.contextual_retriever import (
     ContextualRetriever,
 )
-from _utils.gerar_relatorio_modelo_usuario.utils import (
+from _utils.gerar_documento_utils.utils import (
     generate_document_title,
     gerar_resposta_compilada,
     get_full_text_and_all_PDFs_chunks,
@@ -48,7 +48,6 @@ async def gerar_documento(
     axiom_instance: Axiom,
     isBubble=False,
 ):
-    """Parâmetro "contexto" só deve ser passado quando quiser utilizar o teste com ragas, e assim, não quiser passar PDFs"""
     try:
         contextual_retriever = ContextualRetriever(serializer)
 
@@ -77,7 +76,7 @@ async def gerar_documento(
 
             axiom_instance.send_axiom("COMEÇANDO A FAZER AS REQUISIÇÕES DO CONTEXTUAL")
             contextualized_chunks = await contextual_retriever.contextualize_all_chunks(
-                all_PDFs_chunks, response_auxiliar_summary
+                all_PDFs_chunks, response_auxiliar_summary, axiom_instance
             )
             axiom_instance.send_axiom(
                 "TERMINOU DE FAZER TODAS AS REQUISIÇÕES DO CONTEXTUAL"

_utils/{gerar_relatorio_modelo_usuario → gerar_documento_utils}/GerarDocumento.py

@@ -20,7 +20,7 @@ from setup.easy_imports import (
     HuggingFaceEmbeddings,
 )
 import logging
-from _utils.gerar_relatorio_modelo_usuario.DocumentSummarizer_simples import (
+from _utils.gerar_documento_utils.DocumentSummarizer_simples import (
     DocumentSummarizer,
 )
 from _utils.models.gerar_relatorio import (

_utils/{gerar_relatorio_modelo_usuario → gerar_documento_utils}/contextual_retriever.py

@@ -1,6 +1,6 @@
 import os
 from _utils.langchain_utils.LLM_class import LLM
-from _utils.gerar_relatorio_modelo_usuario.utils import (
+from _utils.gerar_documento_utils.utils import (
     get_response_from_auxiliar_contextual_prompt,
     validate_many_chunks_in_one_request,
 )
@@ -13,12 +13,12 @@ import asyncio
 from typing import List
 from dataclasses import dataclass
 
-from _utils.gerar_relatorio_modelo_usuario.llm_calls import (
+from _utils.gerar_documento_utils.llm_calls import (
     aclaude_answer,
     agemini_answer,
     agpt_answer,
 )
-from _utils.gerar_relatorio_modelo_usuario.prompts import contextual_prompt
+from _utils.gerar_documento_utils.prompts import contextual_prompt
 from _utils.models.gerar_relatorio import (
     ContextualizedChunk,
     DocumentChunk,
@@ -30,6 +30,7 @@ from gerar_documento.serializer import (
     GerarDocumentoComPDFProprioSerializerData,
     GerarDocumentoSerializerData,
 )
+from setup.logging import Axiom
 
 lista_contador = []
 
@@ -86,7 +87,10 @@ class ContextualRetriever:
         return result
 
     async def llm_call_uma_lista_de_chunks(
-        self, lista_com_20_chunks: List[DocumentChunk], resumo_auxiliar
+        self,
+        lista_com_20_chunks: List[DocumentChunk],
+        resumo_auxiliar,
+        axiom_instance: Axiom,
     ) -> List[List[Any]]:
         """Generate contextual description using ChatOpenAI"""
         all_chunks_contents, all_document_ids = self.getAllDocumentsIds(
@@ -101,44 +105,50 @@ class ContextualRetriever:
 
             for attempt in range(4):
                 if attempt != 0:
-                    print(
-                        "------------- FORMATAÇÃO DO CONTEXTUAL INCORRETA - TENTANDO NOVAMENTE -------------"
+                    axiom_instance.send_axiom(
+                        f"------------- FORMATAÇÃO DO CONTEXTUAL INCORRETA - TENTANDO NOVAMENTE (TENTATIVA: {attempt + 1}) -------------"
                     )
-                print(f"TENTATIVA FORMATAÇÃO CHUNKS NÚMERO {attempt + 1}")
                 print("COMEÇANDO UMA REQUISIÇÃO DO CONTEXTUAL")
-                # raw_response = await agpt_answer(prompt)
-                # raw_response = await agemini_answer(prompt, "gemini-2.0-flash-lite-preview-02-05")
                 raw_response = await agemini_answer(prompt, "gemini-2.0-flash-lite")
 
                 print("TERMINOU UMA REQUISIÇÃO DO CONTEXTUAL")
                 response = cast(str, raw_response)
-                # response = await llms.deepseek().ainvoke([HumanMessage(content=prompt)])
-                # return cast(str, response.content)
 
                 matches = validate_many_chunks_in_one_request(
                     response, all_document_ids
                 )
 
                 if matches:
+                    axiom_instance.send_axiom(
+                        f"CONTEXTUAL FUNCIONOU NA TENTATIVA {attempt + 1}"
+                    )
                     return self.get_info_from_validated_chunks(matches)
-            raise ValueError(f"FORMATAÇÃO DOS CHUNKS FOI INVÁLIDA: {response}")
+                else:
+                    # raise ValueError(f"FORMATAÇÃO DOS CHUNKS FOI INVÁLIDA: {response}")
+                    axiom_instance.send_axiom(
+                        f"---------- FORMATAÇÃO DE UM DOS CHUNKS FOI INVÁLIDA - {response}"
+                    )
+                    return [[""]]
         except Exception as e:
             self.logger.error(f"Context generation failed for chunks .... : {str(e)}")
             return [[""]]
 
     async def contextualize_uma_lista_de_chunks(
-        self, lista_com_20_chunks: List[DocumentChunk], response_auxiliar_summary
+        self,
+        lista_com_20_chunks: List[DocumentChunk],
+        response_auxiliar_summary,
+        axiom_instance: Axiom,
     ):
         lista_contador.append(0)
         print("contador: ", len(lista_contador))
 
         result = await self.llm_call_uma_lista_de_chunks(
-            lista_com_20_chunks, response_auxiliar_summary
+            lista_com_20_chunks, response_auxiliar_summary, axiom_instance
         )
 
         lista_chunks: List[ContextualizedChunk] = []
-        try:
-            for index, chunk in enumerate(lista_com_20_chunks):
+        for index, chunk in enumerate(lista_com_20_chunks):
+            try:
                 lista_chunks.append(
                     ContextualizedChunk(
                         contextual_summary=result[index][2],
@@ -151,17 +161,19 @@ class ContextualRetriever:
                         context=result[index][1],
                     )
                 )
-        except BaseException as e:
-            print(e)
-            print("\nERRO DO CONTEXTUAL")
-            print("\n\nresult", result)
+            except BaseException as e:
+                print(
+                    f"ERRO EM UMA LISTA COM 20 CHUNKS CONTEXTUALS {index + 1}: {result} ------- {e}"
+                )
 
+        axiom_instance.send_axiom(f"UMA LISTA COM 20 CHUNKS: {lista_chunks}")
         return lista_chunks
 
     async def contextualize_all_chunks(
         self,
         all_PDFs_chunks: List[DocumentChunk],
         response_auxiliar_summary,
+        axiom_instance: Axiom,
     ) -> List[ContextualizedChunk]:
         """Add context to all chunks"""
 
@@ -173,8 +185,7 @@ class ContextualRetriever:
             tasks = [
                 tg.create_task(
                     self.contextualize_uma_lista_de_chunks(
-                        lista_com_20_chunks,
-                        response_auxiliar_summary,
+                        lista_com_20_chunks, response_auxiliar_summary, axiom_instance
                     )
                 )
                 for lista_com_20_chunks in lista_de_listas_cada_com_20_chunks

_utils/{gerar_relatorio_modelo_usuario → gerar_documento_utils}/prompts.py

@@ -137,46 +137,6 @@ Please provide context for all {numero_de_chunks} chunks, following this structu
 # Novo nome --> prompt-auxiliar --> Para gerar documentos (é usado como auxiliar no prompt final)
 prompt_auxiliar_inicio = """You are a language model specialized in producing concise and well-structured legal case summaries in Portuguese. You will receive a variable `context`, which contains information about a legal case. Your task is to read the `context` carefully and produce a summary report in Portuguese, following the specific format provided below. Do not include any additional comments or reasoning steps in your final answer."""
 
-prompt_auxiliar_padrao = """
-**Instructions**:
-1. **Chain of Thought**: Before producing your final answer, you must think through and plan your summary silently, without showing this reasoning in the final output. The final answer must only contain the required formatted report and nothing else.
-2. **Reading the Context**: Extract the following information from `context`:
-- The name of the defendant (réu).
-- The crime they have been accused of (nome_do_crime).
-- The applicable article and subsection of the Penal Code (artigo_e_inciso_do_crime).
-- The date the accusation was accepted (data_do_recebimento).
-- The ID of the decision document (id_do_documento).
-3. **Prescriptive Details**: If no other interruptive or suspensive causes of prescription are mentioned, confirm that there are none.
-4. **Formatting**: Your final answer must strictly follow the format below, in Portuguese, and replace the placeholders with the appropriate information:
-```
-<relatorio>
-Trata-se de Ação Penal em que o Ministério Público denunciou [nome_do_reu], pela prática do [nome_do_crime] [artigo_e_inciso_do_crime], do Código Penal.
-A denúncia foi recebida em [data_do_recebimento], conforme Decisão [id_do_documento].
-Não há outras causas interruptivas ou suspensivas da prescrição.
-</relatorio>
-```
-5. **Completeness**: If any piece of required information is missing in the `context`, note that explicitly in the final answer within the format.
-**Reminder**:
-- Do not include your chain of thought in the final output.
-- Do not add extra information or commentary beyond the specified format.
-- The final answer must be in Portuguese.
----
-
-**Contextual Information (provided separately):**
-{context}
----
-**Example with a given context**:
-- Input:
-`context` = 'Em 10/03/2021, o Ministério Público denunciou João da Silva, imputando-lhe o crime de furto qualificado, previsto no art. 155, §4º, inciso II, do Código Penal. A denúncia foi recebida em 12/03/2021, conforme Decisão nº 20210312-01. Não há menção a qualquer causa interruptiva ou suspensiva da prescrição.'
-- Expected final answer:
-```
-<formato>
-Trata-se de Ação Penal em que o Ministério Público denunciou João da Silva, pela prática do furto qualificado (art. 155, §4º, inciso II do Código Penal).
-A denúncia foi recebida em 12/03/2021, conforme Decisão 20210312-01.
-Não há outras causas interruptivas ou suspensivas da prescrição.
-</formato>
-"""
-
 # Novo nome --> prompt-gerar-documento --> Para gerar documentos
 prompt_gerar_documento = """
 You are a large language model that must produce a single final document in **Portuguese**. To do this, you will follow a private chain of thought and then produce a final answer. The final answer must follow the formatting and stylistic conventions shown in the user-provided model `user's template`. The information to be included in the final document is derived from the `context` (a report describing a legal case).

_utils/gerar_documento_utils/tests/conftest.py

@@ -0,0 +1,3 @@
+from tests import conftest
+
+conftest.django.setup()

_utils/{gerar_relatorio_modelo_usuario → gerar_documento_utils}/utils.py

@@ -2,10 +2,10 @@ from typing import Any, List, Tuple, Union
 from langchain_core.documents import Document
 from langchain_core.messages import HumanMessage
 
-from _utils.gerar_relatorio_modelo_usuario.llm_calls import agemini_answer
+from _utils.gerar_documento_utils.llm_calls import agemini_answer
 from _utils.langchain_utils.Splitter_class import Splitter
 from _utils.langchain_utils.LLM_class import LLM
-from _utils.gerar_relatorio_modelo_usuario.prompts import (
+from _utils.gerar_documento_utils.prompts import (
     create_prompt_auxiliar_do_contextual_prompt,
 )
 import re

_utils/ragas.py

@@ -1,6 +1,6 @@
 import os
 from langchain_community.document_loaders import PyPDFLoader
-from _utils.gerar_documento import GerarDocumento, RetrievalConfig
+from _utils.gerar_documento_utils import GerarDocumento
 from rest_framework.response import Response
 from ragas import evaluate
 
@@ -10,6 +10,8 @@ from langchain.prompts import PromptTemplate
 # from langchain.schema import ChainResult
 from langchain.memory import SimpleMemory
 
+from _utils.models.gerar_relatorio import RetrievalConfig
+
 
 def test_ragas(serializer, listaPDFs):
 

gerar_documento/serializer.py

@@ -1,10 +1,8 @@
 from dataclasses import dataclass, field
-from email.policy import default
 from typing import List, Optional, Union
 from rest_framework import serializers
-from _utils.gerar_relatorio_modelo_usuario.prompts import (
+from _utils.gerar_documento_utils.prompts import (
     prompt_gerar_documento,
-    prompt_auxiliar_padrao,
 )
 from gerar_documento.serializer_base import (
     GerarDocumentoParametros,
@@ -15,6 +13,7 @@ from django.core.files.uploadedfile import UploadedFile
 
 user_message = "What are the main points of this document?"
 
+
 class GerarDocumentoInitialSerializer(serializers.Serializer):
     files = serializers.ListField(child=serializers.FileField(), required=True)
     user_message = serializers.CharField(required=False, default=user_message)

gerar_documento/serializer_base.py

@@ -1,13 +1,6 @@
 from dataclasses import dataclass, field
-from email.policy import default
 from typing import List, Optional, Union
 from rest_framework import serializers
-from _utils.gerar_relatorio_modelo_usuario.prompts import (
-    prompt_gerar_documento,
-    prompt_auxiliar_padrao,
-)
-from setup.environment import default_model
-from django.core.files.uploadedfile import UploadedFile
 
 
 class GerarDocumentoParametros:

gerar_documento/views.py

@@ -1,7 +1,7 @@
 from typing import Any, Dict, cast
 from langchain.prompts import PromptTemplate
 from _utils.langchain_utils.LLM_class import LLM
-from _utils.gerar_relatorio_modelo_usuario.utils import (
+from _utils.gerar_documento_utils.utils import (
     get_full_text_and_all_PDFs_chunks,
 )
 from _utils.langchain_utils.Prompt_class import Prompt
@@ -18,7 +18,7 @@ from _utils.handle_files import handle_pdf_files_from_serializer, remove_pdf_tem
 from _utils.gerar_documento import (
     gerar_documento,
 )
-from _utils.gerar_relatorio_modelo_usuario.prompts import prompt_auxiliar_inicio
+from _utils.gerar_documento_utils.prompts import prompt_auxiliar_inicio
 from setup.logging import Axiom, send_axiom
 from .serializer import (
     GerarDocumentoComPDFProprioSerializer,

tests/gerar_relatorio_modelo_usuario/test_contextual_retriever.py

@@ -1,8 +1,8 @@
 import pytest
-from _utils.gerar_relatorio_modelo_usuario.contextual_retriever import (
+from _utils.gerar_documento_utils.contextual_retriever import (
     ContextualRetriever,
 )
-from _utils.gerar_relatorio_modelo_usuario.utils import (
+from _utils.gerar_documento_utils.utils import (
     validate_many_chunks_in_one_request,
 )
 from _utils.models.gerar_relatorio import RetrievalConfig
@@ -98,21 +98,19 @@ class TestContextualRetriever:
             [fixture.resposta_cenario_01,fixture.lista_ids_cenario_01], 
             [fixture.resposta_cenario_02,fixture.lista_ids_cenario_02]
         ]
-        
+
         for cenario in lista_fixtures:
             resultado = validate_many_chunks_in_one_request(
                 cenario[0],
                 cenario[1],
             )
-            
+
             assert resultado and len(resultado) == len(cenario[1])
             assert all( isinstance(item[0], int) and item[0] != 0 for item in resultado)
             assert all( isinstance(item[1], str) and item[1] != "" for item in resultado)
             assert all( isinstance(item[2], str) and item[2] != "" for item in resultado)
 
             print("\n\nresultado", resultado)
-            
-        
 
     @pytest.mark.asyncio
     async def test_get_info_from_validated_chunks(self):
@@ -166,12 +164,15 @@ class TestContextualRetriever:
             return validate_many_chunks_in_one_request(response, document_ids) # Call the real function after two mocks
 
         monkeypatch.setattr(
-            "_utils.gerar_relatorio_modelo_usuario.contextual_retriever.validate_many_chunks_in_one_request", 
-            custom_side_effect
+            "_utils.gerar_documento_utils.contextual_retriever.validate_many_chunks_in_one_request",
+            custom_side_effect,
         )
 
         mock_agpt_answer = AsyncMock(return_value=lista_respostas_contextuals_cenario_02[0])
-        monkeypatch.setattr("_utils.gerar_relatorio_modelo_usuario.contextual_retriever.agpt_answer", mock_agpt_answer)
+        monkeypatch.setattr(
+            "_utils.gerar_documento_utils.contextual_retriever.agpt_answer",
+            mock_agpt_answer,
+        )
 
         resultado = await self.context_retrieval.llm_call_uma_lista_de_chunks(
             cenario_01_lista_com_20_chunks, cenario_01_resumo_auxiliar