feat: Enhance prompt instructions and adjust text splitter parameters for improved document processing

config.yaml

@@ -91,6 +91,9 @@ prompt_template: "
 Voici les extraits sélectionnés pour répondre à la demande de l'utilisateur :
 {documentContext}
 
+** Consignes **
+- Si tu n'as pas les informations demandées, n'invente pas.
+- Bases toi uniquement sur les informations ci-dessus pour répondre aux attentes de l'utilisateur.
 
 Voici l'historique des messages : {messages}
 Les attentes de l'utilisateur sont : {query}

rag.py

@@ -27,10 +27,11 @@ class Rag:
 
     def __init__(self, vectore_store=None):
         
+        print(self.document_vector_store)
         # self.model = ChatMistralAI(model=llm_model)
         self.embedding = MistralAIEmbeddings(model="mistral-embed", mistral_api_key=env_api_key)
 
-        self.text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100, length_function=len)
+        self.text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=300, separators="\n\n", length_function=len)
         
         base_template = getYamlConfig()['prompt_template']
         self.prompt = PromptTemplate.from_template(base_template)
@@ -65,7 +66,6 @@ class Rag:
         docs = PyPDFLoader(file_path=pdf_file_path).load()
 
         chunks = self.text_splitter.split_documents(docs)
-        chunks = filter_complex_metadata(chunks)
 
         self.documents.extend(chunks)
         self.document_vector_store = FAISS.from_documents(self.documents, self.embedding)
@@ -84,7 +84,9 @@ class Rag:
         
         queryForRetriever = query
 
-        if len(messages) == 1 :
+        print(f"Nb messages : {len(messages)}")
+
+        if len(messages) == 2 :
             queryForRetriever = messages[0].content + "\n" + query ;