Add functionality for handling empty responses in AI workflows

Enhanced AI response generation to handle cases where no suitable clinics are found by providing relevant suggestions. Updated database handling and utility functions to support tracking and managing changes in entity data, ensuring better user feedback.

trauma/api/data/db_requests.py

@@ -1,4 +1,5 @@
 import asyncio
+import json
 import re
 
 from fastapi import HTTPException
@@ -35,3 +36,19 @@ async def search_facilities_obj(data: SearchRequest) -> tuple[list[EntityModel],
         settings.DB_CLIENT.entities.count_documents(regex_filter)
     )
     return [EntityModel.from_mongo(ent) for ent in objects], total_count
+
+
+async def check_instructions():
+    pipeline = [
+        {"$unwind": "$contactDetails.postalCode"},
+        {"$group": {"_id": None, "uniqueTreatmentMethods": {"$addToSet": "$contactDetails.postalCode"}}}
+    ]
+    result = await settings.DB_CLIENT.entities.aggregate(pipeline).to_list(length=1)
+    if result:
+        t = result[0]["uniqueTreatmentMethods"]
+        with open('test.json', 'w') as f:
+            f.write(json.dumps({"t": t}, indent=2))
+    return []
+
+if __name__ == "__main__":
+    asyncio.run(check_instructions())

trauma/api/message/ai/engine.py

@@ -14,19 +14,21 @@ from trauma.api.message.ai.openai_request import (update_entity_data_with_ai,
                                                   choose_closest_treatment_area,
                                                   check_is_valid_request,
                                                   generate_invalid_response,
-                                                  set_entity_score)
+                                                  set_entity_score, generate_empty_final_response)
 from trauma.api.message.db_requests import (save_assistant_user_message,
                                             filter_entities_by_age_location,
                                             update_entity_data_obj, get_entities_bulk)
 from trauma.api.message.dto import Author
 from trauma.api.message.model import MessageModel
 from trauma.api.message.schemas import CreateMessageResponse
-from trauma.api.message.utils import (decode_treatment_letters, 
+from trauma.api.message.utils import (decode_treatment_letters,
                                       prepare_message_history_str,
                                       retrieve_empty_field_from_entity_data,
                                       prepare_user_messages_str,
                                       prepare_final_entities_str,
-                                      pick_empty_field_instructions, find_matching_age_group)
+                                      pick_empty_field_instructions,
+                                      find_matching_age_group,
+                                      search_changed_field_inst)
 from trauma.core.config import settings
 
 
@@ -40,7 +42,7 @@ async def search_entities(
         update_entity_data_with_ai(chat.entityData, decoded_message, messages[-1].text),
         check_is_valid_request(decoded_message, message_history_str)
     )
-    final_entities = None
+    final_entities, fields_changed_inst = None, search_changed_field_inst(entity_data, chat.entityData)
     
     if not is_valid:
         empty_field = retrieve_empty_field_from_entity_data(chat.entityData.model_dump(mode='json'))
@@ -62,9 +64,14 @@ async def search_entities(
             )
             final_entities = await search_semantic_entities(search_request, entity_data, possible_entity_indexes)
             final_entities_str = prepare_final_entities_str(final_entities)
-            response = await generate_final_response(
-                final_entities_str, decoded_message, message_history_str, empty_field_instructions
-            )
+            if final_entities:
+                response = await generate_final_response(
+                    final_entities_str, decoded_message, message_history_str, empty_field_instructions
+                )
+            else:
+                response = await generate_empty_final_response(
+                    decoded_message, message_history_str, fields_changed_inst
+                )
 
     user_message = MessageModel(chatId=chat.id, author=Author.User, text=decoded_message)
     assistant_message = MessageModel(chatId=chat.id, author=Author.Assistant, text=response, entities=final_entities)

trauma/api/message/ai/openai_request.py

@@ -71,6 +71,21 @@ async def generate_final_response(
     ]
     return messages
 
+@openai_wrapper(temperature=0.8)
+async def generate_empty_final_response(
+    user_message: str, message_history_str: str, empty_field_instructions: dict
+):
+    messages = [
+        {
+            "role": "system",
+            "content": TraumaPrompts.generate_empty_recommendations
+            .replace("{message_history}", message_history_str)
+            .replace("{user_message}", user_message)
+            .replace("{instructions}", json.dumps(empty_field_instructions, indent=2))
+        }
+    ]
+    return messages
+
 
 async def convert_value_to_embeddings(value: str, dimensions: int = 1536) -> list[float]:
     embeddings = await settings.OPENAI_CLIENT.embeddings.create(

trauma/api/message/ai/prompts.py

@@ -242,29 +242,34 @@ Stel op een beleefde manier enkele medische instellingen voor op basis van de in
 
     generate_empty_recommendations = """## Taak
 
-Je moet de gebruiker op een empathische en ondersteunende manier informeren dat er geen geschikte klinieken voor de patiënt zijn gevonden. Moedig de gebruiker aan om de informatie opnieuw in te voeren met aanvullende details om betere zoekresultaten te genereren. Geef hierbij een voorbeeld van een geschikte invoer, zoals: 'jongen van 16 jaar met LVB waarvoor ik EMDR zoek'.
+Je moet de gebruiker op een empathische en ondersteunende manier informeren dat er geen geschikte klinieken voor de patiënt zijn gevonden, en je moet de gebruiker voorstellen om te zoeken door de meest relevante mogelijke opties uit `Possible values` te geven.
 
 ## Context
 
-De gebruiker zoekt naar een geschikte kliniek voor een patiënt en deelt hierbij details zoals ziekte, leeftijd en behandelmethoden. Ondanks deze informatie heeft het systeem geen geschikte kliniek kunnen vinden die voldoet aan de eisen. Het is jouw taak om dit op een vriendelijke manier te communiceren en suggesties te geven voor het herzien of aanvullen van de ingevoerde gegevens.
+De gebruiker zoekt een geschikte kliniek voor een patiënt en deelt details zoals de ziekte, leeftijd en behandelingsmethoden, evenals informatie over de kliniek. In het laatste bericht heeft de gebruiker echter informatie verstrekt waaruit geen klinieken zijn gevonden. Je moet op een empathische en beleefde toon de meest semantisch vergelijkbare opties uit `Possible values` voorstellen waarvoor klinieken beschikbaar zijn.
 
-## Data
+## Gegevens
 
-**Gebruikersquery**:
+**Gebruikersverzoek**:
 ```
 {user_message}
 ```
 
-**Gesprekshistorie**:
+**Gespreksgeschiedenis**:
 ```
 {message_history}
 ```
 
+**Mogelijke varianten**:
+```
+{instructions}
+```
+
 ## Belangrijke opmerkingen
 
-- Gebruik een vriendelijke en geruststellende toon, bijvoorbeeld: "Ik heb op basis van de ingevoerde gegevens geen kliniek kunnen vinden. Kunnen we samen kijken of we de informatie iets kunnen aanpassen om betere resultaten te krijgen?"
-- Geef praktische suggesties, zoals: "Misschien helpt het om meer details over de locatie of de behandelmethode te delen."
-- Stel open vragen om de gebruiker te begeleiden bij het verfijnen van de gegevens, zoals: "Zijn er andere belangrijke punten die we kunnen toevoegen?"""
+- Gebruik een vriendelijke en rustgevende toon.
+- Stel de meest semantisch vergelijkbare voorbeelden voor uit `Possible variants` om een geschikte kliniek te vinden.
+- Stel open vragen om de gebruiker te helpen de gegevens te verduidelijken, bijvoorbeeld: "Zijn er andere belangrijke punten die we kunnen toevoegen?\""""
     generate_searched_entity = """## Taak
 
 Je moet de gevraagde faciliteit beschrijven, waarvan de informatie wordt gegeven in de sectie `## Data`. Analyseer de gebruikersvraag en de informatie over de faciliteit, en geef een beknopt en bondig antwoord.

trauma/api/message/utils.py

@@ -1,6 +1,7 @@
 import json
 import re
 
+from trauma.api.chat.dto import EntityData
 from trauma.api.data.dto import AgeGroup
 from trauma.api.data.model import EntityModel
 from trauma.api.message.dto import Author
@@ -104,3 +105,166 @@ def decode_treatment_letters(user_message: str) -> str:
     for short, full in replacements.items():
         user_message = re.sub(rf'\b{short}\b', full, user_message, flags=re.IGNORECASE)
     return user_message
+
+
+def search_changed_field_inst(entity_data: dict, old_entity_data: EntityData) -> dict[str, str]:
+    changed_fields = {}
+    instruction_map = {
+        "age": {'ageMinSupported': 0, "ageMaxSupported": 23},
+        "treatmentMethod": [
+    "Hypnose",
+    "Hypnotherapie",
+    "eclectisch",
+    "Schematherapie",
+    "BEPP (Beknopte Eclectische Psychotherapie bij PTSS",
+    "Muziektherapie, klankbehandeling",
+    "FITT, family based intensive trauma treatment",
+    "systeemtherapie & schematherapie",
+    "Narratieve Exposure Therapie (NET)",
+    "Ouder-kindtraumatherapie",
+    "Lichaamsgerichte therapie",
+    "integratieve therapie",
+    "Havening, hypnose",
+    "Psychotherapie",
+    "TIST",
+    "Words and pictures",
+    "Integratieve Kindertherapie",
+    "Buitenpsychologie",
+    "systeemtherapie gericht op scheidingsproblematiek",
+    "NET",
+    "Eigen methodiek, SSP, Focustherapie",
+    "Systeemtherapie",
+    "BEPP (beknopte eclectische psychotherapie voor PTSS), BEP-TG (beknopte eclectische psychotherapie voor traumatische rouw), NET (narratieve exposure therapie), schematherapie",
+    "Narratieve Exposure therapie",
+    "Writejunior",
+    "Tem Je Draak",
+    "EMDR voor ouders",
+    "Methodes vanuit de systeemtherapie",
+    "CGT (oa exposure)",
+    "Horizonmethodiek",
+    "TF-CBT",
+    "BEPP protocol",
+    "Speltherapie",
+    "ouder-kind therapie (vanuit de IMH visie)",
+    "IGT-K",
+    "medicamenteus",
+    "Verwerken en versterken",
+    "Pre-verbale EMDR",
+    "Kortdurende Intensieve traumabehandeling",
+    "aantal bovenstaande nog in ontwikkeling, deze niet aangevinkt nu",
+    "Drakentemmers",
+    "BEPP",
+    "schematherapie",
+    "Hypno-regressie therapie",
+    "ImRS",
+    "Beeldende therapie",
+    "sensorimotor psychotherapie",
+    "Cref-methode /paarde coaching",
+    "KINGS",
+    "KINGS in voorbereiding",
+    "systeemtherapie",
+    "EMDR",
+    "Ouder Kind Trauma Therapie",
+    "BEPP, NET",
+    "IEMT",
+    "Bokstherapie",
+    "babytherapie",
+    "sensorimotorpsychotherapie",
+    "Dramatherapie",
+    "BEPP / Sensorimotor Psychotherapie",
+    "Psychomotorische Therapie",
+    "Slapende honden",
+    "Nika, psycho-educatie",
+    "Basic Trust-methode, schematherapie, behandeling gericht op rouw en verlies",
+    "Intensieve Ambulante Gezinstherapie",
+    "EFFT / EFIT en ABFT",
+    "DDP, ABFT, EFFT, AFFT, Theraplay, schematherapie",
+    "Imaginaire Exposure",
+    "Bokspsychotherapie",
+    "ABFT",
+    "Lichaamsgerichte, innerlijk bronnen en systemische traumatherapie",
+    "NET (Narratieve Exposure Therapie)"
+  ],
+        "treatmentArea": [
+    "Geen beschikking nodig",
+    "Normaal begaafd",
+    "langdurig pesten behandelen wij ook, waarbij wel wordt gekeken of het niet gaat om complex trauma, dan wordt veelal verwezen naar de S-GGZ, wij bieden GB-GGZ. Een verstandelijke beperking is niet perse een contra, maar schatten dit per casus in. Wanneer het gaat om een licht verstandelijke beperkt niveau tot zwakbegaafd is het vaak wel mogelijk.",
+    "automutilatie, geen acute suicidaliteit/crisis",
+    "Trauma in het systeem",
+    "Visuele beperking",
+    "Vluchtelingenproblematiek",
+    "Taalontwikkelingsstoornis",
+    "ASS",
+    "vaak is het comorbiditeit en niet de hoofddiagnose. Ik doe vaak traumatherapie/combi EMDR bij persoonlijkheidsproblematiek",
+    "als er sprake is van een VB dan ook bij ASS, ADHD etc",
+    "Geen onderscheid",
+    "intergenerationeel trauma",
+    "Genderproblematiek",
+    "Hoogbegaafd",
+    "misbruik, grote somberte, bij suicidaliteit en/of automutilatie altijd contact met arts of psychiater",
+    "deelbehandeling in samenwerking met andere behandelsetting",
+    "(Lichte) Verstandelijke Beperking",
+    "Auditieve beperking",
+    "Transcultureel",
+    "ouder-kind relatieproblematiek",
+    "Verslaving",
+    "generationeel trauma ivm systemische problematiek",
+    "Meervoudig trauma",
+    "loyaliteitsproblematiek/ouderverstoting/oudervervreemding",
+    "Als er sprake is van een indicatie, dan pakken wij dit als wijkteam in het voorveld niet op",
+    "Bijna alle psychische aandoening waar ambulante behandeling van toepassing is",
+    "Sucidaliteit en/of automutilatie",
+    "Comorbiditeit is geen contra voor traumabehandeling. Middelengebruik moet gestopt zijn voor de traumabehandeling kan starten.",
+    "Eetstoornis",
+    "overbrugging wachtlijst",
+    "Enkelvoudig trauma"
+  ],
+        "location": [
+  "Aalsmeer",
+  "Alkmaar",
+  "Amstelveen",
+  "Amsterdam",
+  "Badhoevedorp",
+  "Beverwijk",
+  "Bergen NH",
+  "Broek op Langedijk",
+  "Bussum",
+  "Callantsoog",
+  "Castricum",
+  "Cruquiusweg 32",
+  "Den Helder",
+  "Diemen",
+  "Edam",
+  "Enkhuizen",
+  "Heemstede",
+  "Heerhugowaard",
+  "Heiloo",
+  "Hilversum",
+  "Hoofddorp",
+  "Hoorn",
+  "Huizen",
+  "Janmaat Psychotherapie Haarlem",
+  "Krommenie",
+  "Laren NH",
+  "Monnickendam",
+  "Naarden",
+  "Noord-Scharwoude",
+  "Purmerend",
+  "Schagen",
+  "Spierdijk",
+  "Velsen",
+  "Vondelstraat 100",
+  "Weesp",
+  "Wormerland",
+  "Zaanstad",
+  "Zaandam",
+  "Zuid-Kennemerland/ IJmond"
+],
+        "postalCode": None,
+    }
+    old_entity_data = old_entity_data.model_dump(mode='json')
+    for key, value in entity_data.items():
+        if key in old_entity_data and old_entity_data[key] != value:
+            real_key = key if key!="treatmentArea" else "traumaType"
+            changed_fields[real_key] = instruction_map[key]
+    return changed_fields

trauma/api/message/views.py

@@ -10,9 +10,7 @@ from trauma.api.message.dto import Feedback
 from trauma.api.message.model import MessageModel
 from trauma.api.message.schemas import (AllMessageWrapper,
                                         AllMessageResponse,
-                                        CreateMessageRequest,
-                                        CreateMessageResponse)
-from trauma.api.message.utils import transform_messages_to_openai
+                                        CreateMessageRequest)
 from trauma.core.security import PermissionDependency
 from trauma.core.wrappers import TraumaResponseWrapper
 
@@ -49,3 +47,4 @@ async def create_feedback(
 ) -> TraumaResponseWrapper[MessageModel]:
     message = await update_message_feedback_obj(messageId, feedback_data)
     return TraumaResponseWrapper(data=message)
+