fler exempel och förbättrad prompt. Testar steg-för-steg-prompting

Arkiv.txt

@@ -0,0 +1,15 @@
+"""
+Du sammanfattar texter som användaren skickar. 
+Syftet är att översätta svårlästa texter som exempelvis myndighetsbeslut, 
+kontrakt eller avier/fakturor till klartext som är lättförståelig och tydlig, 
+framförallt om det är något som användaren behöver göra själv (exempelvis betala en faktura).
+
+Texten som användaren kommer skicka är PDFer som har blivit omformaterade till en lång sträng. 
+Detta kan leda till att viss positionell information försvinner, eller att olika textstycken 
+kommer i en annan ordning än vad som är tänkt.
+
+Du ska först svara med en flytande text som kort förklarar vad som står i dokumentet.
+Om dokumentet ger instruktioner ska du beskriva dessa steg för steg sist i svaret.
+Det ska gå att utföra instruktionerna enbart baserat på det du skriver så användaren inte behöver läsa i pdfen för att veta vad den ska göra.
+Svara på svenska.
+"""

groqSummarizer.py

@@ -3,27 +3,14 @@ from groq import Groq
 import os
 from dotenv import load_dotenv
 
-class GroqSummarizer():
+from prompts import systemPrompt
 
-    def __init__(self):
-        #self.systemPrompt = "Du sammanfattar texter som användaren skickar. Var kortfattad. Svara på svenska. Om texten innehåller instruktioner, lista dem punktvis."
 
-        self.systemPrompt = """
-                    Du sammanfattar texter som användaren skickar. 
-                    Syftet är att översätta svårlästa texter som exempelvis myndighetsbeslut, 
-                    kontrakt eller avier/fakturor till klartext som är lättförståelig och tydlig, 
-                    framförallt om det är något som användaren behöver göra själv (exempelvis betala en faktura). \n
+class GroqSummarizer():
 
-                    Texten som användaren kommer skicka är PDFer som har blivit omformaterade till en lång sträng. 
-                    Detta kan leda till att viss positionell information försvinner, eller att olika textstycken 
-                    kommer i en annan ordning än vad som är tänkt. \n
+    def __init__(self):
+        self.systemPrompt = systemPrompt
 
-                    Outputten ska vara en flytande text som kort förklarar vad som står i dokumentet. 
-                    Om dokumentet ger instruktioner ska dessa tydligt beskrivas steg för steg sist i svaret.
-                    Det ska gå att utföra instruktionerna enbart baserat på outputten. 
-                    Om det exempelvis är en hyresavi ska bankgiro, OCR-nummer och belopp tydligt framgå.
-                    Svara på Svenska
-                    """
         
         self.client = self.load_groq()
 
@@ -48,10 +35,10 @@ class GroqSummarizer():
                 },
                 {
                     "role": "user",
-                    "content": text,
+                    "content": "\"\"\"" + text + "\"\"\"",
                 }
             ],
             model="llama3-70b-8192",
         )
-    
+        print(chat_completion.choices[0].message.content)
         return chat_completion.choices[0].message.content

page.py

@@ -11,7 +11,7 @@ def createDemoPage(path):
 
     with st.spinner("Summarizing text..."):
         summarizer = Summarizer(model = "groq")
-        text = readpdf("Examples/Kris.pdf")
+        text = readpdf(path)
         summary = summarizer.summarize(text)
 
     st.subheader("Summary")

pages/A-skattsblankett.py

@@ -0,0 +1,11 @@
+import streamlit as st
+from summarize import Summarizer
+import page
+
+def main():
+    st.title("Text Extractor and Summarizer")
+
+    st.subheader("(Detta är ett exempel på hur en blankett från Skatteverket sammanfattas)")
+    page.createDemoPage("Examples/A-skatt.pdf")
+
+main()

pages/Bruksanvisning Automower.py

@@ -0,0 +1,11 @@
+import streamlit as st
+from summarize import Summarizer
+import page
+
+def main():
+    st.title("Text Extractor and Summarizer")
+
+    st.subheader("(Detta är ett exempel på hur en bruksanvisnig för en robotgräsklippare sammanfattas)")
+    page.createDemoPage("Examples/BruksanvisningAutomower.pdf")
+
+main()

pages/Deklaration.py

@@ -0,0 +1,11 @@
+import streamlit as st
+from summarize import Summarizer
+import page
+
+def main():
+    st.title("Text Extractor and Summarizer")
+
+    st.subheader("(Detta är ett exempel på hur information på en hemsida om hur man deklarerar sammanfattas)")
+    page.createDemoPage("Examples/deklaration.pdf")
+
+main()

pages/FHM Covid-information

@@ -0,0 +1,11 @@
+import streamlit as st
+from summarize import Summarizer
+import page
+
+def main():
+    st.title("Text Extractor and Summarizer")
+
+    st.subheader("(Detta är ett exempel på hur FHMs webbsida om Covid-19 sammanfattas)")
+    page.createDemoPage("Examples/FHMCovid.pdf")
+
+main()

pages/Hovrättsdom.py

@@ -0,0 +1,11 @@
+import streamlit as st
+from summarize import Summarizer
+import page
+
+def main():
+    st.title("Text Extractor and Summarizer")
+
+    st.subheader("(Detta är ett exempel på hur en dom från hovrätten sammanfattas)")
+    page.createDemoPage("Examples/hovrätt.pdf")
+
+main()

pages/Hyresavi.py

@@ -1,6 +1,5 @@
 import streamlit as st
 from summarize import Summarizer
-import pdfplumber
 import page
 
 def main():

pages/Om krisen eller kriget kommer.py

@@ -1,6 +1,5 @@
 import streamlit as st
 from summarize import Summarizer
-import pdfplumber
 import page
 
 def main():

prompts.py

@@ -0,0 +1,22 @@
+
+systemPrompt = """
+Du sammanfattar texter på ett sätt som är enkelt att förstå och ta till sig. 
+Syftet är att hjälpa människor förstå svårlästa texter som exempelvis myndighetsbeslut, 
+kontrakt, avier, eller fakturor genom att översätta dem till klartext, alltså till ett språk som är lättförståelig och tydlig. 
+Målet med din uppgift är att användaren enkelt ska kunna förstå vad som står i dokumentet och vad som behöver göras.
+
+Använd följande metod för att sammanfatta texten:
+1. Identifiera det viktigaste i texten. Vad är det som är mest relevant för användaren att veta?
+2. Sammanfatta texten i korta och tydliga meningar. Undvik onödiga detaljer.
+3. Om det finns siffror, belopp, datum eller liknande som är viktiga, specificera dessa tydligt.
+4. Sammanställ koncist vad som behöver göras eller vad som är viktigt att veta.
+
+
+Användaren kommer att skicka en text som representerar den information som finns i dokumentet den vill ha hjälp med att förstå.
+Din uppgift är att sammanfatta denna text enligt instruktionerna ovan.
+
+Svara på svenska.
+"""
+
+#Till exempel, om det är en faktura som ska betalas, ska du beskriva hur mycket pengar personen totalt ska betala, och specificera vilka bankuppgifter dessa ska betalas till.
+#Denna information finns innanför taggarna <dokument> och </dokument>.

summarize.py

@@ -18,6 +18,7 @@ import torch
 from streamlit import session_state as ss
 from streamlit_pdf_viewer import pdf_viewer
 
+
 class Summarizer:
 
     def __init__(self, model = "groq"):

test.json

@@ -0,0 +1,29 @@
+{
+    "header": {
+        "customer_ref": "407025",
+        "date": "2024-03-13"
+    },
+    "payment_info": {
+        "payee": "Stockholms Studentbostäder",
+        "bankgiro": "5954-0146",
+        "ocr_nr": "317925899"
+    },
+    "invoices": [
+        {
+            "description": "Hyra Bostad",
+            "period": "20240401-20240430",
+            "amount": "4170,00 SEK"
+        },
+        {
+            "description": "Internetanslutning",
+            "period": "20240401-20240430",
+            "amount": "167,00 SEK"
+        }
+    ],
+    "total_amount": "5847,00 SEK",
+    "due_date": "2024-03-31",
+    "contact_info": {
+        "phone": "08-458 10 10",
+        "address": "Box 19608, 104 32 Stockholm"
+    }
+}

test.py

@@ -0,0 +1,16 @@
+import PyPDF2
+
+def extract_text_from_pdf(pdf_path):
+    # Open the PDF file
+    with open(pdf_path, 'rb') as file:
+        reader = PyPDF2.PdfReader(file)
+        text = ''
+        
+        # Iterate through each page
+        for page in reader.pages:
+            text += page.extract_text()
+            
+    return text
+
+pdf_path = 'Examples/Kris.pdf'
+print(extract_text_from_pdf(pdf_path))