Retrieval Op basis van de query (gehele Kamervraag plus eventuele extra relevante informatie (bijvoorbeeld de titel, een beschrijving van, of keywords uit een bijbehorend nieuwsartikel)) van de gebruiker doorzoekt het AI-systeem de schriftelijke Kamervragen (met beantwoording). Het AI-systeem geeft op basis van de query relevante stukken tekst uit de schriftelijke Kamervragen (met beantwoording) terug.

Tussenstap De primaire actor (gebruiker) beslist welke brondocumenten er wel en niet worden meegegeven in de generation-stap. De gebruiker heeft in deze stap opnieuw de mogelijkheid om zelf extra relevante informatie toevoegen die ook meegenomen moet worden bij het genereren van het antwoord.

Generation Op basis van de brondocumenten van de opgehaalde (retrieved) relevante stukken tekst uit de schriftelijke Kamervragen (met beantwoording) plus eventuele extra toegevoegde eigen bronnen (zoals nieuwsartikelen of sentiment) wordt een tekstvoorstel gegenereerd voor het beantwoorden van de query. N.B. De aanvullende eigen bronnen/informatie mogen uitsluitend aan het taalmodel worden verstrekt indien dit juridisch is toegestaan.

Voor deze PoC willen we in de query alleen Kamervragen gebruiken waar één bewindspersoon van JenV beantwoorder is (eenvoudigste situatie) en verder gebruiken we alleen Kamervragen waar een van de bewindslieden van DPGenV de primaire beantwoorder is.

AI ondersteunt bij het opstellen van antwoorden op Kamervragen, wat de efficiëntie van het werk kan bevorderen. AI doorzoekt een database met kamerstukken (en nieuwsberichten) om relevante documenten te verzamelen, en genereert een concept antwoord gebaseerd op deze relevante documenten. Het concept antwoord van de Kamervraag kan de stafmedewerker gebruiken als voorwerk voor de dossierhouder die de Kamervraag daadwerkelijk beantwoordt.

Secondary Actor 2 (Scenario 2): Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 3 (Scenario 3): Codi (De virtuele beleidsassistent van Joinseven: Kamervragen snel beantwoorden | Bespaar tijd en moeite met Codi (joinseven.nl)). Ontstaan vanuit een ministerie-overstijgende pilot samen met de directies van Financiën, EZK, VWS, Belastingdienst, RVO en Douane.

Kamerstukken (De open data van de Tweede Kamer | Open Data Portaal / Kamerstukdossier | Open data van de Tweede Kamer.)

• De Kamervragen met beantwoording van alle ministeries en departementen.
• Alleen Kamervragen met beantwoording tot en met eind 2023. Drie opties voor tijdsscope:
  • Vanaf 2010
  • Vanaf 2018
  • Vanaf 2021

• De opgehaalde relevante (sub)Kamervragen met beantwoording uit de retriever zijn zichtbaar inclusief de gehele brondocumenten.
• Gebruiker beslist welke brondocumenten er wel en niet worden meegegeven in de generatorstap. De gebruiker kan in deze stap zelf extra relevante informatie toevoegen.
• Het gegenereerde antwoord is zichtbaar, inclusief referenties naar de brondocumenten waarop het antwoord is gebaseerd. De historie van ingevoerde queries en daarbij behorende gegenereerde antwoorden blijven zichtbaar voor de gebruiker, en worden opgeslagen.

• Primaire actor typt -de Kamervraag (query)- in het systeem en drukt op ENTER. Zie het kopje beschrijving voor specificering van de query. We testen met een serie van 50 Kamervragen, verdeeld in drie batches van respectievelijk 20, 15 en 15 Kamervragen. Deze 50 Kamervragen komen uit begin 2024.
• Primaire actor cureert opgehaalde Kamervragen met beantwoording, opgehaald door de retriever, en voegt eventuele extra relevante informatie toe en drukt op ENTER.

Vereisten uitkomst tekstvoorstel:

• Gemiddeld 50-250 aantal woorden (per subvraag);
• Als er geen (of te weinig) relevante stukken tekst zijn gevonden, wordt door het systeem aangegeven dat het systeem het antwoord niet ‘weet’.

Nice to have:

• Het antwoord is in dezelfde toon als die van de eerder beantwoorde Kamervragen van dezelfde bewindspersoon;

Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 2 (Scenario 1):

LearningLion (Opensource genAI on-premise oplossing ontwikkeld door SSC-ICT)

• Enkel Kamervragen van 01-01-2024 tot 01-07-2024 worden gebruikt voor deze use case, nog specifieker de 50 recentste vanaf 30-07-2024.
• Alleen Kamervragen die door DGPenV worden beantwoord.
• De knowledge base is gevuld met data vanaf 2010.

Requirements uitkomst antwoord:

• Gemiddeld 50-250 aantal woorden;
• Het antwoord is in dezelfde toon als die van de eerder beantwoorde vragen uit de dataset;
• Door het systeem geraadpleegde bronnen worden met een voetnoot aan het antwoord gekoppeld. Deze bronnen zijn in hetzelfde systeem inzichtelijk.

Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 2 (Scenario 1):

LearningLion (Opensource genAI on-premise oplossing ontwikkeld door SSC-ICT)

• Enkel Kamervragen van 01-01-2024 tot 01-07-2024 worden gebruikt voor deze use case, nog specifieker de 50 recentste vanaf 30-07-2024.

Requirements uitkomst antwoord:

• Gemiddeld 50-250 aantal woorden;
• Het antwoord is in dezelfde toon als die van de eerder beantwoorde vragen uit de dataset;
• Door het systeem geraadpleegde bronnen worden met een voetnoot aan het antwoord gekoppeld. Deze bronnen zijn in hetzelfde systeem inzichtelijk.

Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 2 (Scenario 1):

LearningLion (Opensource genAI on-premise oplossing ontwikkeld door SSC-ICT)

Requirements uitkomst antwoord:

• Gemiddeld 50-250 aantal woorden;
• Het antwoord is in dezelfde toon als die van de eerder beantwoorde vragen uit de dataset;
• Door het systeem geraadpleegde bronnen worden met een voetnoot aan het antwoord gekoppeld. Deze bronnen zijn in hetzelfde systeem inzichtelijk.

Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 2 (Scenario 1):

LearningLion (Opensource genAI on-premise oplossing ontwikkeld door SSC-ICT)

• Kamerstukken (De Open data van de Tweede Kamer).
• Knipselkrant (JenV)

Requirements uitkomst antwoord:

• Gemiddeld 50-250 aantal woorden;
• Het antwoord is in dezelfde toon als die van de eerder beantwoorde vragen uit de dataset;
• Door het systeem geraadpleegde bronnen worden met een voetnoot aan het antwoord gekoppeld. Deze bronnen zijn in hetzelfde systeem inzichtelijk.

Azure OpenAI (GenAI oplossing op Azure met AOAI service – data staat in Azure: SSC-ICT faciliteert het Azure platform voor o.a. de AOAI diensten en geeft ontwikkelaars van Microsoft of partner daar toegang toe)

Secondary Actor 2 (Scenario 1):

LearningLion (Opensource genAI on-premise oplossing ontwikkeld door SSC-ICT)

• Kamerstukken (De Open data van de Tweede Kamer)
• Knipselkrant (JenV)

Requirements uitkomst antwoord:

• x grootte (50-250 aantal woorden gemiddeld);
• dezelfde toon antwoord als die van de eerder beantwoorde vragen;
• door het systeem geraadpleegde bronnen worden met een voetnoot aan het antwoord gekoppeld inclusief gegeneerde bronnenlijst met URL’s die verwijzen naar de locatie van de bron;
• …