November 20, 2024
Omdat wij het als team belangrijk vinden om open te werken en alles te delen rondom ons proces van onze experimenten hebben wij het communicatieteam betrokken. Samen zijn we bezig met het opstellen van een communicatiestrategie. We hebben immers deze website, maar daar zit nog geen heldere strategie achter. We willen graag dat mensen bij ons onderzoek aanhaken en bijdragen door middel van bijvoorbeeld een dialoog.
Om de strategie vorm te geven hebben we eerst een SWOT-analyse (Strenght, Weaknesses, Opportunities en Threads) gedaan. Daar kwamen wat punten uit die ons houvast geven in wie we zijn en wat onze visie is.
...November 19, 2024
Vandaag hebben we gesproken met het AI-Validatieteam. Zij werken aan verschillende projecten om meer inzicht te verkrijgen in algoritmes en hun gedragingen (transparantie). Ze willen meer grip krijgen op algoritmes die ingezet worden door overheden.
Het benchmarken van LLM’s
#
Eén van de projecten waar ze zich mee bezig hebben gehouden is het benchmarken van taalmodellen (LLM’s).
LLM’s kunnen worden ingezet voor verschillende taken om het reguliere werk te vergemakkelijken. Maar, er zitten ook aanzienlijke risico’s aan verbonden. Het is niet gegarandeerd dat de output van een LLM altijd juist is. Bovendien kan een LLM bias vertonen.
...November 14, 2024
De use case Kamervragen is afgelopen week vastgelegd, dus zijn we weer naar de technische tekentafel gegaan om de huidige RAG-pipeline door te ontwikkelen tot een echt bruikbare applicatie.
Na gesprekken met JenV merkte we dat de grootste pijn zat in het zoeken van de juiste bronnen. Daarom gaat het retrieval gedeelte vrij uitgebreid zijn en bovendien interactief, zodat de eindgebruiker invloed heeft op welke bronnen er worden gebruikt uit de retrieval-stap voor het tekstvoorstel.
Bovendien is er de behoefte om als query in het systeem een hele Kamervraag in te voegen (dat betekent een inleiding plus alle subvragen). Hoe ga je deze hele Kamervragen verwerken tot iets wat logisch bruikbaar is voor de gebruiker en voor de LLM in de RAG-pipeline?
De eerste aanpak om dit te doen was proberen te matchen op basis van elke subvraag van een Kamervraag, gematcht met subvragen uit eerder beantwoorde Kamervragen. Per subvraag kan de eindgebruiker dan selecteren of dit logischerwijs past bij de gestelde vraag of niet. De vragen die de gebruiker als relevant acht, kunnen dan doorgezet worden naar de LLM. De LLM probeert dan deze context, aangevuld met gebruikerscontext (zoals een nieuwsbericht), over te zetten naar een template-suggestie voor beantwoording.
...November 12, 2024
Vorige week hebben we gezamenlijk met de collega’s van DPGenV (Directoraat-Generaal Politie en Veiligheidsregio’s) de use case vastgesteld. Dit was noodzakelijk, omdat de databehoefte nog niet helemaal duidelijk was. Dit heeft implicaties voor de technische doorontwikkeling van de tool. Er zijn een aantal belangrijke beslissingen gemaakt:
- De datascope is nu vastgesteld. De retriever put nu uit volledige Kamervragen met beantwoording tot en met eind 2023. Dit zijn Kamervragen van alle departementen en ministeries die binnen dit tijdsbestek vallen. Dit is belangrijk, omdat de gebruiker volledig overzicht krijgt in welke vragen er al zijn gesteld. De gebruiker krijgt hierbij drie opties voor hoever de data teruggaat: vanaf 2010, vanaf 2018 en vanaf 2021. Voor de gebruiker is dit fijn, omdat hij zo bijvoorbeeld onderscheid kan maken tussen verschillende ambtsperiodes. Voor ons is deze cut off ook interessant, omdat het ons in staat stelt te onderzoeken hoe precies de retriever is met datasets van verschillende groottes. Meer data betekent meer informatie, maar ook meer ruis.
- Er is vastgesteld dat de gebruiker een query gaat invoeren die bestaat uit een gehele Kamervraag (zonder beantwoording) met eventuele extra relevante informatie. Denk hierbij bijvoorbeeld aan keywords uit een nieuwsbericht. Dit kan extra semantiek toevoegen die de retriever kan gebruiken om relevante informatie op te halen. Vrijwel in elke Kamervraag wordt namelijk verwezen naar een nieuwsartikel, waar vervolgens veel subvragen op aansluiten.
- De retrieval stap en de generation stap zijn uit elkaar getrokken. Na de retrieval stap moet de gebruiker inschatten of de opgehaalde bronnen relevant zijn voor hetgeen wat de gebruiker zoekt. Ook kan de gebruiker nog extra informatie meegeven aan de generator, zoals keywords van nieuwsberichten. Een belangrijke voorwaarde is hiervoor wel dat deze extra bronnen/informatie uitsluitend meegegeven mogen worden aan het taalmodel als dat juridisch is toegestaan. Het lostrekken van deze stappen geeft de gebruiker meer controle over het resultaat.
- Er gaat vanuit de kant van JenV getest worden met 50 recente Kamervragen die niet in de dataset zitten die hierboven is beschreven (dus daterend van 2024). Dit zijn vragen waar DPGenV de primaire beantwoorder is. Er wordt getest in drie batches van respectievelijk 20, 15 en 15. JenV heeft hiervoor beoordelingscriteria opgesteld.
- Er zijn twee extra secondary actors toegevoegd aan de use case om externe validiteit van onze eigen tool te kunnen toetsen.
November 6, 2024
In de afgelopen jaren zijn binnen de Rijksoverheid diverse AI-projecten gestart, maar in de praktijk blijkt dat veel initiatieven moeilijk van de grond komen. Verschillende knelpunten belemmeren de voortgang en opschaling van AI-toepassingen.
Het Innovatieteam van SSC-ICT heeft tijdens het Learning Lion-project verschillende obstakels geïdentificeerd op het gebied van infrastructuur, wetgeving en documentatie. Deze uitdagingen zijn niet alleen van invloed op Learning Lion,
maar vormen ook bredere belemmeringen voor AI-ontwikkelingen buiten SSC-ICT. Hieronder volgt een overzicht van de knelpunten en mogelijke aanbevelingen om deze te overkomen.
...November 4, 2024
De Baseline Informatiebeveiliging Overheid (BIO) is het normenkader voor informatiebeveiliging binnen de Nederlandse overheid. Het is gebaseerd op internationale standaarden zoals de ISO 27001 en 27002 en biedt een gemeenschappelijke aanpak om de vertrouwelijkheid, integriteit en beschikbaarheid van informatie te waarborgen. Alle overheidsinstellingen in Nederland zijn verplicht de BIO te volgen, wat zorgt voor een uniforme en consistente aanpak van informatiebeveiliging.
BIO en Kunstmatige Intelligentie (AI)
#
Hoewel de BIO geen specifieke secties bevat over kunstmatige intelligentie (AI), kunnen de algemene richtlijnen en beveiligingsmaatregelen goed worden toegepast op AI projecten. AI modellen brengen unieke risico’s met zich mee op het gebied van data privacy, transparantie, en algoritmische integriteit. De BIO ondersteunt organisaties bij het identificeren en mitigeren van deze risico’s door middel van richtlijnen voor risicobeheer en gegevensbescherming.
...November 4, 2024
Kunstmatige intelligentie (AI) verandert in hoog tempo de manier waarop we werken. Binnen de Rijksoverheid zien we dat ambtenaren al volop experimenteren met tools zoals ChatGPT, vaak via hun privé-accounts. Hoewel dit een duidelijke behoefte aan AI-ondersteuning aantoont, brengt het ook aanzienlijke risico’s met zich mee. Het LearningLion-team heeft daarom een ambitieuze strategie ontwikkeld om AI op een veilige en effectieve manier binnen de Rijksoverheid te integreren.
Onze Visie voor de Toekomst
#
LearningLion streeft ernaar om in de toekomst dé drijvende kracht achter AI-innovatie binnen de Rijksoverheid te zijn. We willen een toekomst waarin elke ambtenaar toegang heeft tot veilige, gebruiksvriendelijke AI-tools die hun werk effectiever en efficiënter maken.
...November 4, 2024
Aanleiding
#
Op basis van de eerste experimenten en de schoongeveegde code zijn we begonnen om toe te werken naar minimale applicatie. Dit doen we op basis van twee sprints.
In sprint 1 ligt de focus op het opbouwen van de pipeline en het werkend krijgen van alle onderdelen. In de tweede sprint ligt de focus op de optimalisatie van de pipeline.
Doelstelling
#
Het doel van sprint 1 was om vanuit de opgeschoonde code deployments te creëren binnen het UbiOps-platform om zo inzicht te krijgen in de bottlenecks, zodat er effectief kan worden doorontwikkelt.
...October 22, 2024
Vanuit het bestuursdepartement van DGPenV (Directoraat-Generaal Politie en Veiligheidsregio’s), wat valt onder het ministerie van Justitie en Veiligheid (JenV), hebben wij een use case gekregen voor het beantwoorden van Kamervragen.
Deze use case is meerdere malen aangescherpt.
De eerste versie dateert van september 2024. Deze versie hebben wij onder andere na een gesprek met beleidsmedewerkers van DGPenV aangescherpt.
Het gesprek had als doel om het proces van de beantwoording van Kamervragen helder te krijgen en te begrijpen waar in het proces de tool eventueel gebruikt gaat worden.
...October 10, 2024
Wat betekent verantwoorde AI eigenlijk? Voor de overheid betekent dat:
- De overheid voldoet aan bestaande wet- en regelgeving;
- Voorafgaand aan het gebruik van AI per casus een risico-analyse wordt uitgevoerd. Dit zijn een Data Protection Impact Assessment (DPIA) en een algoritme impact assessment zoals een Impact Assessment Mensenrechten en Algoritmes (IAMA). Daarmee worden de risico’s en risicobeperkende maatregelen vastgesteld;
- De uitkomsten van de DPIA ter advies worden voorgelegd aan de Chief Information Officer (CIO) en de Functionaris Gegevensbescherming (FG).
De bovengenoemde punten zijn ook van toepassing bij het gebruiken of (door)ontwikkelen van een open source generatieve AI-toepassing.
...