November 20, 2024
Omdat wij het als team belangrijk vinden om open te werken en alles te delen rondom ons proces van onze experimenten hebben wij het communicatieteam betrokken. Samen zijn we bezig met het opstellen van een communicatiestrategie. We hebben immers deze website, maar daar zit nog geen heldere strategie achter. We willen graag dat mensen bij ons onderzoek aanhaken en bijdragen door middel van bijvoorbeeld een dialoog.
Om de strategie vorm te geven hebben we eerst een SWOT-analyse (Strenght, Weaknesses, Opportunities en Threads) gedaan. Daar kwamen wat punten uit die ons houvast geven in wie we zijn en wat onze visie is.
...November 19, 2024
Vandaag hebben we gesproken met het AI-Validatieteam. Zij werken aan verschillende projecten om meer inzicht te verkrijgen in algoritmes en hun gedragingen (transparantie). Ze willen meer grip krijgen op algoritmes die ingezet worden door overheden.
Het benchmarken van LLM’s
#
Eén van de projecten waar ze zich mee bezig hebben gehouden is het benchmarken van taalmodellen (LLM’s).
LLM’s kunnen worden ingezet voor verschillende taken om het reguliere werk te vergemakkelijken. Maar, er zitten ook aanzienlijke risico’s aan verbonden. Het is niet gegarandeerd dat de output van een LLM altijd juist is. Bovendien kan een LLM bias vertonen.
...November 12, 2024
Vorige week hebben we gezamenlijk met de collega’s van DPGenV (Directoraat-Generaal Politie en Veiligheidsregio’s) de use case vastgesteld. Dit was noodzakelijk, omdat de databehoefte nog niet helemaal duidelijk was. Dit heeft implicaties voor de technische doorontwikkeling van de tool. Er zijn een aantal belangrijke beslissingen gemaakt:
- De datascope is nu vastgesteld. De retriever put nu uit volledige Kamervragen met beantwoording tot en met eind 2023. Dit zijn Kamervragen van alle departementen en ministeries die binnen dit tijdsbestek vallen. Dit is belangrijk, omdat de gebruiker volledig overzicht krijgt in welke vragen er al zijn gesteld. De gebruiker krijgt hierbij drie opties voor hoever de data teruggaat: vanaf 2010, vanaf 2018 en vanaf 2021. Voor de gebruiker is dit fijn, omdat hij zo bijvoorbeeld onderscheid kan maken tussen verschillende ambtsperiodes. Voor ons is deze cut off ook interessant, omdat het ons in staat stelt te onderzoeken hoe precies de retriever is met datasets van verschillende groottes. Meer data betekent meer informatie, maar ook meer ruis.
- Er is vastgesteld dat de gebruiker een query gaat invoeren die bestaat uit een gehele Kamervraag (zonder beantwoording) met eventuele extra relevante informatie. Denk hierbij bijvoorbeeld aan keywords uit een nieuwsbericht. Dit kan extra semantiek toevoegen die de retriever kan gebruiken om relevante informatie op te halen. Vrijwel in elke Kamervraag wordt namelijk verwezen naar een nieuwsartikel, waar vervolgens veel subvragen op aansluiten.
- De retrieval stap en de generation stap zijn uit elkaar getrokken. Na de retrieval stap moet de gebruiker inschatten of de opgehaalde bronnen relevant zijn voor hetgeen wat de gebruiker zoekt. Ook kan de gebruiker nog extra informatie meegeven aan de generator, zoals keywords van nieuwsberichten. Een belangrijke voorwaarde is hiervoor wel dat deze extra bronnen/informatie uitsluitend meegegeven mogen worden aan het taalmodel als dat juridisch is toegestaan. Het lostrekken van deze stappen geeft de gebruiker meer controle over het resultaat.
- Er gaat vanuit de kant van JenV getest worden met 50 recente Kamervragen die niet in de dataset zitten die hierboven is beschreven (dus daterend van 2024). Dit zijn vragen waar DPGenV de primaire beantwoorder is. Er wordt getest in drie batches van respectievelijk 20, 15 en 15. JenV heeft hiervoor beoordelingscriteria opgesteld.
- Er zijn twee extra secondary actors toegevoegd aan de use case om externe validiteit van onze eigen tool te kunnen toetsen.
October 22, 2024
Vanuit het bestuursdepartement van DGPenV (Directoraat-Generaal Politie en Veiligheidsregio’s), wat valt onder het ministerie van Justitie en Veiligheid (JenV), hebben wij een use case gekregen voor het beantwoorden van Kamervragen.
Deze use case is meerdere malen aangescherpt.
De eerste versie dateert van september 2024. Deze versie hebben wij onder andere na een gesprek met beleidsmedewerkers van DGPenV aangescherpt.
Het gesprek had als doel om het proces van de beantwoording van Kamervragen helder te krijgen en te begrijpen waar in het proces de tool eventueel gebruikt gaat worden.
...October 10, 2024
Wat betekent verantwoorde AI eigenlijk? Voor de overheid betekent dat:
- De overheid voldoet aan bestaande wet- en regelgeving;
- Voorafgaand aan het gebruik van AI per casus een risico-analyse wordt uitgevoerd. Dit zijn een Data Protection Impact Assessment (DPIA) en een algoritme impact assessment zoals een Impact Assessment Mensenrechten en Algoritmes (IAMA). Daarmee worden de risico’s en risicobeperkende maatregelen vastgesteld;
- De uitkomsten van de DPIA ter advies worden voorgelegd aan de Chief Information Officer (CIO) en de Functionaris Gegevensbescherming (FG).
De bovengenoemde punten zijn ook van toepassing bij het gebruiken of (door)ontwikkelen van een open source generatieve AI-toepassing.
...October 10, 2024
SSC-ICT is een van de grootste dienstverleners voor de overheid. Het is daarom logisch voor SSC-ICT om onderzoek te doen naar een mogelijke dienstverlening op het gebied van generatieve AI aan de hand van initiatieven zoals LearningLion. Maar wat voor visie heeft de overheid zelf eigenlijk op het gebied van generatieve AI?
Generatieve AI is volop in ontwikkeling. De overheid heeft een belangrijke verantwoordelijkheid als het gaat om het in de juiste banen leiden van deze ontwikkeling en heeft daarom op 1 januari 2024 een visie uitgebracht op deze technologie. Hierin staat dat de overheid actief wilt bijdragen aan een veilige en rechtvaardige ontwikkeling en gebruik van generatieve AI. Generatieve AI moet in dienst staat van het vergroten van het menselijk welzijn en autonomie, duurzaamheid, welvaart, rechtvaardigheid en veiligheid. Om dit te realiseren moet er worden ingezet op verantwoorde en open toepassingen van generatieve AI. Ook heeft het kabinet de ambitie om een sterk AI-ecosysteem in Nederland en de EU te realiseren, waarin volop geïnnoveerd kan worden met verantwoorde generatieve AI. Tot slot wil het kabinet randvoorwaarden creëren voor de verantwoordelijke ontwikkeling en het gebruik van generatieve AI.
...De Archiefwet
#
De belangrijkste bepaling van de archiefwet is dat overheden hun informatie in goede, geordende en toegankelijke staat moeten brengen en bewaren. De informatie moet dus makkelijk te vinden en te raadplegen zijn. Ook moeten overheden zorgen voor de vernietiging van informatie die daarvoor in aanmerking komt. Op basis van informatie moet gereconstrueerd kunnen worden hoe besluiten, ook in de context van algoritmes en AI, tot stand zijn gekomen. Informatie over en van algoritmes en AI moet daarom ook bewaard en vernietigd worden.
...Het Algoritmeregister
#
“In het Algoritmeregister van de overheid publiceren Nederlandse overheidsorganisaties informatie over algoritmes die zij gebruiken in hun werk. Het register focust op >impactvolle algoritmes (waaronder hoog risico AI-systemen) en geeft de bezoeker inzicht in hoe deze algoritmes werken.”
Website van het Algoritmeregister
Het Algoritmeregister geeft openheid over algoritmes en hun toepassing, zodat burgers, organisaties en media dit kritisch kan volgen en controleren of de wetten en regels gevolgd worden. Het helpt algoritmes vindbaar te maken, beter uit te leggen en hun toepassing en impact begrijpelijk te maken. De Algoritmetoezichthouder (de Autoriteit Persoonsgegevens) coördineert de controle op algoritmes: voldoen de algoritmes van de overheid aan alle regels die daarvoor gelden?
...