Afgelopen december verscheen de Leidraad voor kwalitatieve diagnostische en prognostische toepassingen van AI in de zorg. Dit document beschrijft wat het werkveld ziet als goed professioneel handelen bij het ontwikkelen, toetsen en implementeren van (predictieve) AI-algoritmen in de gezondheidszorg. Dr. Ilse Kant (Leids Universitair Medisch Centrum, Leiden) en ir. Ylja Remmits (KPMG), beiden betrokken bij het tot stand komen van de leidraad, geven uitleg.
De toepassing van artificiële intelligentie (AI) in de zorg neemt in rap tempo toe. Bijvoorbeeld de ontwikkeling van tal van beslismodellen die op grond van patiëntkenmerken de aanwezigheid of het beloop van een bepaalde ziekte kunnen voorspellen. “Het inzetten van algoritmen op basis van AI kan processen in de zorg versnellen en zorgverleners ondersteunen bij hun werk. Maar dan moet je er op kunnen vertrouwen dat het algoritme dat je in je organisatie implementeert, kwalitatief hoogstaand en transparant is”, vertelt Ilse Kant. Zij is verbonden aan Clinical AI Implementation and Research Lab (CAIRELab) van het Leids Universitair Medisch Centrum en medeauteur van de Leidraad voor kwalitatieve diagnostische en prognostische toepassingen van AI in de zorg. “Eigenlijk net zoals je er als zorgverlener van op aan moet kunnen dat de medicijnen die je een patiënt voorschrijft en de medische hulpmiddelen die je gebruikt veilig en effectief zijn.”
Houvast bieden
Maar waar er voor het op de markt brengen van medicijnen en medische hulpmiddelen in de afgelopen decennia tal van regels zijn ontworpen en er instanties zijn die zich buigen over het naleven daarvan, bestaan er ten aanzien van het ontwikkelen en implementeren van AI-algoritmen nog weinig richtlijnen voor de kwaliteit. Om hier verandering in te brengen, gaf het ministerie van VWS binnen het programma Waardevolle AI voor de gezondheidszorg in 2020 opdracht een literatuurstudie naar kwaliteitsnormen voor AI-algoritmen uit te voeren. Dit mondde uit in de komst van een actieteam dat met hulp van het ministerie van VWS een ‘veldnorm’ is gaan ontwikkelen.
Kant: “De criteria en randvoorwaarden die deze veldnorm, inmiddels omgedoopt tot leidraad, definieert, moeten er aan bijdragen dat ontwikkelaars van AI-algoritmen weten wat er van hen verwacht wordt op het gebied van kwaliteit en transparantie. Anderzijds bieden de geformuleerde criteria en randvoorwaarden de inkopers en gebruikers houvast bij de aanschaf en het gebruik van een AI-algoritme.”
“De leidraad definieert namelijk wat volgens het veld goed en professioneel handelen inhoudt bij het ontwerpen en implementeren van AI-algoritmen voor de zorg”, vult Ylja Remmits aan. Remmits was vanuit KPMG betrokken bij het coördineren en organiseren van het proces dat leidde tot de totstandkoming van de leidraad, naast haar inhoudelijke inbreng over de algemene kwaliteitsaspecten van AI. “Door na te gaan of de ontwikkelaar van een AI-algoritme alle stappen heeft doorlopen die de leidraad beschrijft en heeft voldaan aan de eisen die bij elke stap zijn geformuleerd, kunnen inkopers en gebruikers van het AI-algoritme inzicht krijgen in de kwaliteit van het algoritme.”
Multidisciplinair team
De in de leidraad beschreven criteria en randvoorwaarden zijn geformuleerd door een scala aan experts uit het veld. “Op basis van literatuuronderzoek zijn er zes werkgroepen gemaakt, één voor elke fase in de ontwikkeling en implementatie van een AI-algoritme”, schetst Kant de gang van zaken. “Via een oproep is voor elke werkgroep een multidisciplinair team van experts uit het veld gerekruteerd om eisen en aanbevelingen voor de betreffende fase te formuleren. Dat varieerde van IT-ontwikkelaars, datamanagers en statistici tot privacydeskundigen, epidemiologen en zorgverleners.”
Remmits: “In de reviewronde hierna heeft een vergelijkbare brede groep experts de aanbevelingen van commentaar voorzien. En uiteindelijk hebben de Patiëntenfederatie Nederland en de Inspectie Gezondheidszorg en Jeugd feedback op de leidraad gegeven. In totaal hebben meer dan zeventig mensen een inhoudelijke bijdrage geleverd, variërend van review tot auteurschap. Door het veld zo breed te betrekken bij het tot stand komen van de leidraad, hopen we dat de uiteindelijke eisen en aanbevelingen in de praktijk breed geaccepteerd worden.”
Formeel heeft de leidraad overigens alleen betrekking op de ontwikkeling en implementatie van predictieve algoritmen. Kant: “AI in de zorg is een heel breed onderwerp. Er is gekozen de focus nu eerst te leggen op diagnostische, prognostische en predictieve algoritmen. Oftewel algoritmen die de zorgverlener helpen om voor een individu de kans op een ziekte, het beloop van een ziekte of de uitkomsten bij een bepaalde behandeling te voorspellen op basis van een bepaald aantal patiëntkenmerken. Dat is trouwens op zich al een heel breed terrein. Een keuzehulp of beslishulp, bijvoorbeeld, valt daar ook onder.” “In feite is een keuzehulp immers ook een predictiemodel”, vult Remmits aan. “Het maakt predicties voor de uitkomsten van verschillende behandelingen en laat zien tot welke gezondheidsuitkomsten die leiden. Op grond van die uitkomsten kunnen zorgverlener en patiënt vervolgens een keuze maken.”
Eisen en aanbevelingen
Dan de inhoud van de leidraad. Zoals gezegd onderscheidt de leidraad zes fasen in de ontwikkeling en implementatie van een predictief AI-algoritme. Fase 1 betreft het verzamelen en beheren van data, fase 2 betreft de ontwikkeling van het voorspellende algoritme en fase 3 gaat over het valideren ervan. Fase 4 gaat in op de ontwikkeling van de benodigde software, fase 5 over de toetsing van de toegevoegde waarde van het algoritme in de medische praktijk, en fase 6, ten slotte, heeft betrekking op de implementatie van het algoritme in de dagelijkse praktijk, inclusief de daarmee verbonden educatie.
“Voor elke fase definieert de leidraad een aantal eisen en aanbevelingen”, vertelt Remmits. “Ofschoon de leidraad momenteel geen juridische status heeft, vinden de opstellers ervan dat bij de ontwikkeling van een AI-algoritme op zijn minst aan deze eisen voldaan moet zijn. Voor de aanbevelingen geldt dat hieraan bij voorkeur ook voldaan moet zijn, maar dat er technische of praktische omstandigheden kunnen zijn waardoor dit soms niet mogelijk is. Een voorbeeld van een eis in fase 2 is dat de ontwikkelaar van het algoritme duidelijk moet definiëren en vastleggen wat het doel ervan is. Oftewel, in welke klinische context en door wie het gebruikt zal worden, op welk medisch proces het geacht wordt invloed uit te oefenen en op welke momenten in het zorgproces er gebruik van zal worden gemaakt.”
Kant: “En een sterke aanbeveling bij die eis is om bij het opstellen van hierboven genoemde definities over het gebruik van het algoritme in de dagelijkse klinische praktijk een zo breed mogelijke groep stakeholders, waaronder de gebruikers en patiënten, te betrekken. Een eis in fase 6 is bijvoorbeeld dat de fabrikant na implementatie van een nieuw AI-algoritme de uitkomsten in de praktijk moet monitoren op mogelijke fouten in het algoritme zelf, fouten in de bijbehorende software, foutief gebruik en onverwachte neveneffecten.”
Conformeren
Remmits noemde het al, de leidraad heeft (momenteel) geen juridisch status. “De eisen en aanbevelingen zijn voortgekomen uit het veld. Het is zogezegd een weerspiegeling van de better practices op dit moment. Aangezien het veld zelf behoefte had aan een leidraad, gaan we ervan uit dat het veld de eisen en aanbevelingen in de leidraad ziet als een standaard waaraan zo goed mogelijk voldaan dient te worden. Ontwikkelaars kunnen de leidraad gebruiken om AI-algoritmen te ontwikkelen die voldoen aan de standaard die het veld heeft gedefinieerd. Omgekeerd weten inkopers en gebruikers nu waar ze op moeten letten en welke vragen ze aan de ontwikkelaar moeten stellen. Bijvoorbeeld ten aanzien van de kwaliteit van de interne en externe validatie. Of ten aanzien van de te verwachten gezondheidsuitkomsten door het gebruik van het AI-algoritme. Door vast te houden aan de eisen die de leidraad stelt, kunnen de inkopers en gebruikers in de praktijk de ontwikkelaars dwingen zich bij de ontwikkeling van nieuwe algoritmen aan die eisen te conformeren. En het is zeker niet ondenkbaar dat toezichthouders als de Inspectie op termijn de leidraad als kwaliteitsnorm voor AI-algoritmen overnemen.”
Buitenlandse algoritmen
Uiteraard vindt de ontwikkeling van AI-algoritmen voor de zorg niet alleen plaats in Nederland. Ook buiten de landsgrenzen is dit een hot item. Kant: “Deze leidraad is opgesteld door een breed scala aan Nederlandse partijen en is primair bedoeld voor gebruik in Nederland. Maar je kunt als je een buitenlands product wilt aanschaffen dat product en de ontwikkeling ervan natuurlijk ook eerst langs de meetlat van de leidraad leggen. Waarbij je vooral ook aandacht moet besteden aan de representativiteit van de data die gebruikt zijn bij de validatie van het algoritme.”
“Daarbij sluit de leidraad op tal van punten niet alleen aan op Nederlandse wetgeving, maar ook op Europese wetgeving”, merkt Remmits op. “En ook voor buitenlandse partijen is de leidraad interessant, want momenteel is dit het enige document ter wereld dat normen heeft opgesteld waaraan AI-algoritmen in de zorg idealiter voldoen. Bovendien zijn de eisen en aanbevelingen die de leidraad formuleert niet exclusief toepasbaar of alleen zinvol voor de Nederlandse situatie. Goed professioneel handelen is immers niet gebonden aan landsgrenzen en de leidraad is mede gebaseerd op internationale literatuur. Omdat we geloven dat de basisbeginselen van de leidraad ook voor andere landen waardevol kunnen zijn, hebben we de leidraad ook in het Engels uitgebracht.”
Voor meer informatie zie www.leidraad-ai.nl
Dit artikel is het tweede in een serie artikelen over kunstmatige intelligentie (AI) en oncologie. Het volgende artikel zal ingaan op de rol van AI bij longkankerscreening.
Dr. Marten Dooper, wetenschapsjournalist
Oncologie Up-to-date 2022 vol 13 nummer 2
DEEL DIT ARTIKEL:
