10 dilemma’s bij AI in de zorg

Hoe zorgen we voor vertrouwenswaardige artificiële intelligentie (AI) in de langdurige zorg? In het laatste artikel uit de reeks over de toenemende rol van data in de zorg en de maatschappij deelt Vilans-onderzoeker Dirk Lukkien 10 dilemma’s.

In dit sluitstuk van de reeks artikelen (8) over datagedreven zorg gaat Lukkien dieper in op uitdagingen en dilemma’s die gepaard gaan met de opmars van AI. Lukkien: ‘Kunstmatige intelligentie biedt kansen voor de langdurige zorg en belooft chronische problemen aan te pakken, bijvoorbeeld door bij te dragen aan het beter herkennen en voorspellen van de zorgvraag van cliënten en te ondersteunen bij de besluitvorming door zorgprofessionals over de juiste zorg op het juiste moment. In de vorige artikelen hebben we laten zien dat dit niet alleen toekomstmuziek is. In het zevende artikel beschreven we verschillende soorten toepassingen van AI die wij zien in de langdurige zorg in Nederland.'

1. Garbage in, garbage out 

AI-systemen kunnen fouten maken vanwege bijvoorbeeld onvoldoende data, gekleurde data, foutieve programmering en onduidelijke doelen. Vraagstukken in de echte wereld kunnen nu eenmaal niet (altijd) eenvoudig worden gereduceerd tot algoritmische formules. We geven een aantal voorbeelden waarbij AI-toepassingen de mist in gingen door gebrekkige input.

2. AI kan vooringenomenheid versterken, maar ook voorkomen

AI kan vooroordelen of vooringenomenheid versterken omdat de algoritmen worden getraind op basis van historische data. Algoritmen kunnen dit niet oplossen, want dit is iets wat in de echte wereld - in menselijke beslissingen - moet worden opgelost. Algoritmen kunnen echter wel een helpende hand bieden door complexe menselijke beslissingen of beslissingen die op grote schaal worden gemaakt en niet met het ‘blote oog’ te observeren zijn transparanter te maken. Zowel menselijke als AI-gedreven beslissingen kunnen vervolgens in een meer verantwoorde richting worden gestuurd.

3. Kunnen algoritmen wel kritisch onder de loep worden genomen?

Om een positieve impact van AI te bevorderen en een negatieve impact te voorkomen, is een belangrijke voorwaarde dat de werking en effecten van algoritmen objectief kunnen worden onderzocht. Zulk onderzoek is nu nog zeldzaam, onder andere door geheimhouding vanuit ontwikkelaars en ook vanwege de complexiteit van zelflerende algoritmen. Naast onderzoek is ook een continu publiek debat over wat ‘eerlijke’ beslissingen zijn van belang. Eerlijkheid kan namelijk verschillende dingen betekenen in verschillende contexten en voor verschillende belanghebbenden. Tegelijkertijd zullen we moeten erkennen dat niet alle (lange termijn) effecten van AI vooraf inzichtelijk kunnen worden gemaakt en dat problemen soms pas duidelijk worden bij het gebruik van AI.

4. Algoritmen kunnen voorspellen, maar ook manipuleren

Algoritmen voorspellen niet alleen ons gedrag, maar kunnen het ook vormen. Zowel gebruikers als ontwikkelaars van AI-gedreven zorgtoepassingen dragen een verantwoordelijkheid om te voorkomen dat AI menselijk gedrag en beslissingen op een negatieve manier beïnvloedt; gebruikers door kritisch te kijken naar de suggesties en uitkomsten van AI en ontwikkelaars door gebruikers hier ook toe te stimuleren via de interface van hun toepassingen.

5. Het black box-dilemma

Een grote uitdaging bij de inzet van AI ligt bij de mate van complexiteit die ontstaat door gebruik van complexe methoden zoals deep learning en meerdere algoritmen die elkaar beïnvloeden. Door de complexiteit en beperkte interpreteerbaarheid en verklaarbaarheid van resultaten spreekt men bij AI vaak over een black box. Maar hoe ga je om met een black box, oftewel met een antwoord waarvan het onduidelijk is waarom dat het antwoord is? 

6. Voldoe je wel aan de norm?

Bij het toenemend gebruik van AI, bijvoorbeeld in technologieën voor monitoring van de gezondheid, het welzijn en de veiligheid van cliënten, is het aannemelijk dat men vaker normen af gaat spreken voor bepaalde gemeten waarden. Dit gebeurt niet alleen bij data-analyse-toepassingen door zorgorganisaties maar ook bij gezonde burgers die bijvoorbeeld gebruik maken van lifestyle apps en op het niveau van overheden die willen sturen op het (on)gezonde gedrag van mensen. Met de digitalisering van ‘gezondheid’ wordt de 'biomacht' van partijen zoals de overheid steeds groter. Hierbij is het risico dat mensen worden buitengesloten of zich buitengesloten voelen wanneer ze niet aan de ‘norm’ voldoen.

7. Computer says no

Het risico bestaat dat er in de zorg en maatschappij steeds meer een houding ontstaat waarbij organisaties en mensen volledig vertrouwen op de uitkomsten van bepaalde AI gedreven toepassingen, zonder deze uitkomsten te kunnen doorgronden of uitleggen aan degene waarop deze toepassingen van invloed zijn. Het is dan moeilijk voor mensen om tegen de beslissing in te gaan. Het is daarom essentieel om te voorkomen dat men te veel af gaat op de kracht van AI en om te waarborgen dat mensen verantwoordelijk blijven en de regie blijven pakken bij belangrijke beslissingen.

8. Een balans tussen vertrouwen in AI én menselijke controle

AI biedt mogelijke oplossingen voor grote uitdagingen in de zorg en maatschappij. Om het vertrouwen in AI te versterken en behouden, hoeven de beslissingen en uitkomsten van AI niet altijd perfect te zijn, maar zouden de uitkomsten van AI vooral merkbaar en aantoonbaar vergelijkbaar of beter moeten zijn dan puur menselijke beslissingen en handelingen. Bovendien zullen algoritmen in de loop van de tijd verbeteren en waarschijnlijk meer autoriteit krijgen omdat we uit ervaring leren dat we bij steeds meer problemen op ze kunnen vertrouwen. We moeten hierbij wel een balans vinden tussen vertrouwen in AI en behoud van menselijke vaardigheden en aandacht die nodig zijn bij bepaalde beslissingen en handelingen.

9. Spanningsveld tussen privacy en big data

Er is een continu spanningsveld tussen het delen van data ten behoeve van verbetering van de zorg en het niet delen van data ten behoeve van iemands persoonlijke privacy. Persoonlijke en gemeenschappelijke belangen kunnen hier tegenover elkaar staan en hierbij is er niet altijd een goed of fout. Goede zorg en privacy kunnen echter beiden recht aan worden gedaan met de inzet van (big) data en AI.

10. Wie ontwikkelt en beheert de AI?

Op internationaal niveau zien we een concentratie van macht in de ontwikkeling en het beheer van AI; de expertise en financiële middelen die nodig zijn om goede digitale oplossingen te ontwikkelen bevinden zich grotendeels in de private sector en netwerkeffecten versterken dit. Het is dan ook geen toeval dat het voor Nederlandse zorgorganisaties en ontwikkelpartijen relatief moeilijk is om (top)talent aan te trekken voor de ontwikkeling van AI. Als bepaalde partijen een te grote machtspositie - of zelfs een monopolie - opbouwen, kan dat leiden tot een gebrek aan autonomie en keuzevrijheid van gebruikers en is het risico dat commerciële belangen (vaker) boven publieke of individuele belangen gaan. We pleiten er daarom voor dat organisaties in de Nederlandse langdurige zorg vaker hun krachten bundelen, onder meer om na te denken over zinvolle en wenselijke toepassingen van AI en samen te werken bij de realisatie van deze oplossingen.