Har vi ikke allerede lovregler for kunstig intelligens på helsefeltet?

I media kan man lese mye om hvor fint det er at vi nå får lovregler om kunstig intelligens, og hvor stort behov det er for dette. Nå vil vi etter sigende få menneskesentrisk og pålitelig kunstig intelligens, respekt for grunnleggende rettigheter, beskyttelse mot skadelige effekter, EU setter en standard for hele verden på KI-feltet og støtter innovasjon.

De nye reglene vil også regulere kunstig intelligens på helsefeltet. Men spørsmålene som enhver som har hatt noen som helst befatning med kunstig intelligens på helsefeltet vil stille seg er: Har vi ikke allerede lovregler for kunstig intelligens på helsefeltet? Trenger vi flere? Hvilke fordeler eller ulemper kan vi forvente oss med den nye KI-forordningen? Så la oss se ­nærmere på disse ­spørsmålene.

Har vi allerede regler for kunstig intelligens på helsefeltet?

Ja, vi har allerede regler for kunstig intelligens på helsefeltet. Faktisk ­veldig mange.

MDR, forordningen om medisinsk utstyr, gjelder for omsetning, tilgjengeliggjøring på markedet og ibruktaking av kunstig intelligens blant annet for diagnostisering, forebygging, overvåkning, prediksjon, prognostisering, ­behandling eller lindring av sykdom, samt kliniske utprøvinger av slik ­kunstig intelligens.

GDPR, altså personvernforordningen, gjelder for all behandling av personopplysninger, inkludert til KI-formål.

Og vi har også forordningen om in vitro medisinsk utstyr (IVDR), diskrimineringslovgivning, regler om taushetsplikt, og så videre, og så videre.

Så hvor kommer KI-forordningen inn?

KI-forordningen kommer ikke i stedet for noen av de allerede gjeldende reglene, den kommer i tillegg til dem. Det er spesifiser i KI-forordningen at for eks­empel GDPR i sin helhet gjelder i tillegg.

Det er gode nyheter for jurister, og dårlige nyheter for alle andre.

Det juridiske landskapet for ut­vikling av kunstig intelligens i helsesektoren blir nemlig svært komplisert og svært fragmentert, reglene spres på veldig mange rettslige instrumenter som hver seg er veldig omfattende. Det blir vanskelig å opparbeide seg god oversikt over reglene uten juridisk bistand.

Personlig tror jeg heller ikke at det er særlig nødvendig med KI-forordningen på helsefeltet. De fleste av ­reglene følger allerede av andre regelsett. Jeg er derfor bekymret for at det blir mer byråkrati, uten at vi ser store positive virkninger av den nye lov­givningen.

Hva hvis vi trår feil?

Grunnen til at alle husker at GDPR ble innført, er at overtredelsesgebyrene er så høye, så da begynte alle å mase om hvor viktig det er å overholde reglene, som strengt tatt er ganske like de tidlig­- ere personvernreglene. Overtredelse av GDPR kan gi gebyrer opptil 20 millioner euro, altså over 230 millioner norske kroner, eller enda mer hvis man er et selskap.

Overtredelse av den nye KI-forordningen kan gi enda høyere gebyrer, der opptil 35 millioner euro, altså over 400 millioner norske kroner, eller enda mer hvis man er et selskap.

Å nei, blir dette en ny GDPR?

Overtredelsesgebyrene er så høye at det er nødvendig for ethvert virksomhets styre å påse at reglene i KI-forordningen følges fordi overtredelse kan ramme virksomheten som helhet veldig hardt økonomisk og også gå utover andre oppgaver. På samme måte som GDPR, vil det derfor bli viktig for styrer og ledere å påse at all KI-utvikling og bruk skjer i henhold til alle reglene.

Sannsynligvis vil de som jobber med KI derfor merke en endring fra ledelses­- hold når KI-forordningen starter å gjelde, på samme måte som man gjorde da GDPR startet å gjelde.

KI-forordningen:

En risikobasert tilnærming KI-forordningen benytter begrepet «KI-system» og definerer det (fritt oversatt fra engelsk) som et maskin­basert system designet for å operere med varierende nivåer av autonomi, som kan utvise tilpasningsevne etter iverksettelsen og som, for eksplisitte eller implisitte formål, utleder, fra input det mottar, hvordan man genererer output som forutsigelser, innhold, anbefalinger eller beslutninger som kan påvirke fysiske eller virtuelle miljøer.

KI-forordningen benytter en risikobasert tilnærming. «Risiko» er definert som kombinasjonen av sannsynligheten for en forekomst av skade og alvorlighetsgraden av denne skaden. Jo høyere risiko, jo flere regler. Og reglene gjelder ikke kun for de som utvikler eller ­distribuerer KI, men også for de som bruker KI eller påvirkes av den.

Noen praksiser er forbudt. Det ­inkluderer for eksempel social scoring, ansiktsgjenkjenningdatabaser gjennom umålrettet skraping av ansiktsbilder fra internett eller CCTV-opptak, ­predikering av kriminalitet, følelsesgjenkjenning i arbeid eller utdannelse og manipulerende teknikker.

Det bemerkes imidlertid i KI-forordningen at forbudet mot manipulerende praksiser ikke rammer lovlige praksiser i en medisinsk kontekst, for eksempel psykologisk behandling av en psykisk sykdom eller fysisk rehabilitering, når disse praksisene utføres i samsvar med gjeldende lov og medisinske standarder, for eksempel uttrykkelig samtykke fra enkeltpersoner eller deres juridiske representanter.

KI på helsefeltet

Mye KI benyttet i helsevesenet vil kunne bli klassifisert som høyrisiko. For eksempel vil sikkerhetskomponenter i produkter, slik som KI-applikasjon i robotassistert kirurgi, anses som høy­risiko.

Forordningen gir selv ytterligere eksempler på høyrisiko KI på helse­feltet: KI-systemer som skal brukes til risikovurdering og prising av helse- og livsforsikring. KI-systemer som brukes til å evaluere og klassifisere nødanrop eller for å sende ut eller etablere prioritet ved utsendelse av førstehjelps­tjenester, så vel som av pasienttriage-­systemer for akutte helsetjenester.

For høyrisiko KI gjelder en rekke regler i KI-forordningen.

Forskning er utenfor KI-forordningens virkeområde

Alle vet at hvis opplysninger er anonyme, gjelder ikke GDPR. For å slippe unna GDPR, pleier derfor mange å prøve å holde seg til å behandle anonyme opplysninger i stedet for personopplysninger.

KI-forordningen gjelder ikke for AI-systemer eller AI-modeller, herunder deres output, som spesifikt er utviklet og ibruktatt utelukkende med henblikk på vitenskapelig forskning og utvikling.

Så hva kommer til å skje når KI-forordningens regler starter å gjelde? Min gjetning er at mange da vil hevde at de utelukkende driver med forskning for å slippe unna KI-forordningen. Da kommer de seg i samme slengen unna MDR.

Konsekvenser for helsesektoren

Hvis min spådom om at mange vil ønske å benytte seg av forskningsunntaket stemmer, betyr det enorme problemer for KI-translasjon i fremtiden. Man vil da ende opp med en rekke utmerkede KI-modeller som ikke kan brukes klinisk fordi de juridisk sett utelukkende var utviklet i forskningsøyemed.

Vi ser allerede tendenser til denne utviklingen fordi MDR alene innebærer en så stor regulatorisk byrde at mange ikke har råd til juridisk støtte til å få godkjennelse for klinisk bruk.

For å unngå at denne situasjonen eskalerer når KI-forordningen starter å gjelde, er det viktig at juridisk støtte ved institusjonene som utvikler eller bruker KI oppskaleres. Rutiner må etableres som ikke bare sikrer at reglene overholdes, men at det er enkelt å være innovativ og bringe pålitelig KI hele veien til klinikken. •