Systemy wysokiego ryzyka w ochronie zdrowia: jak klasyfikować, oceniać i wdrażać AI zgodnie z AI Act i MDR

Wdrażanie sztucznej inteligencji w ochronie zdrowia nie jest wyłącznie procesem technologicznym. To przede wszystkim decyzja regulacyjna i organizacyjna.

W przeciwieństwie do wielu innych branż, w medycynie każdy element technologiczny musi spełniać precyzyjnie określone normy bezpieczeństwa — a sztuczna inteligencja nie jest tu wyjątkiem. Co więcej, ze względu na swoje właściwości, takich jak zdolność adaptacji, uczenia się i generowania treści, AI wymaga bardziej zaawansowanego nadzoru niż tradycyjne oprogramowanie medyczne.

Dlaczego klasyfikacja systemów AI jest kluczowa?

Klasyfikacja systemu AI — określenie, czy jest on rozwiązaniem wysokiego ryzyka — jest fundamentem całego procesu wdrożeniowego. Od tej decyzji zależy, jakie obowiązki prawne musi spełnić producent, jakie zadania spoczywają na użytkowniku i jakie procedury musi wdrożyć organizacja, aby AI mogła być bezpiecznie używana w środowisku klinicznym. To pierwszy, najważniejszy moment każdego projektu AI w ochronie zdrowia.

Jak zdefiniować „system wysokiego ryzyka” w świetle AI Act?

AI Act wprowadza czteropoziomowy podział ryzyka, ale dla sektora zdrowia kluczowa jest tylko jedna kategoria — high-risk AI. To ona obejmuje zdecydowaną większość technologii wykorzystywanych w medycynie. Systemy wysokiego ryzyka to te, które mogą w sposób znaczący wpływać na zdrowie, życie lub prawa pacjenta, a więc wymagają szczególnej kontroli, dokumentacji i nadzoru.

Ustawodawca wyróżnił dwa kryteria klasyfikacji:

• Kryterium I: powiązanie z przepisami o wyrobach medycznych (MDR/IVDR)

AI staje się high-risk, jeśli jest produktem medycznym lub jego komponentem zgodnie z unijnym prawodawstwem harmonizacyjnym. Dotyczy to zarówno systemów, które samodzielnie stanowią wyrób medyczny (np. oprogramowanie do segmentacji guza), jak i takich, które wchodzą w skład wyrobu (np. moduł AI w tomografie komputerowym, algorytm w respiratorze).

• Kryterium II: obecność w Załączniku III do AI Act

Załącznik III zawiera listę zastosowań AI, które mogą naruszać bezpieczeństwo lub prawa człowieka. W ochronie zdrowia obejmuje to m.in. systemy wspierające decyzje kliniczne, narzędzia klasyfikujące pacjentów, systemy zarządzania zasobami klinicznymi czy technologie podejmujące decyzje mające wpływ na świadczenia zdrowotne.

W praktyce oznacza to, że niemal każda AI, która uczestniczy w procesie diagnostycznym lub terapeutycznym, jest systemem wysokiego ryzyka.

Co w praktyce oznacza wysoki poziom ryzyka?

System wysokiego ryzyka nie jest oceną „czy technologia jest niebezpieczna”, ale raczej „czy wymaga szczególnego nadzoru ze względu na możliwe konsekwencje błędu”. Nawet najbardziej zaawansowany i skuteczny model AI może w pewnych warunkach działać w sposób nieprzewidywalny. W ochronie zdrowia margines błędu jest niewielki — dlatego ocena ryzyka musi być rygorystyczna.

System high-risk to taki, w którym błąd algorytmu może prowadzić do poważnych konsekwencji klinicznych, organizacyjnych lub etycznych. Może to oznaczać np. nieprawidłową klasyfikację pacjenta, błędną rekomendację terapii, nieprecyzyjną analizę obrazu lub błędną predykcję ryzyka choroby.

Wysokie ryzyko wymaga więc działań, które zabezpieczą użytkownika i pacjenta przed nieprzewidzianymi skutkami działania algorytmu — zarówno na etapie projektowania, jak i podczas codziennego użytkowania.

MDR i AI Act – dwa systemy regulacyjne, które muszą współgrać

Producenci i użytkownicy systemów AI muszą poruszać się w dwóch równoległych reżimach prawnych: MDR (dotyczący wyrobów medycznych) oraz AI Act (dotyczący bezpieczeństwa sztucznej inteligencji). To połączenie bywa wyzwaniem, ale jest niezbędne, aby technologia była bezpieczna.

MDR określa wymagania dotyczące bezpieczeństwa i działania wyrobów medycznych, w tym oprogramowania. AI Act natomiast koncentruje się na zarządzaniu ryzykiem, przejrzystości, jakości danych i nadzorze ludzkim. Oba systemy muszą być stosowane równocześnie.

Dla producentów oznacza to obowiązek przygotowania:

• dokumentacji technicznej na poziomie wyrobu medycznego,
• dokumentacji dotyczącej danych, metryk i ryzyka zgodnie z AI Act,
• opisów działania algorytmów, które są zrozumiałe dla użytkownika,
• mechanizmów monitorowania działania AI po wprowadzeniu do obrotu.

Dla użytkowników oznacza to konieczność:

• zapewnienia zgodności użytkowania z instrukcją,
• prowadzenia nadzoru nad systemem,
• kontrolowania jakości danych wejściowych,
• zgłaszania incydentów i podejrzeń nieprawidłowego działania,
• szkolenia personelu.

AI, która jest jednocześnie oprogramowaniem medycznym i systemem wysokiego ryzyka, wymaga więc podwójnej odpowiedzialności — technologicznej i klinicznej.

Transparentność i przejrzystość jako fundament bezpiecznego wdrożenia

Jednym z najważniejszych elementów AI Act jest wymóg przejrzystości. Oznacza to, że system AI nie może być „czarną skrzynką”, której wyników nie da się wyjaśnić. Użytkownik musi rozumieć, na jakiej podstawie model dokonuje predykcji, jakie dane analizuje i jakie są jego ograniczenia.

Transparentność obejmuje:

• opis architektury modelu,
• wyjaśnienie sposobu działania algorytmu,
• informacje o danych użytych do trenowania,
• wskazanie możliwych błędów, uprzedzeń i ograniczeń,
• jasne instrukcje obsługi i reagowania na sytuacje nietypowe.

Wyjaśnialność jest szczególnie istotna w sytuacjach, gdy AI wspiera decyzję kliniczną. Lekarz, pielęgniarka lub inny użytkownik musi mieć możliwość zrozumienia, dlaczego model sugeruje takie, a nie inne rozwiązanie. Nie chodzi o pełne odtworzenie działania sieci neuronowej, ale o pragmatyczny poziom przejrzystości, który pozwala ocenić, czy rekomendacja jest wiarygodna.

Nadzór człowieka – krytyczny element bezpieczeństwa

Nadzór człowieka jest jednym z najczęściej niedocenianych, ale najważniejszych aspektów wdrożenia systemów high-risk. AI Act wymaga, aby każdy system wysokiego ryzyka działał pod kontrolą człowieka, który rozumie technologię i potrafi ingerować w jej działanie.

Nadzór obejmuje:

• możliwość przerwania działania systemu,
• ocenę poprawności wyników,
• rozpoznawanie błędów i nieprawidłowości,
• analizę ryzyk klinicznych i organizacyjnych.

Kluczowe jest to, że nadzorca musi dysponować odpowiednimi kompetencjami — nie może to być osoba przypadkowa. AI literacy, czyli zdolność rozumienia i oceny działania systemów AI, staje się w tym kontekście nie tyle rekomendacją, co obowiązkiem organizacyjnym.

W praktyce rola człowieka polega na tym, aby AI nie podejmowała decyzji autonomicznie, lecz wspierała proces decyzyjny. Ostateczna odpowiedzialność zawsze pozostaje po stronie człowieka.

Dane — serce każdego systemu wysokiego ryzyka

Jednym z najważniejszych wymogów AI Act jest jakość i reprezentatywność danych. Dane są fundamentem działania modeli — i to od ich jakości zależy, czy system będzie działał poprawnie.

W ochronie zdrowia dane są niejednorodne, złożone i często niekompletne. AI Act wymaga, aby dane treningowe były:

• adekwatne do zastosowania,
• reprezentatywne dla populacji,
• pozbawione nieuzasadnionych uprzedzeń,
• pozyskane zgodnie z prawem.

Producenci muszą udokumentować proces przygotowania danych, a użytkownicy — zapewnić jakość danych wejściowych. To oznacza konieczność wprowadzenia procesów data governance i budowy infrastruktury umożliwiającej kontrolę jakości danych.

W przeciwnym razie wyniki AI mogą wprowadzać błąd, wzmacniać nierówności lub działać nieprzewidywalnie.

Dokumentacja i audyt — bez nich nie ma bezpiecznej AI

AI Act nakłada obowiązek stworzenia rozbudowanej dokumentacji technicznej obejmującej działanie modelu, proces trenowania, dane, metryki, scenariusze ryzyka oraz mechanizmy kontroli jakości. Dokumentacja ma służyć audytorom, regulatorom oraz użytkownikom.

W ochronie zdrowia dokumentacja musi odpowiadać również wymaganiom MDR, co oznacza konieczność połączenia dwóch systemów jakości. W praktyce każda zmiana w algorytmie, aktualizacja modelu, zmiana danych lub rekalibracja mogą wymagać audytu lub ponownej oceny zgodności.

Dla użytkownika oznacza to, że nie można traktować AI jako statycznego narzędzia. Modele żyją, zmieniają się, uczą i aktualizują — dlatego wymagają regularnego nadzoru i oceny bezpieczeństwa.

Wyzwania praktyczne: co sprawia organizacjom największą trudność?

Sektor ochrony zdrowia stoi przed kilkoma kluczowymi wyzwaniami.
Po pierwsze — trudnością jest zrozumienie, które systemy AI faktycznie są high-risk. W praktyce większość technologii medycznych będzie należała do tej kategorii, ale nie wszystkie organizacje są tego świadome.

Po drugie — wiele placówek nie ma doświadczenia w czytaniu i analizowaniu dokumentacji producenta. Oznacza to, że będą musiały stworzyć nowe role oraz procedury odpowiedzialne za audyt technologiczny.

Po trzecie — najtrudniejszy może okazać się nadzór nad danymi wejściowymi, które często pochodzą z wielu systemów i są w różnym stanie jakościowym.

Wreszcie — problemem będzie odpowiednie przygotowanie personelu. AI literacy stanie się obowiązkową kompetencją kliniczną, a nie „dodatkiem”. Bez niej żadna technologia nie będzie działać bezpiecznie.

Systemy wysokiego ryzyka wymagają dojrzałych organizacji

Klasyfikacja i wdrażanie systemów wysokiego ryzyka to proces skomplikowany, ale konieczny. AI Act i MDR tworzą ramy, które mają chronić pacjentów, wspierać profesjonalistów i zwiększać bezpieczeństwo technologii. Jednak regulacje to tylko początek. Najważniejsze jest to, jak organizacje zrozumieją swoją rolę w tym systemie.

System high-risk to nie tylko wymagania dla producenta, ale także odpowiedzialność użytkownika. To konieczność stworzenia kultury opartej na przejrzystości, nadzorze, jakości danych i kompetencjach personelu. W tej nowej rzeczywistości AI staje się nie tyle narzędziem, co partnerem w opiece nad pacjentem — partnerem, który wymaga odpowiedniej troski, wiedzy i wsparcia.

W kolejnym artykule skupimy się na kluczowym elemencie tej układanki: kompetencjach AI literacy i ich znaczeniu dla bezpieczeństwa, odpowiedzialności i efektywności wdrożeń w ochronie zdrowia.