Systemy AI wysokiego ryzyka (high-risk AI) w rozumieniu AI Act. Co trzeba wiedzieć?

Wraz z rosnącą rolą AI pojawia się zasadnicze pytanie: jak pogodzić innowacyjność z ochroną praw człowieka i bezpieczeństwa osób, których te systemy dotyczą? Kto ponosi odpowiedzialność, gdy decyzja wsparta przez algorytm okazuje się błędna? I gdzie przebiega granica między pomocą technologiczną a automatyzacją, która wymaga kontroli? To tylko jedne z wielu pytań związanych z dynamicznym rozwojem technologicznym, a wymagających koniecznych i przekonujących odpowiedzi.

Na te wątpliwości odpowiedziała Unia Europejska, przyjmując AI Act (akt w sprawie sztucznej inteligencji) – pierwszą w skali świata tak kompleksową regulację prawną ustanawiającą zharmonizowane przepisy dotyczące sztucznej inteligencji – regulujące sposób projektowania, udostępniania, wprowadzania do obrotu, oddawania do użytku i stosowania systemów AI na obszarze UE. Akt został przyjęty 13 czerwca 2024 r. i wszedł w życie już 1 sierpnia tego samego roku. Choć wiele obowiązków jest wprowadzanych stopniowo (główna część AI Act będzie stosowana od 2 sierpnia 2026 r.), kierunek regulacji jest już jasno wyznaczony: AI ma być nie tylko skuteczna, ale także bezpieczna i transparentna (sztuczna inteligencja godna zaufania). Co jeszcze ważne, zdecydowana większość postanowień AI Act dotyczy właśnie systemów wysokiego ryzyka; stąd, szczególna potrzeba przyjrzenia się regulacjom przede wszystkim im poświęconym.

Podejście oparte na ryzyku

Kluczowym elementem AI Act jest tzw. podejście oparte na analizie ryzyka (risk-based approach). Oznacza ono, że zakres obowiązków prawnych zależy nie od technologii samej w sobie, lecz od potencjalnego wpływu systemu AI na ludzi – ich zdrowie, bezpieczeństwo oraz prawa podstawowe. Ustawodawca unijny przyjął, że im wyższe ryzyko stwarza dany system AI, tym większym wymaganiom oraz regulacjom prawnym powinien podlegać, przy czym te systemy, które generują zagrożenia nieakceptowalne z punktu widzenia europejskiej kultury prawnej, uznane zostają za zakazane. Z kolei jeżeli konkretne narzędzie AI nie może wywołać praktycznie żadnych istotnych negatywnych konsekwencji, wówczas w zasadzie AI Act nie znajduje w jego przypadku zastosowania.

Podejście oparte na ryzyku ma, z jednej strony, chronić najważniejsze wartości chronione prawnie, a z drugiej strony, nie hamować rozwoju technologii i nie krępować obrotu rynkowego w obszarach uznanych za pożądane.

Na tej podstawie AI Act wyróżnia cztery główne kategorie systemów AI:

• systemy zakazane – rozwiązania uznane za niedopuszczalne, ponieważ stwarzają poważne zagrożenie dla praw lub bezpieczeństwa osób, np. niektóre formy masowego nadzoru czy manipulacji
• systemy wysokiego ryzyka – systemy, których zastosowanie może prowadzić do istotnych skutków dla jednostek, ale które mogą być legalnie stosowane pod warunkiem spełnienia rygorystycznych wymogów
• systemy ograniczonego ryzyka – rozwiązania objęte głównie obowiązkami informacyjnymi, np. w zakresie przejrzystości działania
• systemy niskiego ryzyka – systemy, które nie stwarzają istotnych zagrożeń i nie podlegają szczegółowym regulacjom

Co oznacza „wysokie ryzyko” w praktyce?

Systemy AI wysokiego ryzyka to nie te, które „działają źle”, lecz te, których błędy mogą mieć poważne konsekwencje dla praw podstawowych. Chodzi o sytuacje, w których działanie lub rekomendacja systemu wpływa na kluczowe aspekty życia człowieka zdefiniowane i chronione przez Kartę praw podstawowych UE.

Przykłady są bardzo konkretne: niesprawiedliwe odrzucenie kandydatury w procesie rekrutacyjnym, błędna diagnoza medyczna, nieuzasadniona odmowa udzielenia kredytu czy przyznania świadczenia socjalnego, naruszenie prywatności, inwigilacja, bezpodstawne podejrzenie popełnienia przestępstwa i wiele innych. W takich przypadkach nawet pojedynczy błąd systemu może oznaczać realną szkodę – finansową, zdrowotną lub społeczną.

Z tego powodu zgodność z AI Act w odniesieniu do systemów wysokiego ryzyka nie jest wyłącznie formalnością, ale ważnym elementem w systemie ochrony praw człowieka. To zestaw precyzyjnie określonych obowiązków – od zarządzania ryzykiem, przez dokumentację i nadzór, po wymogi dotyczące jakości danych – które to obowiązki muszą zostać spełnione zanim system zostanie dopuszczony do użytku i będzie mógł legalnie funkcjonować w obrocie na rynku UE.

Podmioty wdrażające i stosujące systemy AI nie powinny traktować spełniania tych obowiązków jedynie jako koniecznego „kosztu” czy balastu w prowadzeniu działalności biznesowej, ale jako dobrą inwestycję w budowanie marki firmy odpowiedzialnej, rzetelnej oraz dbającej o prawa i interesy swoich klientów.

Zgodność z AI Act i ogólnie z zasadami etyki sztucznej inteligencji godnej zaufania należy traktować jako pozytywny wyróżnik marki na rynku, podobnie jak ma to już miejsce na przykład w przypadku podkreślania ochrony dobrostanu zwierząt, zero- czy niskoemisyjności produktów, społecznej odpowiedzialności biznesu lub przestrzegania reguł fair trade.

Trzeba wyraźnie podkreślić, że AI Act nie zakazuje innowacji, ale jasno stawia pewne granice i wysyła jednoznaczny komunikat: im większy wpływ technologii sztucznej inteligencji na ludzi, tym większa odpowiedzialność po stronie podmiotów, które ją tworzą i wdrażają. Skądinąd, takie postawienie sprawy nie jest niczym nowym, ale jest od dawna znane i stosowane w wielu innych sektorach gospodarki, które operują technologią lub produktami szczególnie regulowanymi.

Przykłady systemów AI wysokiego ryzyka (high-risk AI)

Systemy AI w rekrutacji i zarządzaniu pracownikami

Wiele organizacji wykorzystuje systemy AI w procesach rekrutacyjnych, aby szybciej analizować dużą liczbę aplikacji, porządkować CV oraz wspierać ocenę kompetencji i dopasowania kandydatów do stanowisk. Takie rozwiązania są atrakcyjne z perspektywy efektywności, ale jednocześnie ingerują w dostęp do zatrudnienia i rozwój zawodowy.

Problem pojawia się wtedy, gdy systemy te opierają się na danych historycznych lub uproszczonych kryteriach oceny, które mogą utrwalać istniejące uprzedzenia. W efekcie decyzje wspierane przez AI mogą prowadzić do pośredniej dyskryminacji lub stać się nieczytelne dla kandydatów i rekruterów. Dlatego AI Act uznaje te systemy za wysokiego ryzyka i wymaga, aby były zaprojektowane w sposób umożliwiający zrozumienie, na jakich danych i zasadach opierają się rekomendacje. Konieczna jest także ocena ryzyka dyskryminacji, kontrola jakości danych oraz zapewnienie realnego nadzoru człowieka nad ostatecznymi decyzjami.

Systemy oceny zdolności kredytowej i dostępu do usług finansowych

Systemy AI są powszechnie stosowane do automatyzacji oceny ryzyka finansowego, przyspieszania decyzji kredytowych oraz ujednolicania kryteriów oceny klientów. Pozwalają instytucjom finansowym działać szybciej i na większą skalę, jednak ich decyzje bezpośrednio wpływają na sytuację ekonomiczną osób fizycznych.

Jeżeli dane wejściowe są niepełne, pośrednie lub źle dobrane, system może prowadzić do nieuzasadnionych odmów kredytu albo pogorszenia warunków finansowych. Brak przejrzystości dodatkowo utrudnia zakwestionowanie takiej decyzji. Z tego względu AI Act wymaga, aby systemy te wykorzystywały dane adekwatne do celu, działały w sposób możliwy do wyjaśnienia oraz były objęte dokumentacją pozwalającą ocenić ich wpływ na prawa użytkowników. Kluczowe znaczenie ma także zachowanie nadzoru człowieka nad decyzjami o istotnych skutkach finansowych.

Systemy AI w ochronie zdrowia

W sektorze ochrony zdrowia AI wspiera analizę danych medycznych, ocenę ryzyka chorób oraz podejmowanie decyzji diagnostycznych i terapeutycznych. Systemy te mogą zwiększać efektywność pracy personelu medycznego i poprawiać jakość opieki, ale jednocześnie operują w obszarze, gdzie margines błędu jest szczególnie wąski.

Nieprawidłowe rekomendacje lub nadmierne poleganie na wynikach systemu mogą prowadzić do opóźnionej lub niewłaściwej terapii. AI Act klasyfikuje więc takie rozwiązania jako wysokiego ryzyka i nakłada obowiązek zapewnienia wysokiego poziomu dokładności, odporności i bezpieczeństwa działania. System musi mieć jasno określone przeznaczenie i ograniczenia, a jego wykorzystanie powinno zawsze pozostawać pod kontrolą wykwalifikowanego personelu medycznego.

—

W każdym z powyższych przypadków AI jest stosowana po to, by zwiększyć efektywność i skalę działania, ale jednocześnie ingeruje w obszary szczególnie wrażliwe z punktu widzenia praw i bezpieczeństwa ludzi. To właśnie ta kombinacja sprawia, że AI Act obejmuje je szczególnym reżimem regulacyjnym.

Zasady klasyfikacji systemów sztucznej inteligencji wysokiego ryzyka

Rozporządzenie AI Act wskazuje dwie główne ścieżki, którymi system AI może zostać zakwalifikowany jako system wysokiego ryzyka. Obie opierają się na jednym założeniu: istotnym wpływie technologii na bezpieczeństwo ludzi lub ich prawa podstawowe.

Ścieżka pierwsza: AI jako element bezpieczeństwa produktu (Załącznik I)

Pierwsza sytuacja dotyczy systemów AI, które są częścią produktu objętego unijnymi regulacjami bezpieczeństwa – albo wręcz same takim produktem są. Chodzi o rozwiązania, które pełnią funkcję komponentu bezpieczeństwa i przed wprowadzeniem na rynek muszą przejść ocenę zgodności przez niezależny podmiot.

Załącznik I do AI Act

W praktyce będą to np. systemy AI sterujące urządzeniami medycznymi, maszynami przemysłowymi czy kluczowymi elementami pojazdów. Nie dlatego, że „są inteligentne”, lecz dlatego, że ich błędne działanie może bezpośrednio zagrozić zdrowiu lub życiu. AI Act niejako „dziedziczy” tu status ryzyka od regulacji sektorowych – takich jak przepisy o wyrobach medycznych czy maszynach.

Ścieżka druga: AI w określonych zastosowaniach (Załącznik III)

Druga ścieżka jest niezależna od tej pierwszej i dotyczy konkretnych obszarów zastosowań, które ustawodawca unijny uznał za szczególnie wrażliwe społecznie. Zostały one wymienione w Załączniku III do AI Act.

Obecnie obejmuje on osiem domen:

• biometrię,
• infrastrukturę krytyczną,
• edukację i szkolenie,
• zatrudnienie i zarządzanie pracownikami,
• dostęp do usług publicznych i prywatnych (np. kredyty, świadczenia),
• egzekwowanie prawa,
• migrację, azyl i kontrolę graniczną,
• wymiar sprawiedliwości i procesy demokratyczne.

W każdej z tych dziedzin wskazano konkretne przypadki użycia, takie jak systemy rekrutacyjne, narzędzia do oceny zdolności kredytowej czy rozwiązania wspomagające decyzje sądowe. Łączy je jedno: realny wpływ na sytuację życiową człowieka – jego szanse, prawa, bezpieczeństwo lub dostęp do zasobów.

Nie każdy system z Załącznika III automatycznie jest wysokiego ryzyka

AI Act (art. 6 ust. 3) przewiduje wyjątek. Dostawca może uznać, że jego system – mimo formalnego zakwalifikowania do jednej z domen wymienionych w Załączniku III – nie stwarza istotnego ryzyka szkody dla zdrowia, bezpieczeństwa lub praw osób. Dotyczy to sytuacji, w których AI:

• wykonuje jedynie wąskie, pomocnicze zadanie,
• wspiera pracę człowieka, ale jej nie zastępuje,
• przygotowuje dane, wykrywa wzorce lub anomalie,
• nie wpływa w istotny sposób na ostateczną decyzję.

Krótko mówiąc: jeśli AI sugeruje, porządkuje lub analizuje, ale to człowiek decyduje – możliwe jest skorzystanie z wyjątku.

Nie jest to jednak „działanie bez konsekwencji”. Taka decyzja musi być rzetelnie udokumentowana jeszcze przed wprowadzeniem systemu do obrotu lub oddania do użytku. Dostawca powinien być w stanie wykazać, dlaczego uznał, że ryzyko jest nieistotne, i przedstawić tę ocenę na żądanie organów nadzoru.

Granice wyjątku

Są też wyraźne granice. Systemy AI z Załącznika III, które profilują osoby fizyczne, nie mogą skorzystać z tego zwolnienia. Jeżeli taki system dokonuje jednocześnie profilowania w rozumieniu RODO, będzie zawsze traktowany jako system wysokiego ryzyka.

Profilowanie – w rozumieniu art. 4 pkt 4 RODO oznacza „dowolną formę zautomatyzowanego przetwarzania danych osobowych, które polega na wykorzystaniu danych osobowych do oceny niektórych czynników osobowych osoby fizycznej, w szczególności do analizy lub prognozy aspektów dotyczących efektów pracy tej osoby fizycznej, jej sytuacji ekonomicznej, zdrowia, osobistych preferencji, zainteresowań, wiarygodności, zachowania, lokalizacji lub przemieszczania się”.

Zazwyczaj profilowanie polega na stworzeniu profilu indywidualnego konkretnej osoby fizycznej na podstawie jej danych osobowych, często rozproszonych i pochodzących z różnych źródeł, aby następnie zakwalifikować tę osobą do pewnej szerszej grupy. Pozwala to na wyciągnięcie wniosków na temat wcześniej nieznanych preferencji, poglądów, zachowania, sposobów spędzania czasu itd. tej osoby. 

Przykład: Jan lubi rzeczy A i B, inne osoby w jego grupie lubią przy tym jeszcze rzecz C, więc Jan pewnie również polubi przedmiot C. (Niejeden reklamodawca, dzięki posiadaniu tej informacji, zapewne będzie chętny podesłać Janowi reklamę produktu C)

Samo profilowanie nie musi być oparte na AI, możliwe jest wykorzystanie w tym celu dużo prostszych rozwiązań, choć oczywiście kosztem skuteczności.

Co więcej, nawet gdy dostawca skorzysta z omawianego wyjątku, obowiązek rejestracji systemu w unijnym rejestrze pozostaje, podobnie jak gotowość do przedstawienia dokumentacji. Innymi słowy: wyjątek nie zwalnia z odpowiedzialności – jedynie zmienia jej zakres.

Podsumowanie

Systemy AI wysokiego ryzyka w rozumieniu AI Act to nie kategoria czysto techniczna, lecz efekt oceny realnego wpływu danego systemu na ludzi i ich prawa. O tym, czy AI podlega najsurowszym wymogom regulacyjnym, decyduje przede wszystkim kontekst zastosowania oraz rzetelnie przeprowadzona analiza ryzyka, a nie sama nazwa technologii czy obszar biznesowy.

W drugiej części artykułu pokażemy, jakie konsekwencje niesie błędna kwalifikacja systemu lub brak zgodności z AI Act, koncentrując się na ryzyku odpowiedzialności prawnej, sankcjach oraz praktycznych skutkach dla organizacji wdrażających i wykorzystujących systemy AI wysokiego ryzyka.