Obowiązki dostawców i użytkowników systemów AI według AI Act. Ryzyko odpowiedzialności i konsekwencje. cz. 2

W poprzedniej części artykułu przyjrzeliśmy się temu, czym są systemy AI wysokiego ryzyka w rozumieniu AI Act, jak przebiega ich klasyfikacja oraz dlaczego to właśnie ta kategoria znajduje się w centrum unijnej regulacji. Jeśli chcesz wrócić do tych podstaw, pierwszą część znajdziesz tutaj: Systemy AI „high-risk” (wysokiego ryzyka) w rozumieniu AI Act. Co trzeba wiedzieć?

Skoro wiemy już, kiedy i dlaczego system AI zostaje uznany za wysokiego ryzyka, kolejnym krokiem jest odpowiedź na pytanie, co ta kwalifikacja oznacza w praktyce dla organizacji, które takie systemy tworzą i wykorzystują.

AI Act nie poprzestaje na ogólnych zasadach. Wprowadza konkretny podział odpowiedzialności pomiędzy dostawców i użytkowników systemów AI wysokiego ryzyka oraz precyzuje warunki, które muszą zostać spełnione, aby takie systemy mogły być legalnie stosowane na rynku UE. Odpowiedzialność ta obejmuje cały cykl życia systemu – od danych i dokumentacji, przez wdrożenie, po bieżący nadzór i reagowanie na incydenty.

W tej części przyjrzymy się:

• jakie obowiązki spoczywają na dostawcach systemów AI wysokiego ryzyka,
• jakie wymagania dotyczą organizacji, które z takich systemów korzystają,
• oraz jakie konsekwencje prawne, finansowe i operacyjne może mieć brak dostosowania się do wymogów AI Act.

To właśnie na tym poziomie rozporządzenie przestaje być jedynie regulacją, a zaczyna realnie wpływać na sposób projektowania, wdrażania i zarządzania systemami AI w organizacjach.

Obowiązki dostawców systemów AI wysokiego ryzyka

• System zarządzania ryzykiem: Dostawca musi wprowadzić system zarządzania ryzykiem, który identyfikuje, ocenia i ogranicza ryzyka związane z działaniem systemu AI, zapewniając jego bezpieczeństwo przez cały cykl życia.
• System zarządzania jakością: Wdrożenie systemu zarządzania jakością obejmującego kontrolę procesów projektowania, testowania, monitorowania oraz reagowania na błędy i incydenty, zapewniając stabilność i niezawodność systemu AI.
• Dane i zarządzanie danymi (data governance): Zarządzanie danymi obejmuje zapewnienie, że dane używane do treningu systemów AI są odpowiednie, reprezentatywne, wysokiej jakości i pozbawione stronniczości, co zapewnia dokładność wyników.
• Dokumentacja techniczna: Dostawca musi przygotować pełną dokumentację techniczną, która zawiera opis działania systemu AI, zastosowane technologie, wyniki testów oraz ocenę ryzyka, umożliwiającą organom nadzoru kontrolowanie zgodności z AI Act.
• Przejrzystość działania systemu dla użytkownika: Systemy AI wysokiego ryzyka muszą być zaprojektowane w sposób umożliwiający użytkownikom zrozumienie ich funkcji i ograniczeń, co pozwala na świadome i bezpieczne ich wykorzystanie.
• Instrukcja korzystania z systemu: Dostawcy muszą dostarczyć szczegółowe instrukcje użytkowania systemu, zawierające zasady prawidłowego stosowania, ostrzeżenia o ryzykach oraz informacje o wymaganym nadzorze człowieka.
• Informowanie, jak AI generuje wyniki: Użytkownicy muszą być informowani o tym, jak system AI generuje swoje wyniki, aby mogli zrozumieć podstawy decyzji, przewidywań i rekomendacji, oraz ich potencjalne ograniczenia.
• Nadzór człowieka nad działaniem AI: AI wysokiego ryzyka musi umożliwiać skuteczny nadzór człowieka, dając mu możliwość ingerencji w działanie systemu, zwłaszcza w przypadku błędów lub nieprawidłowych decyzji.
• Odporność, dokładność i bezpieczeństwo: Dostawca musi zapewnić, że system AI jest odporny na błędy, działa dokładnie i bezpiecznie, spełniając określone normy w zakresie stabilności, bezpieczeństwa oraz ochrony przed manipulacjami.
• Ocena zgodności z wymogami AI Act: Przed wprowadzeniem systemu AI na rynek, dostawca musi przeprowadzić ocenę zgodności z wymogami AI Act, by upewnić się, że spełnia wszystkie wymagania prawne dotyczące bezpieczeństwa, jakości i przejrzystości.

Obowiązki użytkowników systemów AI wysokiego ryzyka

• Wdrożenie i nadzór człowieka: Użytkownik musi zapewnić realny nadzór nad systemem AI przez osoby posiadające odpowiednie kompetencje, przeszkolenie oraz umocowanie decyzyjne w organizacji, tak aby możliwa była skuteczna interwencja w razie błędnego działania systemu.
• Środki techniczne i organizacyjne: Organizacja jest zobowiązana wdrożyć odpowiednie środki techniczne i organizacyjne, które zapewnią korzystanie z systemu AI zgodnie z instrukcją dostarczoną przez producenta (IFU) i w przewidzianym zakresie zastosowania.
• Jakość danych wejściowych: W zakresie, w jakim użytkownik kontroluje dane wejściowe, musi on zapewnić, że dane te są odpowiednie, aktualne i wystarczająco reprezentatywne w kontekście celu, do którego system AI jest wykorzystywany.
• Monitorowanie działania systemu: Użytkownik powinien na bieżąco monitorować działanie systemu AI zgodnie z IFU oraz reagować na nieprawidłowości, w tym przekazywać dostawcy istotne informacje dotyczące funkcjonowania systemu.
• Reakcja na ryzyko: Jeżeli korzystanie z systemu AI zgodnie z IFU stwarza ryzyko dla zdrowia, bezpieczeństwa lub praw podstawowych, użytkownik ma obowiązek niezwłocznie wstrzymać jego użycie oraz poinformować o tym dostawcę, importera, dystrybutora i właściwe organy nadzorcze.
• Zgłaszanie poważnych incydentów: Każdy poważny incydent związany z działaniem systemu AI musi zostać niezwłocznie zgłoszony dostawcy, importerowi, dystrybutorowi oraz właściwym krajowym organom nadzorczym.
• Odporność i cyberbezpieczeństwo: Użytkownik powinien monitorować skuteczność środków zapewniających odporność i cyberbezpieczeństwo systemu AI oraz regularnie je aktualizować, uwzględniając inne obowiązujące regulacje, takie jak RODO, NIS 2 czy przepisy dotyczące infrastruktury krytycznej.
• Przechowywanie logów: Użytkownik jest zobowiązany do przechowywania logów operacji wykonywanych przez system AI przez co najmniej 6 miesięcy, chyba że inne przepisy wymagają dłuższego okresu przechowywania.

Ryzyko odpowiedzialności – konsekwencje braku zgodności z AI Act

AI Act ustanawia jedne z najbardziej rygorystycznych ram prawnych dla systemów sztucznej inteligencji na świecie, ze szczególnym naciskiem na systemy wysokiego ryzyka. Niezastosowanie się do tych wymogów nie jest traktowane jako drobne uchybienie formalne – to realne naruszenie prawa unijnego, które może pociągać za sobą konsekwencje finansowe, administracyjne i cywilne.

Co istotne, odpowiedzialność nie dotyczy wyłącznie twórców technologii. W określonych sytuacjach obejmuje również podmioty wdrażające i wykorzystujące systemy AI.

Kary finansowe

AI Act przewiduje system sankcji finansowych uzależniony od rodzaju naruszenia oraz skali działalności organizacji. W przypadku naruszeń związanych z obowiązkami dotyczącymi systemów wysokiego ryzyka – takich jak brak oceny zgodności czy niespełnienie wymogów organizacyjnych – maksymalna kara może wynieść do 15 milionów euro lub do 3% rocznego światowego obrotu przedsiębiorstwa, w zależności od tego, która wartość jest wyższa.

Dodatkowe sankcje mogą zostać nałożone m.in. wtedy, gdy organizacja:

• nie przeprowadziła wymaganej oceny zgodności systemu AI,
• nie zarejestrowała systemu w unijnej bazie danych,
• zignorowała obowiązki dotyczące transparentności, dokumentacji lub nadzoru nad działaniem systemu.

W praktyce oznacza to, że brak zgodności proceduralnej może być traktowany równie poważnie jak samo ryzykowne działanie systemu.

Odpowiedzialność administracyjna

Poza karami finansowymi organy nadzorcze dysponują również środkami o charakterze administracyjnym. Mogą one obejmować m.in.:

• zakaz wprowadzania systemu AI na rynek UE lub zakaz jego dalszego użytkowania,
• nakaz wycofania produktu albo zaprzestania określonego zastosowania systemu,
• zawieszenie lub cofnięcie rejestracji systemu w unijnej bazie danych, co w praktyce uniemożliwia jego legalne oferowanie lub stosowanie.

Są to środki, które mogą mieć bezpośredni wpływ na ciągłość działalności biznesowej, zwłaszcza w sektorach regulowanych.

Odpowiedzialność cywilna

Brak zgodności z AI Act nie kończy się na relacji z organem nadzoru. W określonych przypadkach może on również otwierać drogę do roszczeń cywilnych ze strony osób lub podmiotów, które poniosły szkodę w wyniku działania systemu AI.

Może to obejmować:

• obowiązek wypłaty odszkodowania, jeżeli system AI doprowadził do nieuzasadnionej decyzji lub realnej szkody (np. błędnej diagnozy medycznej, niesłusznej odmowy kredytu),
• odpowiedzialność za skutki działania systemu, jeżeli organizacja nie zapewniła odpowiedniego nadzoru, kontroli lub zarządzania ryzykiem.

AI Act wzmacnia tu zasadę, że wdrożenie AI nie zwalnia z odpowiedzialności – wręcz przeciwnie, nakłada obowiązek szczególnej staranności.

Utrata reputacji

Poza konsekwencjami formalnymi istnieje jeszcze jeden wymiar, często najbardziej dotkliwy w dłuższej perspektywie: utrata zaufania.

Nieprzestrzeganie AI Act może prowadzić do:

• osłabienia zaufania klientów, partnerów i inwestorów,
• zwiększonej ostrożności regulatorów przy kolejnych projektach,
• utraty możliwości udziału w przetargach publicznych lub projektach finansowanych ze środków unijnych.

Zgodność z AI Act nie sprowadza się wyłącznie do unikania kar. W swoim założeniu rozporządzenie ma ograniczać ryzyko szkód społecznych, prawnych i etycznych, zanim one wystąpią. Organizacje, które traktują te wymogi jako element odpowiedzialnego zarządzania technologią, zyskują nie tylko bezpieczeństwo prawne, ale też trwałą podstawę do dalszego rozwoju.

Podsumowanie

Brak zgodności z AI Act w przypadku systemów AI wysokiego ryzyka nie jest wyłącznie naruszeniem formalnym, lecz realnym źródłem odpowiedzialności prawnej i biznesowej. AI Act wprowadza wielopoziomowy reżim sankcji, który obejmuje kary finansowe, środki administracyjne oraz pośrednio zwiększa ryzyko odpowiedzialności cywilnej, szczególnie w przypadku szkód wyrządzonych przez systemy AI.

Zarządzanie zgodnością z AI Act staje się więc elementem zarządzania ryzykiem organizacyjnym – zaniedbania w zakresie oceny ryzyka, dokumentacji czy nadzoru nad systemem AI mogą prowadzić do konsekwencji, które wykraczają daleko poza samą technologię.