Modern Office Manager Informacje dla osób zarządzających w firmie
Jeszcze niedawno zastanawialiśmy się, czy sztuczna inteligencja zabierze nam pracę. Później pojawiło się pytanie, czy algorytmy będą podpowiadać firmom, kogo zatrudnić, awansować albo zwolnić. Dziś zautomatyzowane systemy potrafią już podjąć decyzję, która z dnia na dzień odcina człowieka od możliwości wykonywania pracy. Wraz z rozwojem autonomicznych agentów AI pojawia się więc znacznie poważniejsze pytanie: co się stanie, gdy systemom pozwolimy nie tylko rekomendować działania, ale również samodzielnie je wykonywać?
Holenderski organ ochrony danych nałożył na Ubera karę w wysokości niemal 825 mln euro za stosowanie zautomatyzowanych systemów decyzyjnych wobec kierowców platformy. W przypadku podejrzenia oszustwa lub zbyt niskich ocen konta mogły być automatycznie dezaktywowane – czasowo, a w określonych sytuacjach również trwale. Według regulatora jednym z problemów był brak wystarczającej kontroli człowieka.
Nie był to jeszcze autonomiczny agent AI w dzisiejszym rozumieniu. Przypadek pokazuje jednak zmianę, która właśnie nabiera znaczenia. System przestaje jedynie analizować rzeczywistość. Zyskuje możliwość realnego wpływania na nią.
AI już nie tylko odpowiada. Zaczyna działać
Cyberbezpieczeństwo od lat koncentruje się na kontrolowaniu tego, co użytkownicy i oprogramowanie mogą zrobić w systemie. Agenci AI dodają do tego nowy element – oprogramowanie, które nie tylko wykonuje wcześniej zaprogramowaną instrukcję, ale może samo dobierać kolejne kroki prowadzące do realizacji celu. Agent może otrzymać dostęp do poczty, dokumentów, systemów firmowych, baz danych czy aplikacji finansowych, a następnie wykonywać w nich operacje bez każdorazowego pytania człowieka o zgodę. To zasadniczo zmienia skalę ryzyka.
W przypadku zwykłego chatbota błędem może być nieprawidłowa odpowiedź. W przypadku agenta skutkiem błędu może być już konkretne działanie – zablokowanie konta, zmiana uprawnień, wysłanie wiadomości albo uruchomienie operacji finansowej. Im większą autonomię otrzymuje AI, tym ważniejsze staje się precyzyjne określenie, co system rzeczywiście może zrobić samodzielnie.
– mówi Kamil Sadkowski, analityk cyberzagrożeń w ESET.
Błąd AI może przestać być tylko błędem
Autonomiczny system może działać na podstawie niepełnych danych, źle zinterpretować polecenie albo podjąć niewłaściwą decyzję. Może również zostać celowo zmanipulowany.
W przypadku agentów wykorzystujących modele językowe napastnik może próbować wpłynąć na zachowanie systemu poprzez odpowiednio przygotowane treści – na przykład instrukcje ukryte w wiadomości, dokumencie lub stronie internetowej. Jeśli agent ma szerokie uprawnienia, udany atak może prowadzić nie tylko do błędnej odpowiedzi, ale do wykonania niepożądanej operacji.
Dlatego do agentów AI warto stosować jedną z podstawowych zasad cyberbezpieczeństwa: zasadę najmniejszych uprawnień. System powinien mieć dostęp tylko do tych zasobów i funkcji, które są mu rzeczywiście potrzebne.
Jeżeli AI analizuje podejrzane konto, nie oznacza to, że powinna móc samodzielnie je trwale zablokować. Jeśli analizuje fakturę, nie musi jednocześnie posiadać prawa do wykonania przelewu. Każde dodatkowe uprawnienie zwiększa potencjalne konsekwencje błędu albo skutecznego ataku. Z punktu widzenia bezpieczeństwa agent AI powinien być traktowany podobnie jak użytkownik posiadający dostęp do firmowych systemów – jego uprawnienia także trzeba ograniczać.
– podkreśla Kamil Sadkowski z ESET.
Człowiek jako ostatnia linia obrony
Odpowiedzią nie jest jednak ręczne zatwierdzanie każdej czynności wykonywanej przez AI. W takim modelu trudno byłoby mówić o rzeczywistej automatyzacji. Kluczowe staje się wyznaczenie granicy autonomii.
AI może samodzielnie analizować dane, porządkować informacje czy przygotowywać rekomendacje. Jednak im poważniejsze i trudniejsze do odwrócenia są potencjalne skutki działania, tym większe znaczenie powinien mieć udział człowieka. Human-in-the-loop nie powinien przy tym oznaczać osoby, której rola sprowadza się do automatycznego kliknięcia „zatwierdź”. Człowiek musi mieć możliwość zrozumienia sytuacji, zatrzymania procesu oraz zmiany lub odwrócenia działania systemu.
Człowiek w takim procesie jest jednym z mechanizmów bezpieczeństwa. Może przerwać łańcuch działań, gdy system zaczyna zachowywać się niezgodnie z oczekiwaniami. Szczególnie istotne jest to tam, gdzie decyzja może wpływać na pieniądze, dane, dostęp do infrastruktury albo możliwość wykonywania pracy.
– dodaje Kamil Sadkowski.
Rozwój agentów AI nie oznacza, że firmy powinny rezygnować z automatyzacji. Oznacza natomiast, że wraz z przekazywaniem systemom kolejnych możliwości trzeba równie starannie projektować ich ograniczenia. Organizacja powinna wiedzieć nie ylko, co agent potrafi zrobić, ale przede wszystkim co rzeczywiście wolno mu zrobić bez udziału człowieka.
Bo wraz ze wzrostem autonomii sztucznej inteligencji pytanie „czy możemy to zautomatyzować?” przestaje wystarczać. Coraz ważniejsze staje się inne: „czy AI może podjąć tę decyzję samodzielnie, czy powinna jedynie ją zarekomendować?”
Przypadek Ubera pokazuje, że nie jest to już abstrakcyjny problem przyszłości. Zautomatyzowany system może podjąć decyzję, która w kilka sekund odcina człowieka od możliwości wykonywania pracy. Jeżeli więc kiedyś pytaliśmy, czy AI zabierze nam pracę, dziś powinniśmy również pytać, czy chcemy pozwolić jej samodzielnie decydować o tym, kto tę pracę może nadal wykonywać.
