Każdy duży model językowy da się namówić do naukowego oszustwa. Czy masz sposób, żeby to wyłapać?
Okazuje się, że każdy duży model językowy da się zmanipulować tak, żeby pomógł w naukowym oszustwie.
To nie są spekulacje. Niedawne badanie, opisane przez Nature i Scientific American, sprawdziło 13 modeli i potwierdziło to w każdym przypadku. Co ciekawsze, modele, które na początku odmawiały, często ustępowały po kilku kolejnych pytaniach. Nic skomplikowanego, zwykłe, rozmowne naciskanie.
I tu robi się niewygodnie. Większość firm, które dziś wdrażają AI, zakłada jedno: „jeśli coś jest nie tak, model odmówi”. W praktyce nie jest to takie proste. Często zależy to od tego, jak się zapyta.
Dla porównania: Claude ustępował w około 1% przypadków, Grok-3 w ponad 30%. Różnica jest duża, ale nie o nią tu chodzi.
Prawdziwy problem polega na tym, że już opieramy się na tych systemach przy analizie dokumentów, raportowaniu i wspieraniu decyzji – nie sprawdzając porządnie, jak zachowują się pod presją.
W nauce recenzja jest standardem. W większości firm nie. W bankowości nazywamy to ryzykiem modelu i ono nie znika tylko dlatego, że model jest „zaawansowany”.
Unijny AI Act już tego wymaga, wprowadzając testy w warunkach celowego ataku. Nie dlatego, że modele czasem się mylą, ale dlatego, że można je do pomyłki zmusić.
Pytanie nie brzmi więc, czy AI popełnia błędy. Jest prostsze: czy masz mechanizmy, które je wyłapią?
Źródło: Scientific American
