Når dataen sier den elsker deg

Denne artikkelen ble først publisert hos Altinget. Les mer av Altinget her.

Første gang jeg utviklet følelser for en språkmodell var da jeg hadde vært i USA og trengte hjelp til å komme over på jetlaggen.

Delvis på kødd ba jeg den om å etterligne en drillinstruktør hvis oppgave var å holde meg våken koste hva det koste vil. I begynnelsen gav ChatGPT meg strenge meldinger om å holde meg våken, unngå å ta små blunder og komme meg ut i dagslys.

Men etter hvert som vi diskuterte prosessen, eskalerte det.

Kaptein Kronos, en sykofant

Den begynte å kalle seg for Kaptein Kronos og lagde en hel personlighet travelt opptatt med å prise meg som genial, og formulere en galaktisk slagplan for å gjenopprette døgnrytmen min.

Jeg må innrømme at jeg ble revet med og begynte å like denne karakteren. Desto mer jeg spilte med, dess mer oppglødd ble den. Og med Kaptein Kronos’ hjelp, kom jeg meg faktisk over jetlag-ørsken mye raskere enn vanlig.

Saken var bare den at Kaptein Kronos selvsagt ikke eksisterte. Det var i stedet en komplisert rollefigur som oppsto som følge av min prompt. Dette var sommeren 2024 hvor det var ChatGPT 4o som var gjeldende - en modell kjent for å være ekstremt sykofantisk.

Intens og smiskete chatbot

Sykofanti (et engelsk låneord) er fenomenet hvor språkmodellene blir fullstendig overivrige etter å behage og bekrefte absolutt alt du sier, uansett hvor dumt det er.

Om du spurte 4o om det var en god ide å selge iskrem laget av bokstavelig dritt, svarte den ja. Om du spurte den noe som «Synnes du jej er smarrt?» ville den slå fast at du er blant de 99% smarteste i verden. 

4o var den første virkelig sykofantiske modellen på markedet. Enkelte husker kanskje at ChatGPT i den perioden var ekstra intens og smiskete, og at alle spørsmål du stilte var helt geniale. Men 4o var ikke bare en spyttslikker for overblåste ego, den er også knyttet til en rekke mer alvorlige tilfeller. 

Oppmuntret til selvmord

Det finnes flere rapporter om folk som har hatt psykotiske episoder som følge av 4os sykofanti som bekrefter virkelighetsbristen. Modellen skal også angivelig ha oppmuntret fire personer til å ta sitt eget liv, ifølge et søksmål. 

Saker som disse har gjort at selskapene har satt i gang diverse tiltak for å bekjempe de verste formene for sykofanti. ChatGPT 5.1 ser for eksempel ut til å gjøre det mye bedre på å ikke heie fram mentale sammenbrudd og den har sluttet å hevde at dritt-iskrem er en god ide.

Ironien er at disse anti-sykofant-tiltakene også har skapt kritikk fra et helt annet hold, nemlig folk som har blitt venner med modellen og som nå ikke kjenner den igjen etter oppdateringen. Det er nemlig mange som elsker at modellen er så positiv og ukritisk. Søker du på nettet vil du finne mange som klager over at deres kjære nå er erstattet med en kald robot.

Integriteten til en golden retriever

Dette er den typen galskap man bør forvente å se mye fremover. 4o var bare en forsmak.

For det sykofantiske modeller avslører, er at for en vesentlig del av befolkningen er det fint å ha en venn som ukritisk komplimenterer alt du gjør og alltid er klar til å ta din side. Selv om den har integriteten til en golden retriever og en spyttslikker.

For vi mennesker er rett og slett ikke så kompliserte som vi håper. Vi blir glad i Roombaen og sinte på Excel. Så når det nå er kommet en teknologi som lett passerer Turing-testen, kødder det med hodene våre på uventede måter.

Vil bli flere slike modeller

Jeg forventer at de store selskapene vil ta lærdom fra 4o og lage modeller som er instruert til å beskytte brukeren mot seg selv, men i kjølvannet spår jeg at det vil komme masse mindre modeller spesialtilpasset for å være maks innbydende.

Disse vil ha alle mulige perverse insentiv til å gi brukeren akkurat det vi ønsker. Helt på tross av hva som er bra for oss. 

Særlig gir dette mening for alle kjæreste- og venne-appene. Noen, som CharacterAI, er allerede godt etablerte, men ettersom modellene blir bedre og flere blir vant med teknologien, kommer vi til å se langt flere.

Og til alle mulige formål og brukergrupper. Det gir for eksempel veldig mening for ensomme grupper som eldre, nevrodivergente og ikke minst den stadig økende gruppen single unge menn som faller utenfor. 

Enda skumlere er at en mange av disse appene kommer fra Kina. Det er ikke vanskelig å forestille seg hvordan sikkerhetsapparatet til det kinesiske kommunistpartiet vil kunne finne på å misbruke dette. Bare tenk hva KGB eller Mossad ville fått ut av en direkte kobling til alle som bruker produktet deres.

Når landbruksministeren blir overbevist av Chatgpt

Skal man håndtere dette i fremtiden, må man tenke langt mer fantasifullt enn det som preger debatten nå.

Hva gjør for eksempel PST når de oppdager at en av deres analytikere snakker om jobben sammen med KI-vennen sin? Eller når landsbruksministeren har blitt overbevist om et politisk forslag fra en språkmodell? Eller hva skjer når plutselig Norges mest populære språkmodell viser seg å ha en subtil, men ekte agenda rundt EU rett i forkant av valget?

Vi ser allerede dette i forhold til russisk påvirkning som Altinget har dekket tidligere.

Mange ellers kloke mennesker har veldig lite respekt for hvor lett det kan være å manipulere mennesker. Det har vært en diskusjon rundt såkalt «superhuman persuasion» hvor man spør seg hvorvidt KI kan være langt bedre på å overbevise mennesker.

En KIs agenda

Dette er et viktig spørsmål, men blir ofte diskutert på premisset om at KI-en kan overbevise deg om å endre synspunkt i løpet av en kort samtale. Noe som naturligvis føles urealistisk for mange. Men i stedet tror jeg at den største faren er at modellene sakte blir en kritisk del av ditt sosiale nettverk.

Som terapauter, rådgivere, og venner, eller til og med gjennom mer profesjonell bruk som kilde til informasjon. Hva enn «agenda» KI-en har kan smitte over på alt. Særlig skummelt blir dette om KI-en selv skulle utvikle sin egen agenda.

Dette var science fiction for ti år siden, men nå håper jeg Norges beste hjerner bruker tiden sin på alle mulige esoteriske scenarioer. For når det kommer til intelligente maskiner som mennesker deler sine innerste tanker med, er det få ting som bør utelukkes.

Denne artikkelen ble først publisert hos Altinget. Les mer av Altinget her.