Stokastisia papaukaijoja? AI-ajatuksia.

 

Näin puistossa papukaijoja ja ryhdyin miettimään ovatko nykyiset suuret kielimallit eli LLM:t vain stokastisia papukaijoja. Mieleeni tuli muutamia keinoja miettiä asiaa. Testeiksi nämä eivät käy ilmeisistä syistä. 

Ajatuskoe: jos LLM-malleille syötettäisiin kaikki musiikki ennen Straviskyn teoksia ja atonaalista käännettä, niin tuottaisiko LLM-malli Kevätuhrin kaltaista musiikkia? Vai jatkaisiko se sille syötetyn musiikin kaltaisen musiikin tuottamista?

Tai: jos LLM:lle syötetään kaikki musa ennen 1970-luvun alkua, putkahtaako sieltä punkkia kajareihin?

Tai: kaikki fysiikan tulokset ennen vuotta 1905, niin putkahtaako jotain suhteellisuusteorian kaltaista?

Tai: jos LLM:lle syötetäisiin kaikki kirjallisuus ennen 1900-luvun alkua, millaisen kirjallisuuden se loisi? Syntyisikö Joycen Ulysses tai jotain sen kaltaista? Putkahtaisiko Kafkaa? Vapaamittaista runoutta? 

Pystyykö LLM luomaan jotain laadullisesti uutta? Jos putkahtaa, hyvä. Jos ei, niin väite että LLM-mallit muuttavat kaiken ja kaikki tietotyöläiset etc ovat turhia ovat vain firmansa arvoa pönkittävien puheita. Ja kelvottomien konsulttien.  

Kun olin näitä miettinyt, mietin LLM-mallien tapaa keksiä kaikenlaista paikkaansapitämätöntä eli kärsiä hallusinaatioista. Sitä on pidetty huonona juttuna. Mutta onko se sittenkään? Elämme maailmassa, jossa maiden hallitukset (ainakin Suomessa ja USAssa) voivat tehdä täysin tosiasioiden vastaisia päätöksiä, jossa merkittävä osa ihmisistä vaikuttaa kärsivät jostain harhasta, jossa tiede on salaliitto ja kaupallisten koijareitten väitteet tosia. Mitä väliä LLM:n hallusinaatiolla on?

Ja väitteeseen, että LLM:t muuttavat kaiken, totean, että niin näyttää olevan. Sen jälkeen kuin LLM:t tulivat laajempaa käyttöön, Venäjä on hyökännyt Ukrainaan, amerikkalaiset valineet itselleen diktaattorin, valheet ovat tosia. Kaikki on todellakin muuttunut. En tiedä onko näillä jotain tekemistä keskenään, mutta LLM:n käyttö ei näytä parantavan maailmaa. Jos parantaisi, sen varmaan jo huomaisimme, mutta kaikki merkit osoittavat toiseen suuntaan. 

Tokihan on aina ollut niin, että tosiasioista ei voi johtaa arvopäätelmiä, että pelkkien tosiasioiden perusteella ei voi tehdä päätöksiä. Nyt vaan on käynyt niin, että päätöksiin ei enää tarvita tosiasioita. Ja siihen LLM:t ovat mainoita. Nekään eivät tosiasioista piittaa.