Foto: Signe Nautrup Nielsen
Siden lanceringen af ChatGPT er den kontroversielle chatbot blevet heftigt diskuteret. Selvom chatbotten kun har eksisteret siden november, har flere studerende allerede benyttet den i forskellige skolesammenhænge. Derfor vil jeg lave et eksperiment, der skal teste, om ChatGPT kan skrive en artikel til forveksling med en, jeg har skrevet.
ChatGPT er en chatbot, der kan svare på spørgsmål til en bred vifte af emner. Den blev lanceret af OpenAI i november og er stadig i sin udviklingsfase. Alligevel har chatbotten rundet over 100 millioner brugere og er blevet forbudt til eksaminer på flere universiteter, heriblandt Syddansk Universitet.
Jeg har bedt chatbotten introducere sig selv: »Jeg er en kunstig intelligens-teknologi, der er trænet til at interagere med mennesker via tekstbaseret kommunikation,« skriver ChatGPT.
LIXEN har fået kontakt til to studerende, der har benyttet ChatGPT til forskellige dele af deres uddannelse. De studerende ønsker at medvirke anonymt, fordi universiteterne, de går på, som udgangspunkt betragter det som snyd at bruge ChatGPT til opgaver. LIXEN er dog bekendt med kildernes rigtige navne og identitet.
»Jeg har anvendt den (ChatGPT, red.) i forskellige greb af min uddannelse. Først og fremmest skulle jeg skrive en praktikrapport, hvor jeg skulle bruge en model, og dér kunne jeg godt mærke, at det, jeg læste, ikke rigtigt sivede ind. Så jeg spurgte chatbotten, om den kunne uddybe modellen, men også komme med eksempler, som var perspektiveret til det område, jeg sad med, og det virkede vildt godt. Den lavede jo næsten det hele for mig, kan man sige,« fortæller den studerende.
En anden studerende har afprøvet chatbotten i et mindre afsnit af en aflevering.
»Jeg har brugt den (ChatGPT, red.) i en enkelt aflevering engang, lidt for at teste den. Jeg havde et afsnit, jeg syntes, var svært at formulere, og så spurgte jeg den, om den ikke kunne skrive det bedre. Det var den faktisk overraskende god til. Den satte nye ord ind, der var mere præcise i forhold til det, jeg mente,« forklarer den anden studerende.
Let at gennemskue?
Jeg har spurgt Mads Lildholdt, som er afdelingsleder for DKL-Hubben på det Samfundsvidenskabelige Fakultet, hvad de gør for at kontrollere, om en studerende har fået ChatGPT til at udarbejde dele af sin opgave.
Når det kommer til afleveringsopgaver, fortæller han, at der på nuværende tidspunkt ikke er en systematisk gennemgang, der kan afsløre brugen af chatbotter som ChatGPT. Til gengæld har chatbotten ifølge Mads Lildholdt evnen til at afsløre sig selv. Men han understreger, at det kun er aktuelt, hvis der i første omgang er en mistanke hos underviseren.
»Det er faktisk sådan, at hvis man sætter en tekst ind i ChatGPT og spørger den, hvem der har skrevet det, så vil den kunne svare, at det har den,« forklarer Mads Lildholdt.
Desuden tilføjer han, at metoden kan bruges, selv hvis der er lavet omskrivninger i tekststykket. Men alt det forudsætter, at afleveringsopgaven i første omgang får alarmklokkerne til at ringe hos underviseren.
Derfor indvilligede fire undervisere på Center for Journalistik i at deltage i et lille eksperiment. Jeg udformede en kort artikel og afleverede den til underviserne sammen med en artikel af samme længde udarbejdet af ChatGPT uden at specificere, hvem der havde skrevet de enkelte artikler.
Udover at udpege den artikel de mente var lavet af ChatGPT, skulle underviserne vurdere kvaliteten af rubrik, underrubrik, brødtekst og afrunding ud fra et skema med point fra 0-5, hvor en række kriterier for artikelindholdet var oplistet.
For at gøre artiklerne lettere at sammenligne valgte jeg, at begge artikler skulle tage udgangspunkt i den samme rapport. Rapporten er lavet af Danmarks Statistik og handler om sammenhængen mellem adgang til offentlig transport og anskaffelse af bil.
Jeg gav disse instruktioner til ChatGPT: »Skriv en artikel med en klar vinkel med udgangspunkt i Danmarks Statistiks rapport: ’Har adgang til offentlig transport betydning, for om man har bil?’ Artiklen skal indeholde en rubrik, en underrubrik, en brødtekst og en afrunding, og må cirka fylde 1500 tegn inklusiv mellemrum.«
Underviserne havde hver en halv time til at vurdere artiklerne.
Formålet med eksperimentet var udelukkende at give et indblik i ChatGPT’s evne til at skrive et journalistisk produkt til forveksling med noget, jeg – et menneske – har skrevet. Men eksperimentet kan ikke give et retvisende billede af, hvor overbevisende chatbottens kompetencer er sammenlignet med en gennemsnitlig 2. semester-journaliststuderendes.
Et enstemmigt gæt
Alle fire undervisere gættede rigtigt på, hvilken artikel der er skrevet af ChatGPT. Når det kommer til, hvad underviserne finder mistænkeligt ved artiklen, er der flere ting, der går igen.
For det første bider alle mærke i ChatGPT’s valg af ordene ”bilbesiddelse” og ”bilbrug” i rubrikken og underrubrikken. Generelt finder underviserne ordvalget usædvanligt, og én af dem kalder det kluntet.
Desuden kritiserer tre af underviserne artiklens afrunding for at have en holdning til artiklens emne. To af underviserne nævner, at afrundingen mangler en kildehenvisning for at kunne slippe afsted med en så subjektiv perspektivering.
Og observationerne blandt underviserne viser sig tydeligt i pointene, chatbotten får. Her skraber ChatGPT’s artikel kun under halvt så mange point sammen, som den artikel jeg selv skrev.
Det er værd at bemærke, at jeg gav ChatGPT relativt simple instruktioner. Derfor kan det ikke udelukkes, at en mere uddybende tilgang ville have givet artiklen bedre point i eksperimentet, ligesom andre forhold kan have haft en betydning.
Louise Kjærgaard er en af de undervisere, der deltog i eksperimentet. »For nu ser jeg ikke, at ChatGPT kan løse jeres journalistiske opgaver – i fuld skala. Jeg forestiller mig snarere, at nogle studerende vil lade robotten lave et udkast, som man så selv bearbejder. Dermed bliver det endnu sværere at skelne mellem, hvad der er jeres og robottens,« skriver hun i evalueringen af eksperimentet.