Ny policy-brief: Kan KI vurdere forskning? Nytt NIFU-notat advarer mot å la språkmodeller erstatte eksperter
Store språkmodeller som ChatGPT, Gemini og Claude brukes i stadig flere sammenhenger, og interessen øker for om de også kan bidra i vurdering av forskning. En ny Innsikt fra NIFU undersøker hvilke muligheter og utfordringer som følger med bruk av kunstig intelligens i forskningsvurderinger.
I Innsikten How (not) to use Large Language Models to assess research gjennomgår forskerne Liv Langfeldt, Mike Thelwall og Dag W. Aksnes eksisterende forskning på hvordan store språkmodeller vurderer vitenskapelige publikasjoner. De finner at modellene kan gi kvalitetsscorer som samsvarer moderat godt med ekspertvurderinger, og at de ofte er bedre til å rangere forskningsartikler enn til å gi vurderinger av enkeltarbeider.
Samtidig understreker forfatterne at språkmodeller ikke vurderer forskning slik mennesker gjør. Vurderingene er estimater som i stor grad kan produseres basert på tittel og sammendrag alene. Dette reiser spørsmål om hvordan modellene fanger opp forskningens kvalitet.
Notatet peker på en rekke utfordringer ved å bruke KI i forskningsvurdering. Språkmodellene kan favorisere for eksempel etablerte fagområder, engelskspråklig forskning og dominerende perspektiver, samtidig som mindre fagmiljøer, tverrfaglig forskning og nye ideer risikerer å bli undervurdert. Forfatterne advarer dessuten om at forskere kan begynne å tilpasse artiklene sine for å oppnå høyere KI-vurderinger.
Selv om kunstig intelligens kan bidra til å redusere belastningen på fagfeller og effektivisere vurderingsprosesser, er konklusjonen tydelig: Språkmodeller kan brukes som støtteverktøy, ikke som erstatning for menneskelig ekspertise. Innsikten anbefaler at fagfeller fortsatt har ansvaret for forskningsvurderinger, og trengs for å identifisere og korrigere eventuelle skjevheter i vurderinger produsert av språkmodeller.
Notatet presenteres på NIFU (og online) 13. august 2026.
For mer informasjon, kontakt:
Liv Langfeldt
Forsker 1
41 66 27 79
liv.langfeldt@nifu.no