NLP analys av fritextsvar i enkäter
Inom det regionala utvecklingsarbetet har AI använts för att analysera fritextsvar i enkäter och undersökningar. Bland annat har ett AI-verktyg använts i analys av en medborgarundersökning där över 3200 fritextsvar hade kommit in.
Målet med verktyget är att kunna analysera och generera insikter från ett stort antal fritextsvar i enkäter och undersökningar.
Det kan handla om att klassificera svaren i olika kategorier, extrahera relevanta nyckelord och fraser, eller att göra sentimentanalys för att identifiera svar med olika känslomässiga uttryck.
Det är också viktigt att kunna utföra denna typ av analys i en säker miljö utan att svar behandlas av en extern part eller obehöriga.
Analysen genomfördes med tre specifika språkmodeller som laddas ner och körs lokalt för att säkerställa att svaren behandlas på ett säkert sätt.
Klassificering:
Fritextsvaren klassificerades i ett antal underkategorier med hjälp av en språkmodell som finjusterats av Kungliga Bibliotekets labb (KBLab/megatron-bert-large-swedish-cased-165-zero-shot · Hugging Face). Underkategorierna mappades sedan till ett antal huvudkategorier.
Sentimentanalys:
För sentimentanalys användes en annan språkmodell, också från KBLab (KBLab/robust-swedish-sentiment-multiclass · Hugging Face), för att klassificera fritextsvaren som antingen positiva, negativa eller neutrala.
Nyckelordsfraser:
Nyckelordsfraser extraherades från fritextsvaren med hjälp av en svensk språkmodell från spaCy (Swedish · spaCy Models Documentation). Nyckelorden “lemmatiserades” till deras grundform för att kunna analyseras oberoende av formen i fritextsvaret.
Visualisering:
Ett verktyg utvecklades för visualisering av resultaten som medarbetare använde för analys. Tableau användes för att utveckla verktyget.
Analysen och verktyget underlättade medarbetarnas arbete med att analysera de inkomna fritextsvaren. Liknande metoder och verktyg kan anpassas för att analysera andra typer av fritextsvar.
För zero-shot klassificering med NLP behöver de valbara kategorierna specificeras på förhand. Detta kräver en del kännedom om svarens innehåll och flera tester för att identifiera relevanta kategorier. Preliminära resultat indikerar en träffsäkerhet på mellan 75-85% för klassificering av underkategorier. Detta är högre vid aggregering till huvudkategorier.