To Örebro University

Over the past four decades, Sweden's education system has undergone a profound transformation, shifting from a centralised structure to a market-oriented model characterised by independent schools, deregulation, and competition. This paper introduces an innovative methodological approach to studying this transformation by applying computational text analysis with large language models (LLMs) to 45 years of parliamentary debates. By leveraging these methods and extensive parliamentary open data, we identify thematic patterns, ideological shifts, and policy discourses that have shaped the marketisation of Swedish education. Our methodological contribution lies in demonstrating how LLMs can be employed to scale up traditional discourse analysis, bridging the gap between computational methods and qualitative interpretative approaches. We engage critically with the challenges of algorithmic opacity, validation strategies, and interpretative transparency, addressing concerns about bias and the risks of black-boxed analyses. Combining machine-assisted text analysis with traditional qualitative methodologies, we present a scalable yet nuanced framework for studying education policy debates over time.

Over the past four decades, Sweden's education system has undergone a profound transformation, shifting from a centralised structure to a market-oriented model characterised by independent schools, deregulation, and competition. This paper introduces an innovative methodological approach to studying this transformation by applying computational text analysis with large language models (LLMs) to 45 years of parliamentary debates. By leveraging these methods and extensive parliamentary open data, we identify thematic patterns, ideological shifts, and policy discourses that have shaped the marketisation of Swedish education. Our methodological contribution lies in demonstrating how LLMs can be employed to scale up traditional discourse analysis, bridging the gap between computational methods and qualitative interpretative approaches. We engage critically with the challenges of algorithmic opacity, validation strategies, and interpretative transparency, addressing concerns about bias and the risks of black-boxed analyses. Combining machine-assisted text analysis with traditional qualitative methodologies, we present a scalable yet nuanced framework for studying education policy debates over time.

Det här kapitlet tar sin utgångspunkt i Örebro universitets pedagogiska meriterings-modell och undersöker hur lärares uppfattningar om pedagogisk skicklighet förhåller sig till universitetets fyra kriterier för excellent lärarskap: undervisningsskicklighet, pedagogisk reflektionsförmåga, pedagogiskt ledarskap och vetenskapligt förhållningssätt. Drygt sjuttio lärare, två från varje huvudområde vid Örebro universitet, har i en enkät fått besvara frågor om vad pedagogisk skicklighet betyder för dem. När svaren sätts i relation till kriterierna för excellent lärarskap blir det tydligt att den pedagogiska meriteringsmodellen innehåller lärarkvaliteter som det stora flertalet lärare som besvarat enkäten inte uppfattar som viktiga delar av pedagogisk skicklighet. Att gå från skicklig till excellent kan på så vis bli en utmaning för en del lärare, och i kapitlet diskuteras avslutningsvis vad pedagogiska utvecklare kan göra för att vägen ska uppfattas som framkomlig av så många lärare som möjligt.

This study addresses the issue of sampling error within research on subsets of parliamentary text corpora. Two samples of parliamentary speeches relating to the marketisation of the Swedish education system, drawn thr ough different sampling techniques, are analysed and compared. The analyses find that diverging sampling methodologies can be complementary as each method adds substantial quantities of unique documents to the dataset. Further, the diverging sampling methodologies employed produce documents with similar semantic content. However, analyses of the distributi on of speeches between party affiliations and speakers indicate va st differences between the two samples. These results indicate that sampling frames can substantially influence the findings of parliamentary text analyses. We conclude that combining different sampling techniques can be a way to reduce the ris k of sampling error, which in turn can have a strong influence on the conclusions drawn from analyses of parliamentary texts. 

The Swedish school has undergone massive change during the last decades. Going from one of the most centralized school systems to a system dominated by marketization. This change has not come rapidly. Several scholars have argued that if we want to understand this transformation, we must study this over time. In the research project The Open Parliament Laboratory (OPaL) we aim to study this change in policy by looking at parliamentary data. By using Natural Language Processing (NLP) and discourse analysis, we shall study the political debate from the last decades, to better understand how Sweden ended up with one of the most unregulated educational systems in the world.

The study describes a pedagogic adaptation of the matched guise technique with the aim to raise linguistic self-awareness of L2 accentedness stereotyping effects among Swedish pre-service teachers. In the experiment, 290 students attending teacher training programs were exposed to one of two matched guises, representing either L1 accented Swedish, or L2 accented Swedish. Both guises were based on the same recording, but the L2 accented version had been digitally manipulated using cut-and-paste techniques in order to replicate certain vowel sounds (the [u:]-sound in particular) associated with low-prestige Swedish L2 accentedness. The findings from this experiment were then used as starting point for language awareness raising activities. Our overall results show that the L2 accented manipulated recording was evaluated more favourably than the original L1 accented recording on all investigated variables. One proposed explanation is that respondents were inadvertently influenced by so-called shifting standards effects, i.e. lower standards/expectations are being used as reference points when evaluating the L2 accented recording. This tendency, however, seemed to be less apparent among respondents with bi/multilingual linguistic identities. Following debriefing discussions based on the experiment findings, there were clear indications that respondents did become more aware of inadvertent linguistic stereotyping by participating in the activities.

Universitetsstudenters skrivande liv – en förstudie

I den här presentationen redogör vi för en förstudie till ett planerat forsknings- och utvecklingsprojekt om studenters skrivande inom högre utbildning. Målet med det övergripande projektet är att bidra till utvecklandet av nya skrivpedagogiska praktiker och detta gör vi genom att utforska universitetsstudenters skrivande utifrån det vi kallar för hållbar studieframgång. I hållbar studieframgång inkluderar vi dels institutionella perspektiv på vad ett framgångsrikt skrivande i högre utbildning innebär (betyg, genomströmning), dels studenters egna perspektiv på vad skrivande och studieframgång kanskri vara (värden kopplade till skrivande, upplevd framgång i skrivandet och välbefinnande under utbildningen).[1] 

Projektet tar alltså avstamp i idén att utbildning ska vara socialt hållbar för studenter, liksom i den forskning som visat att studenters utbildningsrelaterade känslor samvarierar med prestation (t.ex. Schutz & Pekrun 2007; Goetz & Hall 2013). Med detta perspektiv vill vi bygga vidare på och bidra till den omfattande forskningen om skrivande inom högre utbildning. Inom detta fält har skribenters grundläggande tankeprocesser frilagts (t ex Bereiter & Scardamalia 1987), det akademiska skrivandets sociala praktiker är väl belysta (t ex Barton 2007), liksom akademiska genrers textmönster och språkdrag (t ex Swales, 1990; Bhatia 1993). Även för svenska förhållanden finns i forskningen om skrivande i högre utbildning detaljerade analyser, inte minst gällande lärarutbildning (t ex Ask 2007; Erixon & Josephson red. 2017; Hort 2020) men också andra utbildningar (Lennartsson Hokkanen 2016; Blåsjö 2004). Vi saknar emellertid alltjämt generaliserbara kunskaper om hur studenters erfarenheter av, attityder till och strategier i skrivande i utbildning relaterar till egenupplevd respektive institutionell studieframgång. Detta, menar vi, är ett högaktuellt område för skrivforskningen att adressera, för att på allvar kunna bidra till utvecklandet av hållbara skrivpedagogiska praktiker.

Förstudien som presenteras har två syften. Dels att pröva genomförbarheten i en praktikorienterad modell för datainsamling, återkoppling till studenter och workshopar med lärarkollegier. Dels att utveckla och stegvis validera ett enkätverktyg om skrivande för svenska högskoleförhållanden. Förstudien genomfördes hösten 2020, sju program deltog i förstudien och 251 studenter besvarade enkäten (svarsfrekvens = 77%). Vid presentationen går vi kort igenom genomförandet, därefter fokuserar vi de valideringsanalyser som gjorts. Vi presenterar enkätdesignen, och ger exempel på item- och indexanalyser. Genom faktor- och klusteranalys har vi identifierat fyra skribenttyper, som skiljer sig signifikant åt gällande mått som indexerar olika aspekter av hållbar studieframgång. Slutligen diskuterar vi vilka forskningsfrågor att det övergripande projektet kan besvara med hjälp av det utprovade enkätverktyget. 

Referenser:

Ask, S. (2007). Vägar till ett akademiskt skriftspråk. Växjö: Växjö University Press

Bereiter, C., & Scardamalia, M. (1987). The psychology of written composition. Lawrence Erlbaum Associates, Inc.

Blåsjö, M. (2004). Studenters skrivande i två kunskapsbyggande miljöer. Stockholm: Acta Universitatis Stockholmiensis

Erixon, P.O. & Josephson, O. (red.) (2017). Kampen om texten: Examensarbetet i lärarutbildningen. Lund: Studentlitteratur AB

Goetz, T. & Hall, N. C. (2013) Emotion and Achievement in the Classroom. I: J. Hattie & E.M. Andeman (red.) International guide to student achievement, s. 192-195. London: Routledge

Hort, S. (2020). Skrivprocesser på högskolan: Text, plats och materialitet i uppsatsskrivandet. Örebro: Örebro University

Lennartson-Hokkanen, I (2016). Organisation, attityder, lärandepotential: ett skrivpedagogiskt samarbete mellan en akademisk utbildning och en språkverkstad. Stockholm: Institutionen för svenska och flerspråkighet, Stockholms universitet

Schutz P.A. & Pekrun, R. (red.) (2007) Emotions in education. San Diego, CA: Academic Press.

Sterling, S. (2001) Sustainable Education – Re-Visioning Learning and Change, Schumacher Society Briefing no. 6, Dartington: Green Books.

 [1] I viss mån knyter vi här an till begreppet  hållbar utbildning (sustainable education), vilket kan ses som ett transformativt paradigm som värdesätter, upprätthåller och realiserar mänsklig potential “in relation to the need to attain and sustain social, economic and ecological well being, recognising that they must be part of the same dynamic (Sterling, 2001 s. 22). 

Relating to norms in a criterion-referenced system of evaluation.

Since the 1990s, the Swedish system of evaluation is criterion-referenced. In this system, one of the main purposes of national tests is to promote equity in assessment. This article explores how teachers in the subject fields of English and Swedish in compulsory school (grades 6 and 9), understand the relationship between the act of grading and the national test results. We find that the teachers we have interviewed typically dismiss quantitative data and comparisons at aggregated levels and we argue that this dismissal has its root cause in an erroneous understanding of criterion-referenced assessment as completely independent of norms. A better, more nuanced understanding of the role of norms in criterion-referenced assessment would, we suggest, allow teachers to make better use of the potential of national tests in promoting equity.