“Införandet av AI-system inom utbildning är viktigt för att främja digital utbildning av hög kvalitet och göra det möjligt för alla studerande och lärare att förvärva och dela de digitala färdigheter och kompetenser som krävs, inbegripet mediekunnighet, och kritiskt tänkande, för att aktivt delta i ekonomin, samhället och i demokratiska processer.”
-- ur förordet till EU:s AI-förordning
Olika typer av AI-baserade lösningar kan vara till nytta i undervisningen, men de bör utvecklas och tas i bruk på ett ansvarsfullt sätt. Om vi låter bara första bästa AI-chattbot bedöma elevernas prestationer och antecknar resultaten som sådana i studieregistret är det inget ansvarsfullt med det vi gör. För att alla ska vara på det klara med vad som avses med ansvarsfull användning beskriver EU:s AI-förordning situationer som kräver särskild försiktighet.
Ansvaret för AI-lösningarna i undervisningen ligger hos utbildningsinstitutionen, inte läraren. Å andra sidan är alla företag skyldiga att säkerställa sina anställdas AI-kompetens. Därför måste utbildningsinstitutionen utbilda sina lärare i att arbeta med AI-system på ett ansvarsfullt sätt. I den här korta artikeln kommer jag att beskriva de allmänna principerna i AI-förordningen, som hjälper läraren att få en översikt. Det viktigaste budskapet är dock att utbildningsinstitutionen måste erbjuda lärarna tillräckliga anvisningar om hur de hantera olika AI-system.
Utbildningsinstitutionen måste erbjuda lärarna tillräckliga anvisningar om hur olika AI-system ska hanteras.
Målet är tillförlitliga AI-verktyg
Nästan vad som helst kan förses med eller utföras med hjälp av AI: bilar, leksaker, rekryteringsprocesser, brottsbekämpning eller till exempel elevbedömning. Det är rätt uppenbart att ogenomtänkt tillämpning av AI till exempel i en självkörande bil eller vid bedömning av elevers uppsatser, innebär en hel del risker.
Riskerna kan delas in i två grupper. De kan
- äventyra människors grundläggande rättigheter eller
- de kan ge upphov till farliga produkter.
De grundläggande rättigheterna omfattar till exempel rätten till utbildning, arbete, yttrandefrihet, religionsfrihet och jämlikhet.
Farliga produkter regleras genom produktreglering. EU har lagar som reglerar säkerheten i till exempel bilar, hissar, livsmedel eller elektrisk utrustning. CE-märkningen indikerar att tillverkaren lovar att produkten är säker att använda. Samma princip ska gälla också den delen av produkten som styrs av AI.
Syftet med AI-förordningen är att säkerställa att det på EU-marknaden finns endast tillförlitliga AI-tjänster. Omvänt innebär det att om ett AI-verktyg kan ge upphov till besvär (eller risker) måste man se till att det är tillförlitligt – det ska alltså utformas med eftertanke.
Det är en hel del som då ska tas i beaktande, men sammanfattat är det fråga om en sak: god datahantering (eng. data governance). När dataflöden identifieras, beskrivs och hanteras på rätt sätt är det också lättare att säkerställa ansvarsfull användning och tillförlitlighet. Tack vare datahantering är det lättare att tackla dataskyddsfrågor och säkerställa tillförlitligheten hos AI. I samma veva är det bra att också fokusera på kvalitetskontroll och riskhantering.
När dataflöden identifieras, beskrivs och hanteras på rätt sätt är det också lättare att säkerställa ansvarsfull användning och tillförlitlighet.
Risknivåer
AI-systemen kan kategoriseras utifrån riskerna de har.
- För hög risk: Vissa extrema användningsområden, som inte överensstämmer med europeiska värderingar, är helt och hållet förbjudna. Sådana användningsområden är bl.a. social poängsättning av medborgare genom att kombinera olika databaser, biometrisk fjärridentifiering av medborgare i realtid eller kognitiv-behavioristisk manipulering av människor.
- Hög risk: AI är en del av en reglerad produkt eller den kan utgöra en betydande risk för människors grundläggande rättigheter. Det här är tillåtet, men AI-tjänsterna måste utformas och implementeras med eftertanke, dokumenteras och godkännas av myndigheterna.
- Minimal risk: Till exempel chattbottar, bildgeneratorer och liknande verktyg, som producerar innehåll som människor kan ta del av. Det enda kravet är att användaren informeras om att det är fråga om ett AI-baserat verktyg.
- Obefintlig risk: Vissa bakgrundsprocesser, som skräppostfilter eller AI-generad terräng i dataspel. Dessa är inte knutna till några skyldigheter.
Inom utbildningssektorn har bland annat följande AI-system hög risk:
- studentantagning
- bedömning av inlärningsresultat
- bedömning av en persons framtida utbildningsbehov
- övervakning av studerande under provtillfällen.
Listan ovan ger bara vissa riktlinjer, och risknivån påverkas också av hur självständigt AI-systemet tillåts fungera. Om ett AI-verktyg till exempel bara assisterar i bedömningen av inlärningsresultaten, som läraren utför, är det inte nödvändigtvis fråga om högriskanvändning. Om AI istället självständigt får ge förslag på bedömningsresultat är risknivån högre.
När du ska börja använda ett AI-verktyg
Leverantören av ett AI-verktyg måste känna till vilken risknivå som gäller för användningen av verktyget. CE-märkningen i AI-verktyget indikerar att det har utformats i enlighet med EU:s kvalitetskrav.
AI-förordningen förutsätter vissa åtgärder med syfte att säkerställa AI-verktygens tillförlitlighet, när verktyg med hög risk ska tas i bruk. Åtgärderna får dock med fördel vidtas även om det inte är obligatoriskt.
Även om leverantören av AI-verktyget har tagit hand om sin andel och informerat alla involverade bör ni som tar i bruk verktyget också göra er andel.
- Datahantering: Hur ska systemet användas, vilka data kan det matas med och vilka personer ska ha tillgång till dem? Datasekretess, dataskyddsfrågor och etiska aspekter ska beaktas.
- Kvalitetskontroll: Hur övervakas det att systemet fungerar och hur upptäcks felsituationer? Det är av största vikt att kontrollen utförs av personer med expertis och att den dokumenteras.
- Riskhantering: Planen vidare efter felsituationer, datasäkerhetsproblem osv.
Så här utvecklar du AI
Som utvecklare av ett AI-system ska du identifiera vilka ändamål dina kunder har tänkt använda AI för och vad som är den högsta risknivån bland dem. Är det fråga om ett system med hög risk förutsätter AI-förordningen att vissa åtgärder vidtas, men de får gärna övervägas också annars.
- Datahantering: Datakällor, metadata, träningsalgoritmer, tillgång till data
- Kvalitetskontroll: Automatiserade test, kontroll av kvaliteten i träningen, kontroll vid användning
- Riskhantering: Systemiska risker, utvecklarens egna risker, risker som orsakas av kunders agerande. Riskhanteringsplan.
Läs mera
I Finland utgör Traficom en samlande instans för tillsynsmyndigheterna. På Traficoms webbplats finns närmare anvisningar och myndigheternas kontaktuppgifter.
Sitra erbjuder en självstudiekurs om AI-förordningen, som kommer att ingå i kursserien Datatalouden ABC (‘ABC i dataekonomi’). Kursen färdigställs och publiceras under våren 2025 på adressen https://www.sitra.fi/hankkeet/datatalouden-abc/
- Läs guiden kapitel för kapitel på vår webbplats – tack vare Svenska folkskolans vänner rf också på svenska
Jaa eteenpäin
