Treningsdata
Treningsdata er informasjonen og eksemplene en kunstig intelligens mates med for å lære mønstre, forstå språk eller gjenkjenne bilder.
Treningsdata er det underliggende materialet en datamaskin analyserer for å bygge en kunstig intelligens eller maskinlæringsmodell. Uten treningsdata finnes det ingen modell: det er gjennom disse dataene algoritmen lærer sammenhenger, gjenkjenner strukturer og forstår hvordan den skal løse oppgaver på egen hånd.
Materialet kan bestå av milliarder av setninger fra nettsider, digitaliserte bøker, programkode, merkede fotografier, videoopptak eller regneark. Akkurat som et barn lærer hva en katt er ved å se mange forskjellige katter under ulike lysforhold, lærer en bildegjenkjenningsmodell å identifisere katter ved å analysere tusenvis av bilder som er merket med ordet «katt».
Hvor kommer dataene fra?
Opprinnelsen til treningsdata varierer etter hva modellen skal brukes til. De største språkmodellene trenes hovedsakelig på enorme mengder åpen tekst samlet inn fra det åpne internettet ved hjelp av automatiske søkeroboter, samt lisensierte samlinger av bøker, artikler og oppslagsverk.
I andre tilfeller lages treningsdata helt spesifikt for en oppgave. Dette kan inkludere:
- Brukergenerert innhold: Innlegg i diskusjonsfora, produktanmeldelser og kommentarer.
- Offentlige registre og åpne data: Værdata fra Meteorologisk institutt, kartinformasjon eller offentlig saksbehandling.
- Egenproduserte bedriftsdata: Tidligere kundehenvendelser, interne rapporter, sensorlogger fra fabrikker eller fakturahistorikk.
- Syntetiske data: Kunstig genererte data produsert av andre datamaskiner for å simulere situasjoner der reelle data er mangelvare eller sensitive.
Kvalitet fremfor kvantitet: Søppel inn, søppel ut
Et kjent prinsipp innen datavitenskap er at kvaliteten på resultatet aldri kan bli bedre enn kvaliteten på grunnlaget. Hvis en modell trenes på utdaterte oppskrifter, fordomsfulle tekster eller faktiske feil, vil den gjenskape og forsterke disse feilene i sine egne svar. Dette kalles gjerne for «søppel inn, søppel ut».
Mangfold er like avgjørende som nøyaktighet. Dersom treningsdataene bare inneholder tekster skrevet på standard bokmål fra offentlige etater, vil modellen slite med å forstå uformelt fagspråk, dialekter eller nynorsk. Rensing og filtrering av treningsdata er derfor en av de mest tidkrevende oppgavene i utviklingen av pålitelig programvare.
Et lokalt eksempel: Rørleggerbedriften i Drammen
Tenk deg en mellomstor rørleggerbedrift i Drammen som ønsker et automatisk system for å prioritere innkommende serviceforespørsler. For at systemet skal lære forskjellen på en akutt vannlekkasje og en forespørsel om oppussing av bad til neste år, må det fôres med historiske treningsdata.
Bedriften henter ut tre tusen anonymiserte e-poster fra de siste fem årene. Hver e-post merkes manuelt med riktig kategori: «haster», «standard oppdrag» eller «tilbud». Modellen analyserer ordlyden, setningsoppbyggingen og mønstrene i disse meldingene. Etter treningen kan systemet automatisk flagge en ny e-post fra en kunde på Konnerud med sprukket rør midt på natten som et hasteoppdrag, fordi språkbruken matcher tidligere nødmeldinger i treningssettet.
Opphavsrett og moderne utfordringer
Innsamling av treningsdata har utløst store juridiske og etiske diskusjoner over hele verden. Forfattere, aviser, fotografer og kunstnere har reist spørsmål om hvorvidt teknologiselskaper har lov til å hente inn deres åndsverk uten eksplisitt samtykke eller kompensasjon.
Dette har ført til at mange nettsteder nå blokkerer automatiske innsamlingsroboter via tekniske standarder. Samtidig inngår teknologiselskaper direkte lisensavtaler med mediehus og forlag for å sikre seg lovlig tilgang til kvalitetssikrede tekster, samtidig som interessen for syntetiske data vokser raskt.
Vanlige feil med treningsdata
- Å glemme datalekkasje: Hvis testdata blandes inn i treningsdataene, vil modellen virke feilaktig flink under testing, men feile i møte med den virkelige verden.
- Bruk av ubalanserte datasett: Hvis 99 prosent av dataene beskriver én situasjon, vil modellen aldri lære å kjenne igjen de sjeldne, men kritiske unntakene.
- Manglende personvern: Å mate modeller med data som inneholder personnummer, helseopplysninger eller interne hemmeligheter uten grundig anonymisering på forhånd.
Ofte stilte spørsmål
Hva er forskjellen på treningsdata og testdata?
Treningsdata brukes til å lære opp modellen og justere dens indre mønstre, mens testdata holdes helt adskilt for å sjekke hvor godt modellen presterer på informasjon den aldri har sett før.
Hvorfor er opphavsrett et problem for treningsdata?
Mange modeller er trent på materiale skrapet fra nettet uten tillatelse fra forfattere, fotografer eller utgivere, noe som skaper juridisk tvil om opphavsrett og rettferdig kompensasjon.
Kan en liten bedrift bruke sine egne data som treningsdata?
Ja, bedrifter kan bruke egne logger, e-poster eller kundedata til å finjustere eksisterende modeller eller bygge egne spesialiserte verktøy, forutsatt at personvern og GDPR ivaretas.
Hva betyr uttrykket søppel inn, søppel ut?
Det betyr at hvis treningsdataene inneholder feil, fordommer eller støy, vil den ferdige modellen også produsere upålitelige og feilaktige resultater uansett hvor avansert algoritmen er.
