Vi ser KI overalt, bare ikke i produktivitetsstatistikkene. Hvordan hente ut effektene av bruk av KI på virksomhetsnivå?

Kvinnelige "computers" ved ENIAC maskinen, februar 1946

KI brukes i dag både av IT-utviklere for å løse utviklingsoppgaver raskere og av organisasjoner for å effektivisere deler av arbeidsprosessene. Mens det er liten tvil om at dette gir økt produktivitet på oppgave- og individnivå, finnes det lite dokumentasjon på at KI i IT-utvikling leverer mer verdi per investert krone eller at organisasjoner som helhet blir mer produktive. Dette kan skyldes at det faktisk er økt produktivitet, men at vi ikke klarer å måle den eller at det tar litt tid før den oppstår (ref. det såkalte Solow-paradokset fra 1980-tallet, der man lenge ikke kunne se effekten av “the computer age” i form av økt produktivitet). Det kan imidlertid også skyldes at vi trenger å endre utviklingsprosesser og arbeidsprosesser for å hente ut effektene og unngå at flaskehalser bare flyttes, at frigjort tid brukes uproduktivt eller at verifikasjon av KI-genererte løsninger og evalueringer spiser opp gevinstene.

I dette seminaret vil vi forsøke å belyse hva man bør unngå, og hva som skal til for at bruk av KI gir den ønskede effekten på organisasjonsnivå - både for selve IT-utviklingen og for bruk av KI-løsninger i andre arbeidsprosesser. Dette omfatter tema som:

• Hvilke endringer kreves i produktorientering og nyttestyring for å oppnå god totaleffekt av bruken av KI i IT-utviklingen? Hvordan, for eksempel, unngå at produkteiere og linjeledelse blir flaskehalser?
• Når en organisasjon har bestemt seg for å bruke KI i egen virksomhet, hvordan bør det påvirke roller og prosesser?
• Hvordan bør IT-ledelse gjennomføres for å styre kostnader og verdiskapning ved økt bruk av KI?
• Hvordan unngå negative langsiktige effekter av bruk av KI, som for eksempel økt teknisk gjeld i IT-systemene og stadig lavere kompetanse i gjennomføring av arbeidsoppgaver som helt eller delvis overtas av KI?

Vi anbefaler alle å møte fysisk, men det er også mulig å delta via zoomseminar på  https://simula.zoom.us/j/68513398863

Program:

8.00 - 8.30 - Frokost og mingling

8.30 - 8.35: Velkommen. Magne Jørgensen

8.35 - 9.00 - Når kontrollen spiser gevinsten: Kontinuerlig evaluering som forutsetning for KI-gevinster i offentlig sektor v. Michael A. Riegler SimulaMet

9.00 - 9.10 - Undersøkelse. 

9.10 - 9.20 - Påfyll kaffe

9.20 - 9.45 - Hva gjør norske organisasjoner med agentisk utvikling?  v/ Jan Henrik Gundelsby, KnowIt Research

9.45 - 10.10 - Mangel på effekt eller mangel på tillit? En tillitsbasert tilnærming for å skape langsiktig verdi v/Birthe Nesset, Tet Digital

10.10- 10.35: Hva skal til for å bruke KI i Skatteetaten, og hva blir effektene? v/ Bjørn Eriksen, Skatteetaten

10.35 - 10.40 - Resultater fra spørreundersøkelse, avslutning og vel hjem. 

Hovedinnlegg: Når kontrollen spiser gevinsten: Kontinuerlig evaluering som forutsetning for KI-gevinster i offentlig sektor
v. Michael A. Riegler, SimulaMet

KI kan gjøre enkeltoppgaver raskere, men noen må fortsatt stå inne for kvaliteten på det KI-en leverer. Uten gode måter å gjøre det på havner mange virksomheter i én av tre feller: 1) Alt kontrolleres manuelt, med det som følge at verifikasjonen spiser opp gevinsten, 2) Svarene tas i bruk ukritisk, og feilene når brukerne, 3) Løsningen blir stående i pilot fordi ingen kan dokumentere at den er god nok. Innlegget viser hvorfor generelle benchmarker sier lite om hvordan en løsning fungerer i egen virksomhet, og hvorfor en språkmodell kan gi riktig svar av feil grunn. Utgangspunktet er et samarbeid mellom Helsedirektoratet, Telenor AI Factory og SimulaMet om en KI-basert informasjonstjeneste for ungdom. Innlegget viser hvordan automatisert og kontinuerlig testing kan bygges inn i utvikling og drift, slik automatiske tester ble en del av moderne programvareutvikling. Fagfolk definerer hva som er et godt og trygt svar, testene kjøres på nytt ved hver endring, og resultatene gir dokumentasjon for styring og anskaffelser. Slik blir det mulig å drive adaptiv nyttestyring, dvs å definere hvilken effekt KI-en skal gi, måle den underveis og justere kursen etter hvert som man lærer. Til slutt presenteres fire prinsipper for evaluering som gjør effekten av KI målbar.

Michael A. Riegler er sjefsforsker og leder for AI Safety-avdelingen ved SimulaMet, og professor ved OsloMet. Han leder også arbeidet med KI-sikkerhet i Simulas Centre for AI Security and Safety (CAISS). Forskningen hans handler om utvikling og evaluering av KI-systemer, særlig i helse, med vekt på sikkerhet, forklarbarhet og hvordan kvaliteten til KI kan måles der den faktisk brukes. Han samarbeider tett med offentlig sektor, blant annet Helsedirektoratet, om testing av språkmodeller i norsk kontekst.

Innlegg: Hva gjør norske organisasjoner med agentisk utvikling? <kan bli endret mhp tittel og innhold, bør be om oppdatert versjon>
v. Jan Henrik Gundelsby, KnowIT Research

I forskningsprosjektet KAIROS følger vi flere systemutviklingsteam for å forstå hva som faktisk skjer når AI-agenter tas i bruk i praksis. Det gir oss et unikt innblikk i hvordan ulike team nærmer seg AI og hvorfor noen kommer videre enn andre. Foredraget vil trekke frem forskjellige funn fra denne forskningen.

Jan Henrik Gundelsby har over 25 års erfaring som utvikler, arkitekt og teknologileder i store prosjekter og programmer. Han har jobbet med store strategiske satsninger på digitalt førstevalg og digital transformasjon, og har vært sentral i å bygge DevOps-kultur, mikrotjenestearkitektur og produktorganisasjon hos store virksomheter. Jan Henrik var tidligere CTO i Knowit, og er nå leder for Knowit Research. Der jobber han med å tette gapet mellom akademia og praksis, med fokus på hvordan AI endrer samarbeid, roller og arbeidsprosesser i utviklingsteam. Han er også forsker i KAIROS-prosjektet, der han sammen med SINTEF Digital studerer norske utviklingsteam som tar i bruk AI-agenter.

Innlegg  Mangel på effekt eller mangel på tillit? En tillitsbasert tilnærming for å skape langsiktig verdi
v/Birthe Nesset, Tet Digital

• Hva er tillit og hvorfor er det viktig
• Hvordan bygge tillit mellom mennesker og teknologi
• Hva skjer med ansatte og team når de møter “kunstig” tillit
• AI - Ansatte - Organisasjon: Hvordan påvirkes tilliten vi har til jobb når AI blir en større del av arbeidshverdage
  

Birthe er AI Enablement Lead i Tet Digital og har en PhD i Menneske–maskin-interaksjon fra Heriot-Watt University.

Innlegg: Hva skal til for å bruke KI i Skatteetaten, og hva blir effektene?
v. Bjørn Eriksen,. Skatteetaten

Skatteetaten har brukt maskinlæring i 15 år og generativ KI siden det kom. Hva har vi lært underveis frem til i dag; hva skal til, hva får vi til og hvilke effekter ser vi at vi kan realisere. Hva tenker vi er neste steg ?

Bjørn Eriksen er siviløkonom,og har vært opptatt av digitalisering og effektiv bruk av IT i over 30 år, først i privat sektor og deretter offentlig sektor siden 2000. Bjørn har jobbet som rådgiver/konsulent i mange år og nå som arkitekt med fokus på sky, data, analyse og kunstig intelligens i Skatteetaten siden 2015.