Tetter kommunikasjonsgapet ved hjelp av kunstig intelligens

Tekst: Ingvild Garmo Nilsson

Foto: Ida Gøytil

-Hvem er dere i DeepSign?

Oline: Jeg er daglig leder i DeepSign og har bakgrunn i fysikk. Det har vi alle sammen, men jeg har også en bror som bruker tegnspråk. Han har i tillegg en medisinsk bakgrunn som gjør at han har store utfordringer med å lære norsk som andrespråk. Hele livet har jeg levd tett på tegnspråket og dets kultur, og jeg har vært vitne til de store utfordringene min bror har stått overfor. Jeg har også sett at han er langt fra den eneste samfunnet ikke har klart å tilrettelegge godt nok for.

-Tegnspråkbrukere er en kompleks gruppe mennesker. Døvemiljøet er først og fremst en språklig minoritet, men som alle andre grupper omfatter de også mennesker med medisinske- eller sosiale omstendigheter som gjør kommunikasjon utfordrende. Under én prosent av befolkningen kan tegnspråk, og dette kan fort lede til stor grad av isolasjon og ekskludering fra omverdenen. Vi håper å bygge verktøy som kan være med på å lette utfordringene i kommunikasjonsgapet.

-Gjennom vår bakgrunn i fysikk har vi brukt maskinlæring til å lete etter mønstre i store mengder data fra verdensrommet. Hvis man tenker på språk som en form for kompleks mønstergjenkjenning, er veien kort til å innse at de samme verktøyene kan anvendes for språk. Dette satte oss på sporet av forskningsfeltet naturlig språkprosessering.

Julie: I DeepSign jobber jeg med alt kreativt, design og prototyping. Jeg har tidligere drevet med tegning og design på hobbybasis, og får nå brukt denne kompetansen i kombinasjon med programmering og matematikk fra fysikkutdannelsen min. Selv har jeg ikke noe personlig forhold til døvemiljøet, men jeg brenner for å gjøre samfunnet mer tilgjengelig og rettferdig for alle, uansett hva de sliter med, hva de er født med, og hvilke utfordringer de har.

Jonas: Jeg har en master i dataorientert astrofysikk. Dette har gitt meg en solid bakgrunn i maskinlæring. Hovedansvaret mitt er derfor knyttet til den tekniske driften av DeepSign, som utviklingen av maskinlæringen, hvor vi prøver å bruke naturlig språkprosessering og maskinoversettelse til å løse kommunikasjonsproblemet.

Hva mener dere med naturlig språkprosessering?

Jonas: Naturlig språkprosessering er et paraplybegrep for all type maskinlæring, som går på forståelse av språk og språkets kontekst. Undergruppen av språkprossesering som kalles maskinoversettelse, er mest relevant for oss. Dette er teknologien som brukes av blant annet Google Translate, men den er ennå ikke godt utviklet for tegnspråk. Det er flere tekniske problemer knyttet til produktet som skal tilgjengeliggjøre oversettelsene mellom norsk og norsk tegnspråk, og ett av disse er å finne de grammatiske og syntaktiske forskjellene mellom disse språkene.

Tegnspråk er et fullverdig språk på lik linje med norsk, men det bygger på helt andre grunnstrukturer. Vi må derfor kartlegge forskjellen mellom blant annet intonasjon i lyd og bruken av ansiktsuttrykk og kroppsspråk.

Oline: Tegnspråk er et utrolig rikt språk. Det bygger blant annet på håndkonfigurasjoner, men bruken av ansiktet og kroppspråk har også stor betydning for hvordan man uttrykker mening, kontekst og følelser, og hvordan man lader setninger – akkurat som intonasjon anvendes i lydspråk. Det er veldig mange måter å forholde seg til tegnrommet på. Hvordan man referer til objekter eller tid, har sin egen grammatiske struktur og oppbygging. Tegnspråk er et fullverdig språk på lik linje med norsk, men det bygger på helt andre grunnstrukturer. Vi må derfor kartlegge forskjellen mellom blant annet intonasjon i lyd og bruken av ansiktsuttrykk og kroppsspråk.

-I tillegg finnes det et rikt spekter av tegnspråkdialekter. Disse kan for eksempel dukke opp rundt et spesifikt skolemiljø, eller steder hvor tilbud på språkopplæring ikke er tilgjengelig. Det gjør at man ofte må hjelpe til litt selv, så hjemmetegn er utbredt.

– Hvordan skal dere få programvaren til å virke for så store lokale variasjoner?

Oline: Det er et utrolig komplisert spørsmål. Dette er noe av det vi må være mest forsiktige med når vi utvikler teknologien vår: at vi bevarer det rike og vakre tegnspråket på best mulig måte. Veien dit er lang, og det må mye brukertesting og feiling til før vi kommer til punktet hvor vi kan si at det er forsvarlig å introdusere denne typen teknologi.

-Vi har ikke svaret enda, men vi ser at behovet for assisterende kommunikasjonsteknologi er stort for enkelte. Min bror har blitt satt av bussen langt utenfor allfarvei fordi bussjåføren har misforstått ham i en stressende situasjon, og mine foreldre har måttet kjøre og lete etter ham i mange timer. Andre har opplevd å ikke få den umiddelbare hjelpen de trenger på sykehus fordi de må vente på tolk. Teknologi kan løse slike problemer på sikt, ved å åpne opp for fri flyt av samtaler og tjenester mellom tegnspråkbrukere, hørende og alle samfunnsinstanser – men det må gjøres i tett samarbeid mellom døvemiljø og teknologi.

– Dere nevnte at  ingen andre har gjennomført et slikt prosjekt før. Finnes det ingen som har gjort det på verdensbasis heller?

Julie: Mitt inntrykk er at det er mange som har startet et slikt prosjekt, men at ingen ennå har kommet helt i mål. Det er ofte et resultat av at problemet er så komplekst med tanke på både teknologi, kulturhistorie og språkidentitet. Prosjektene får ikke videre støtte, og problemstillingen er komplisert. Så i dag er det fortsatt ingen som har fått til det vi ønsker å oppnå. Likevel ser vi at det er noen forskningsmiljøer i Europa som begynner å nærme seg. EU har i år satset på svært spennende prosjekter som SignOn og EASIER, så vi ser at interessen øker.

Teknologi kan løse slike problemer på sikt, ved å åpne opp for fri flyt av samtaler og tjenester mellom tegnspråkbrukere, hørende og alle samfunnsinstanser – men det må gjøres i tett samarbeid mellom døvemiljø og teknologi. 

– Hvordan tenker dere at det endelige produktet deres kommer til å se ut?

Oline: Opprinnelig hadde vi en klar idé om hva produktet vårt skulle være, men nå har vi skjønt at vi må teste problemgrunnlaget først, før vi definerer produktet.

Jonas: Vi er litt usikre på hvordan produktet vil ta form, og det skyldes at vi ikke vet hvilke behov som er størst i døvemiljøet; dette forsøker vi nå å kartlegge ved hjelp av grupper fra Norges døvemiljø. Likevel er vi ganske sikre på at produktet vil ha en oversettelsesfunksjon – som er i stand til å oversette mellom norsk og norsk tegnspråk, en animasjonsfunksjon og muligens en videogjenkjenningsfunksjon. Hvilke funksjoner vi trenger avhenger av hvorvidt oversettelsen skal gå fra norsk til norsk tegnspråk eller vice versa. En av de store forskjellene mellom tegnspråk og skriftlige og verbale språk er at tegnspråk er visuelt, noe som også skaper en del utfordringer. Dette er en av grunnene til at arbeidet på denne typen tjenester har kommet mye kortere enn oversettelsesteknologi på andre fronter. Hvis du oversetter for eksempel norsk til engelsk, kommer begge språkene i samme format. Du har setninger som er bygget opp av ord, som igjen er bygget opp av bokstaver. I vår problemstilling derimot, har du tekst på den ene siden og bilder på den andre, noe som gjør oversettelsen mer komplisert. En annen grunn er at det finnes mye mindre tilgjengelig data på tegnspråk sammenliknet med mange verbale og tekstbaserte språk. Dette påvirker presisjonen til maskinoversettelsen, som avhenger av kvaliteten og størrelsen på datamaterialet maskinen trener på. I tillegg har det eksisterende datamaterialet en mye mer komplisert natur enn tekstspråk.

– Hvordan begynte dere å organisere dere?

Oline: Jonas fikk en telefon fra Insj, som tilbyr veiledning for student-startups, og spurte så meg om vi skulle søke midler fra Forskningsrådet. Jeg sa: «jeg har en idé – la oss gjøre dette», og så kastet vi oss rundt og skrev en søknad på to uker med hjelp fra Insj. For Forskningsrådet var det klart at dette var et problem som måtte løses. Vi har opplevd en del oppturer og nedturer, men det har vært en utrolig rik og lærerik opplevelse. Kommunikasjon er frihet, og om vi ikke forstår hverandre kan det bli vanskelig og sårt å leve side om side i samme samfunn.