Kultur

Google vil la mobilen 3D-skanne omgivelsene dine

Med Project Tango forsøker Google å gi mobilen en helt ny evne til å bli klar over omgivelsene sine og smelte dem inn i den digitale verden. Den første modellen kommer allerede til sommeren.

Med Project Tango kan enhver mobil se nøyaktig hvor den befinner seg, og for eksempel smelte en digital kattunge inn i en fysisk verden – på skjermen.
  • Per Kristian Bjørkeng
    Per Kristian Bjørkeng
    Journalist

Tenk deg om mobilen kunne lede deg helt nøyaktig og direkte til hver eneste vare i matbutikken. Eller veilede blinde innendørs, og gi deg detaljer om akkurat den lille delen av et maleri du ser på.

80 prosent av livet vårt leves innendørs. Men mobilene våre, som er blitt så gode til å finne frem utendørs at mange av oss er blitt helt avhengig av den for å navigere på ukjente steder, har oftest bare en vag anelse om hvor du og befinner deg når du er under tak.

Det legger store begrensninger på hva som er mulig å få til med apper. Å hjelpe deg med å finne frem i et kjøpesenter er derfor nesten umulig.

Til høsten kommer den første mobilen med Project Tango, en serie med sensorer og teknologi fra Google. De skal gjøre det mulig for mobilen å fungere som en slags avansert 3D-skanner.

Teknologien lager en digital kopi av virkeligheten rundt deg og kan forstå omgivelsene sine på en helt annen og mye mer nøyaktig måte enn i dag.

Noe så grunnleggende viktig som å vite om du er på soverommet (en app kan foreslå rolig musikk) eller foran kjøleskapet (en app kan minne deg på å sjekke om du har nok melk) blir plutselig mulig.

Digital kattunge i magisk vindu

Vi besøker Google på Aker brygge i Oslo, der det lekne kjempeselskapet ikke bare har installert en lavvo og et bordtennisbord, men også strandstoler og et hvitt elghode foran den digitale peisen. Når systemarkitekt Steven Goldberg holder opp et Tango spesialnettbrett foran et lite bord og filmer med det, hopper en kattunge opp på bordet og vil leke.

Men vi ser dyret bare på skjermen. Det virkelige bordet bak nettbrettet er akkurat like svart og kjedelig. Når han flytter på enheten og peker på en stol med kameraet i stedet, hopper kattungen ned på gulvet og opp i stolen han peker på. Hva er det som foregår?

Steven Goldberg jobbet tidligere i NASA og skrev programvare for de selvkjørende roverne som ruller rundt på Mars. Nå pendler han mellom Oslo og Silicon Valley og er systemarkitekt i Project Tango.

Systemarkitekt Steven Goldberg koser seg på Googles merkelige Oslokontor, og beroliger den som nå bekymrer seg for at gigantselskapet vil ta opp alt vi gjør. – Vi lagrer ikke videoopptakene og sender dem ikke til skyene. Bildene kastes og vi bruker dem bare til måling. Derfor er det liten risiko for personvernbrudd, mener han.

– På universitetene har forskerne kunnet gjøre noe lignende i tre tiår nå. Da de begynte, måtte de fylle opp en liten varebil med utstyr for å få det til. Nå skal vi klare å få plass til det som trengs inne i en helt vanlig mobiltelefon, forteller Goldberg.Han ser for seg en lang rekke eksempler på hva teknologien kan brukes til når mobilen plutselig blir helt eksakt klar over sine omgivelser innendørs. Under mobilkongressen i Barcelona tidligere i vintersamarbeidet Google sammen med et museum og Lenovo om en demonstrasjon.

Ny læring i museet

Med Tango gjorde de det mulig å navigere rundt i museet på en helt ny måte.

Publikum kunne følge en sti som ble flettet inn i virkeligheten og var synlig gjennom nettbrettets «magiske vindu», akkurat som den animerte katteungen var flettet inn i virkeligheten på bordet.

Det var også mulig å kikke på små detaljer i maleriene, og få opp spesifikk informasjon om akkurat de tingene hver betrakter var interessert i.

Et annet mål med prosjektet er å gi blinde muligheter til å finne frem i helt ukjente omgivelser.

– Hvis en blind kommer til et hotellrom, må han eller hun simpelthen føle seg frem til sengen og toalettet med hendene. Med en Tango-enhet kan de simpelthen få stemmefeedback om at «toalettet er to meter fremover og 20 grader til venstre», forteller han.

Tango er ikke alene om å levere banebrytende teknologi:

Les også

Vet DU hva blockchain er? Ikke skyld på oss, om du hopper over denne artikkelen.

Lager personlig sti gjennom matbutikken

For at prosjekt Tango skal lykkes, må alle mobiler få 3D-sensorer og et ekstra kamera. De brukes til å 3D-skanne omgivelsene i sanntid, og så kan mobilen både vite hvor den selv er og smelte digital informasjon inn i virkeligheten.

Et annet eksempel Goldberg trekker frem er navigasjon i butikker. Alle som har hatt dårlig tid og lang liste i en ukjent dagligvareforretning kan nok kjenne på behovet.– Appen til Meny er et godt eksempel. Den lager allerede en liste over varene du har kjøpt tidligere og foreslår en handleliste. Ville det ikke være fint om den også kunne gjøre handlelisten om til en personlig, tredimensjonal sti gjennom butikken? Slik ville du kunne gå rett gjennom og plukke med deg alt du trenger, uten å måtte sjekke lister og lete etter tingene du trenger, spør Goldberg. Dette vil altså være mulig uten at alle butikker trenger å installere spesielle sensorer for å kommunisere med mobiler.

Et stykke igjen

Fortsatt er det ganske mye som skal på plass før du kan ta i bruk teknologien. Men Google har den store fordelen at selskapet kontrollerer Android. Dette mobile operativsystemet har en markedsandel på verdensbasis på over 80 prosent. Det er få andre med en like stor mulighet til å realisere luftige planer.

– Jeg håper teknologien følger samme bane som GPS gjorde. I starten fantes GPS bare på noen få telefoner. Men etter hvert har det blitt en helt nødvendig del av en smarttelefon og noe alle har, sier Goldberg.

Teknologien som ligger bak er imidlertid ikke triviell. For at Tango skal bli en realitet, må hver eneste telefon utstyres med to nye kameraer, et dybdekamera og et bevegelseskamera. Sammen med avansert programvare skal de bygger tre nye nivåer av forståelse inn i mobilen. Det første kalles seks graders frihet og fungerer i praksis som en 3D mus som kartlegger alle mobilens bevegelser. Den kan kartlegge bevegelsene til mobilen med en nøyaktighet som bare avviker med en centimeter pr. meter.

Kjenner seg igjen

Det andre nivået kalles digital områdebeskrivelse, og gjør det mulig for mobilen å kjenne igjen ting og steder den har sett før. Dermed blir det mulig å korrigere feil i 3D-musen med korreksjoner fra virkeligheten. Det tredje nivået som alle enheter må ha, er en dybdesensor basert på infrarødt lys.

Den måler nøyaktig avstand fra en Tango-enhet og til objekter i den virkelige verden, slik at det blir mulig for mobilen å se at det står et bord foran kameraet som det er mulig å plassere en digital kattunge på. Når du flytter på kameraet merker mobilen det umiddelbart, og flytter kattungen slik at det ser ut som den står fast på bordet.

Med Project Tango blir det mulig å 3D-skanne huset ditt bare ved å vifte med mobilen. Etterpå kan du for eksempel legge digitale spøkelser inn i skuffer og skap. De er bare synlige når du ser gjennom den skjermen, som du for eksempel kan sette på et lekegevær.

Alt i alt blir det mulig å lage så avanserte apper at du kan gå rundt i huset og totalkartlegge det hele, bare ved vifte med mobilen. Etterpå kan du gjemme digitale monstre, eller kattunger, i skuffer og skap.– 7-åringen min ville nok elsket å gå på jakt etter dem, smiler Steven Goldberg. Han erkjenner at det fortsatt er langt igjen før leseren av denne artikkelen kan oppleve det.

– Google kan ikke klare dette alene. Vi er helt avhengig av andre. Mobilprodusentene må synes det er verdt å legge sensorene inn i kameraene, og i tillegg må utviklerne legge inn funksjonaliteten sånn at det finnes apper som bruker den, sier han.

– Virker spennende

Den første mobilen med innebygget Project Tango kommer fra Lenovo til sommeren. Hvor mange som kaster seg på etter hvert, kommer nok an på responsen.

Blir resten av verden med? Jørgen Normann-Larsen er markedsdirektør i Meny. Han arbeider med appen MinMeny, som foreløpig har fått minst fem priser. Som app-utvikler er han blant dem Google trenger hjelp fra.

– Vi har ikke tenkt konkret på Project Tango, og jeg kan ikke si noe om hva vi vil legge inn av funksjonalitet i fremtiden. Men det er klart at det som handler om å hjelpe kunden med å handle i butikken, er et veldig spennende område. Vi ser helt klart at mange kunder ønsker seg mer hjelp i butikken, og digitale løsninger kan hjelpe dem med det, sier Normann-Larsen.

Både Google og Tesla satser på selvkjørende biler:

Les også

Uten hendene på rattet – i 80 km/t!

Project Tango inneholder også noen begrensninger på sporingen. Den kan bare kartlegge omgivelsene når du bruker mobilen aktivt, og ikke mens du har den i lommen. Det skyldes at informasjonsinnhentingen er avhengig av at du peker med kameraene rundt om i rommet. Goldberg hevder at det ikke ligger nye personvernproblemer knyttet til prosjektet.

– Vi lagrer ikke videoopptakene og sender dem ikke til skyene. Bildene kastes og vi bruker dem bare til måling. Derfor er det liten risiko for personvernbrudd, mener han.

  • Synes du det er spennende med ny teknologi? Aftenpostens teknologimagasin ser i sin nyeste episode på hvilke følelser roboter vekker:

Les mer om

  1. Google
  2. Teknologi