Laitteisto

OmniTouch

Sisällysluettelo:

Anonim

Yksi tietojenkäsittelyn suurista vallankumouksista on ollut kosketusnäytöt. He toivat uuden tavan olla vuorovaikutuksessa tietokoneen kanssa joko erityisellä osoittimella tai sormella. Vuonna 2011 Microsoft meni pidemmälle ottamalla käyttöön OmniTouch-projektin, joka teki mistä tahansa pinnasta kosketettavan. Perusideana on kiinnittää olkapäälle kamera- ja projektorilaite, joka heijastaa näytön ja lukee käyttäjän näppäilyt. Mahdollisuudet ovat loputtomat, joten voimme muuttaa kätemme, seinän, arkin tai minkä tahansa muun pinnan kosketusnäytöksi .

Kuinka OmniTouch toimii: näppäinpainallusten tunnistaminen

OmniTouch-projektin tärkein osa on sormien sijainnin ja syvyyden seuranta, jotta tiedetään, mihin käyttäjä koskettaa. Tätä varten prototyypissä käytettiin syvyysherkkää PrimeSense-kameraa. Toisin kuin tavallinen värejä mittaava kamera, PrimeSense mittaa kuvan kunkin pisteen etäisyyden kameran linssistä. 1 mm:n tarkkuus ja 20 cm:n vähimmäisetäisyys ovat tärkeimmät edut projektissa alun perin käytettyyn Kinect-kameraan verrattuna.

"

Sormien paikantamiseksi OmniTouch tallentaa ensin syvyyskartan (A). Sitten lasketaan k altevuuskartta>"

(B):ssä näet, että kartta on käännetty väreiksi: punainen tarkoittaa, että X- tai Y-akselin positiivisessa suunnassa on vähemmän syvyyttä (ylös tai oikealle) ja sininen tarkoittaa, että on pienempi syvyys X- tai Y-akselin negatiivisessa suunnassa (alas tai vasemmalle).Violetti tarkoittaa, että syvyys ei juuri muutu.

Tällä kartalla ohjelmisto etsii pystysuoria lieriömäisiä osia, pintaa, joka lähestyy kameraa, pysyy sitten paikallaan ja lopulta siirtyy pois. Mikä on ollut sormi, jos ajaa sen puolelta toiselle, vau. Etsi värikart alta punaista, sitten violettia ja sitten sinistä osaa, kaikki samalla pystyakselilla.

Mahdolliset ehdokkaat suodatetaan pituuden mukaan, jotta kaikki, mikä ei voi olla sormi, suodatetaan pois (esimerkiksi 2 millimetriä korkeaa sylinteriä ei voida tunnistaa sormeksi, joten se hylätään). Kuvassa (C) näet kaikki tunnistetut sormen osat.

Kun tämä on tehty, kaikki pystysuorat osat tuodaan yhteen sormen muodostamiseksi (kuva D). Liian lyhyet sormet hylätään, ja oletetaan, että koska käyttäjä on oikeakätinen, sormen vasen osa on kärki.Ja voila, tiedämme nyt, mihin käyttäjä osoittaa .

Nyt, mistä tiedämme, koskettaako sormi pintaa? He kutsuvat sitä tulvatäytteeksi, mutta se on tutumpaa, jos kerron, että se on kuin täyttämistä Paintin maaliämpärillä.

Tekniikka on yksinkertainen: etsi sormen keskipiste ja ala täyttää pikselit ylös, vasemmalle ja oikealle 13 millimetrin toleranssilla. Eli ne täyttävät pikselin vain, jos ero sen syvyyden ja sormen keskipisteen välillä on alle 13 millimetriä.

Näin jos sormesi ei kosketa mitään, vain sormeasi vastaavat pikselit täytetään. Jos kosketat kättä, monet muut täyttyvät. Kuvasta näet, mitä tapahtuu, jos sormi on ilmassa (vasemmalla) tai koskettaa kättä (oikealla). Kun tietty marginaali täytettyjä pikseleitä on ohitettu, ohjelmisto lähettää napautuksen tai napsautuksen vastaavaan paikkaan.

Kuinka OmniTouch toimii: kuvan projisointi

Vaikka sormentunnistus on keskeinen osa, emme voi unohtaa, että OmniTouchin on myös projisoitava kuva mille tahansa pinnalle. Tähän käytetään myös syvyyskammiota. Kaikki kuvan pinnat tunnistetaan yhdistetyn komponenttialgoritmin avulla, joka havaitsee erittäin tehokkaasti kuvan toisiinsa liittyvät pisteet.

Kun kättä pienemmät pinnat on hylätty, jatketaan keskipisteen tai referenssipisteen kiinnittämisessä kuvan projisoimiseksi. Tämä piste auttaa havaitsemaan pinnan suunnan ja mahdollistaa siten kuvan luomisen, joka ei näytä vääristyneeltä.

Seuraava vaikea kohta tulee, kun on kyse pinnan koon tunnistamisesta.Koska pintojen reunoja ei voida tunnistaa tarpeeksi hyvin, OmniTouch luokittelee ne viiteen pisteeseen komponenttipisteiden keskiarvon ja keskihajonnan avulla: käsi, käsivarsi, muistikirja, seinä ja pöytä. Jokaisella niistä on tietty koko ja kuvan keskus.

Ohjelmisto luo projisoitavan kuvan, jossa on kaikki tiedot, vääristäen sitä niin, että se näkyy oikein pinnalla. Sitten se välittää kuvan projektoriin, joka näyttää kuvan millä tahansa pinnalla.

Tarkka tekniikka ja monia mahdollisuuksia

Testit, joita käytetään mittaamaan OmniTouchin tarkkuutta.

Testauksessa OmniTouch osoittautui erittäin tarkaksi tekniikaksi. 96,5 %:n tarkkuus napsautuksen tunnistamisessa, erittäin hyvä luku ja vielä enemmän, kun otetaan huomioon, että kyseessä on prototyyppi.Mitä tulee käyttöliittymän kokoon, halkaisij altaan 2 senttimetrin painikkeilla 95 % näppäinpainalluksista tunnistetaan.

Tämä enimmäiskoko on välttämätön käteen projisoidulle käyttöliittymälle. Muilla kauempana olevilla pinnoilla, kuten pöydällä tai seinällä, se voidaan pienentää 15 millimetriin, joka on suunnilleen sama koko, jota suositellaan perinteisen kosketusnäytön painikkeelle.

"

Mitä tulee mahdollisuuksiin, niitä on loputtomasti. Prototyypin avulla luotiin puhujapuhuja maalattavaksi: seinälle piirsit ja vasemmalla kädelläsi valitsit värit. Käytetään myös korostuskynänä>"

Mutta mielenkiintoisin asia on se, mitä he mainitsevat asiakirjan lopussa: mahdollisuudet, jotka OmniTouch avaa, kun lopetamme kaksiulotteisten pintojen huomioimisen ja kehon muotojen muuttamisen. olemme vuorovaikutuksessa tietokoneen kanssa.

"

OmniTouch on todella jännittävä projekti niin tekniik altaan kuin mahdollisuuksiltaankin. Puhumme hänestä taas pian erikoisessa Tulevaisuus Microsoft>:n mukaan"

Xataka Windowsissa | Tulevaisuus Microsoftin mukaan Lisätietoja | OmniTouch

Laitteisto

Toimittajan valinta

Back to top button