Zwaaien naar je laptop?

Moderator: Astro

Reageer
Gebruikersavatar
Berichten: 5.609

Zwaaien naar je laptop?

Ik studeer burgerlijk ingenieur master elektrotechniek-ICT aan de UGent, en in het kader van het vak beeldverwerking heb ik in een team van 3 personen een minority-report systeem moeten opzetten.

In het kort komt het er op neer dat je je computer bestuurd aan de hand van vingerbewegingen die je gewoon in de lucht doet, net zoals Tom Cruise in de film Minority Report deed voor zijn computerscherm.


We hadden hier 4 weken voor (buiten de lessen natuurlijk) en moesten gebruik maken van matlab, wat de code zelf ongeveer 10x trager maakt. Toch slaagden we ering 8 frames per seconde te halen op een simpele netbook. Om de bewegingen te detecteren maakten we enkel gebruik van de kleine webcam, zoals die in de meeste laptops net boven het scherm zit.


En aangezien het resultaat zo ongelofelijk cool is, post ik de resultaten even hier: science fiction is coming closer...

<object width="425" height="350"></param></param><embed src="" type="application/x-shockwave-flash" wmode="transparent" width="425" height="350"></embed></object>

(ik ben trouwens niet de man in de video ;) )
What it all comes down to, is that I haven't got it all figured out just yet

And I've got one hand in my pocket and the other one is giving the peace sign

-Alanis Morisette-

Gebruikersavatar
Berichten: 2.906

Re: Zwaaien naar je laptop?

Cool! ;)
while(true){ Thread.sleep(60*1000/180); bang_bassdrum(); }

Berichten: 164

Re: Zwaaien naar je laptop?

Nice ;) !

Gebruikersavatar
Berichten: 8.557

Re: Zwaaien naar je laptop?

Heel mooi gemaakt.


Ik neem aan dat je op de hoogte bent van het werk wat op het MIT is gedaan met de kinect? Het grootste voordeel wat deze kinect hack biedt is dat er 30 fps gehaald kunnen worden (matlab is hier een logische verklaring voor). De grootste verschillen zitten 'm in de manier waarom de detectie van de handen plaatsvindt. Voor zover ik weet gebruiken ze bij het mit geen plakkers om vingers te kunnen detecteren. Verder zijn ze in staat om alle 10 de vingers te detecteren.

<object width="425" height="350"></param></param><embed src="" type="application/x-shockwave-flash" wmode="transparent" width="425" height="350"></embed></object>


De kinect is natuurlijk ook een totaal andere basis dan een simpele netbook met matlab erop. Denk je er nog over om dit nog buiten matlab te maken en om dit voor iedereen beschikbaar te maken om te downloaden?


Ik weet niet hoe buggy het hele systeem is en hoe afhankelijk je bent van de specifieke hardware, anders zou dit namelijk erg mooi kunnen zijn om verschillende programma's te controleren. Ik zie het al helemaal voor me hoe complexe fluorescentie opnames gemanipuleerd zouden kunnen worden.
"Meep meep meep." Beaker

Gebruikersavatar
Berichten: 5.609

Re: Zwaaien naar je laptop?

De kinect is natuurlijk ook een totaal andere basis dan een simpele netbook met matlab erop. Denk je er nog over om dit nog buiten matlab te maken en om dit voor iedereen beschikbaar te maken om te downloaden?
Ik heb ondertussen al een gelijkaardig systeem gebouwd waarmee je eye-detection kon doen in realtime, en een andere van het team heeft geprobeerd een SLAM-algoritme te bouwen voor de kinect (in het kader van andere vakken).


Oorspronkelijk was ons plan om dit helemaal niet in matlab te doen, maar we waren verplicht vanuit het vak. We hebben erover gesproken om het opnieuw te doen in python of C++, maar uiteindelijk besloten we dat het de moeite niet waard was. Er was geen van ons 3 die verder wilde gaan in die wetenschappelijke richting (zij het via onderzoek of een job), en ons systeem was niet robuust genoeg om iets commercieels van te maken. (ik heb er geprobeerd er mee te surfen, en dat ging echt niet zo goed ;) )


Het grote probleem is dat een scherm iets in de 1000x1000 pixels heeft, en de meeste webcams maar iets van 500x500... Om het realtime te krijgen draait de webcam bovendien maar op 200x200, dat op zich is al een serieus probleem met markers. Handdetectie zonder markers in realtime is next-level-**** :P Dat probleem oplossen is onvoorstelbaar moeilijk, in vergelijking daarmee is ogen vinden kinderspel.


Bovendien zien beide videos er wel cool uit, maar als je het zelf probeert, dan voel je dat het niet zo goed werkt. Het is natuurlijk louter subjectief, maar onze hersenen gaan blijkbaar niet helemaal akkoord met een voorwerp dat een paar pixels verkeerd en een paar ms te laat beweegt...


Het enige waarmee het echt goed mogelijk zou worden, is als we GPU's met CUDA zouden kunnen gebruiken, maar die heb ik niet, net zoals de meeste mensen.


Dusss, hier gaat er verder niets meer mee gebeuren. It's pretty cool stuff, maar zo gaat er niks mee gebeuren. Waar ik wel een enorme toekomst in zie, is de Kinect. Het is nog steeds kanker om er mee te programmeren, maar die hardware is zo krachtig en goedkoop, dat ik die wel nog zie komen. Die 3e dimensie die de kinect biedt is gewoon noodzakelijk voor dit soort systemen. Vanaf een paar linux-jongens hun M$-onzin laten varen, kan het volgens mij snel gaan. :P Ik schat dat je tegen 2013 je complexe medische opnames met je handen gaat kunnen manipuleren.
What it all comes down to, is that I haven't got it all figured out just yet

And I've got one hand in my pocket and the other one is giving the peace sign

-Alanis Morisette-

Berichten: 3

Re: Zwaaien naar je laptop?

erg mooi!

Reageer