GPN12:Kinect-Touchpad

aus dem Wiki des Entropia e.V., CCC Karlsruhe

Riesentouchpad aus Beamer und Kinect

Ich würde gerne ein großes Touchpad aus einem Beamer und einer Kinect bauen. Mit dem Beamer kann man beliebige Bilder auf den Boden, einen Tisch oder eine Wand projizieren, mit der Kinect kann man feststellen, wenn jemand die Fläche mit Hand berührt. Interaktive Hüpfkästchen oder ein interaktiver Tisch wären damit dann schnell machbar.

Die Technik dahinter ist nichts Neues, nur bisher habe ich keine OpenSource Lösung für diese Anwedung gesehen und ich glaube, dass man mit dieser Riesen-Touchpad viel Spaß haben könnte.

Alleine zu Arbeiten ist langweilig, daher suche ich noch Leute, die mitspielen wollen. Es gibt zwei große Bereiche, in denen man sich austoben kann:

- Bau des eigentlichen Touchpads

- Entwicklung von Spielen/Anwendungen für das Touchpad

Der Aufbau von Beamer und Kinect soll dabei möglichst einfach sein und ein sinnvolles Interface für die Spieleentwickler bereit stellen.

Damit auch schon bei der GPN etwas vorzeigbares rauskommt, werde ich schon im Vorfeld einen Prototypen bauen.


Bau des Touchpads

Da der Beamer meist nicht direkt über dem Feld installiert werden kann, wird das Bild recht stark verzerrt werden, was algorithmisch ausgeglichen werden sollte. Zudem muss klar sein, welches Pixel angesprochen werden muss, wenn ein bestimmter Fleck auf dem Tisch seine Farbe wechseln soll. Daher ist es notwendig, die Position des Beamers und der Kinect relativ zum Tisch zu bestimmen. Für die Kinect mit der Tiefeninformation ist das recht einfach machbar, für den Beamer muss man dann etwas Mathe rausholen. Für die Beamerkalibrierung (Bestimmung der Projektionsmatrix/Homographie) kann man den Beamer als inverse Kamera betrachten und über die normalen markerbasierten Algorithmen gehen.

Kalibrierungsmuster

Hier ein paar Möglichkeiten für Kalibrierungsmuster. Die Kinect stand direkt auf dem Beamer. Der Raum war unterschiedlich stark ausgeleutet, der automatische Weißabgleich der Kinect lässt sich leider nicht ausschalten. Helle Muster wie das Schachbrett sind daher vielleicht nicht optimal, kleine Kreise sind da vll besser. Die obere Hälfte ist jeweils das Bild, das der Beamer anzeigt und darunter das Kinectbild.

Schachbrett
Schachbrett
Streifenmuster