Projects on leanXcam
Unfortunately we can not list everything on this site; leanXcam is used by people all over the world for numerous purposes and projects (most of which we don't even know about). Therefore, this is just a small selection of applications that struck us as exceptionally well executed, funny, original or otherwise noteworthy. If you think your project fits one of these categories, contact us under leanXcam@scs.ch and we will gladly add it here.
Also make sure to check out our Applications page for community applications that are available for download.
(Autor: Arnet Lukas)
Im Modul Produktentwicklung der Hochschule Luzern, Technik & Architektur bestand die Aufgabe darin, eine Maschine zu entwickeln, die innerhalb von 5 Minuten den Flächenmittelpunkt des Glases, der Serviette und des Tellers, welche sich auf einem Tablett befinden, erkennt und als XY-Koordinaten ausgibt. Zusätzlich mussten das Messer und die Gabel in einer Besteckbox platziert werden. Die 35 interdisziplinären Teams bestanden aus je sieben bis acht Studierenden der Studienrichtungen Informatik, Maschinentechnik, Wirtschaftsingenieurwesen und Elektrotechnik.
Nachfolgend wird das Konzept des Teams 09 - bestehend aus Srirangarajah Rukshan, Walker Thomas, Copparoni David, Albisser Andreas, Hinder Thierry, Aschwanden Philipp, Clalüna Meta und Arnet Lukas - näher erläutert.
/images/tabula_scara_gesamtübersicht.png
Das Team 09 setzte mit dem Konzept Tabula Scara auf eine Lösung, welche die Objekterkennung direkt auf der Kamera vornimmt und das Besteck mittels eines Roboterarms abräumt. Die Maschine besteht im Wesentlichen aus der für die Objekterkennung und die Prozessablaufsteuerung eingesetzte leanXcam der Firma Supercomputing Systems AG sowie dem Mikrocontroller gesteuerten SCARA-Roboter. Zusätzlich können die Koordinaten sowie die Livebilder kabellos mit jedem beliebigen WLAN-fähigen Gerät, das über einen Browser verfügt, betrachtet werden (Datenausgabe).
Der Prozessablauf der Maschine Tabula Scara funktioniert so, dass in einem ersten Schritt mittels zwei Tastern detektiert wird, ob ein Tablett und eine Besteckbox in der Maschine vorhanden sind. Ist dies der Fall, so startet die leanXcam automatisch mit der Objekterkennung. Um die Erkennungsgenauigkeit zu erhöhen, korrigiert die leanXcam als erstes die Verzerrungen des aufgenommenen Bildes. Nun wird das Bild nach Kreisen abgesucht, wodurch die Mittelpunktkoordinaten des Tellers und des Glases erkannt werden. Diese Daten und die Flächenmittelpunktkoordinaten der Serviette, welche anhand der Farbe erkannt wird, lassen sich nun via XHTML basierender Webpage zum Beispiel mittels iPads kabellos betrachten.
Im nächsten Schritt müssen die Positionen vom Messer und der Gabel erkannt werden. Dafür verwendete das Team 09 einen eigens programmierten Algorithmus. So wird als erstes das aufgenommene Bild in ein Schwarzweissbild umgewandelt und anschiessend der Tellerbereich nach einer vorbestimmten Anzahl weisser Pixel abgesucht. Dem Algorithmus ist hinterlegt, dass das Messer aus 1000 weissen Pixel besteht.
Findet der Algorithmus im Tellerbereich ein Messer, so wird in einem zweiten Schritt in dem erkannten Objekt nach einer möglichst langen geraden Linie gesucht. Anhand dieser Linie ist es nun möglich, den Winkel des Messers gegenüber dem Nullpunkt auszulesen. Dieser Winkel ist entscheidend um den Greifer richtig ausrichten zu können.
Die Koordinaten vom Messer und der Gabel sendet die leanXcam via RS232 an den Micro Kontroller, welcher daraufhin die Servomotoren des SCARA-Roboters an die richtige Position steuert, um das Besteck nacheinander zu greifen und getrennt in die Besteckbox abzulegen. Wurden diese Schritte erfolgreich durchgeführt, so gibt der Micro Kontroller das Tablett frei und ein Neues kann eingeführt werden.
Der folgende YouTube-Link zeigt Tabula Scara in Aktion.
Dank der leanXcam war es möglich, die komplette Bildbearbeitung und Objekterkennung direkt auf der Kamera vorzunehmen. Dadurch war für diesen Bereich keine zusätzliche Hardware notwendig, was zu einer schlanken, in sich geschlossenen und optimierten Lösung führte.
Neben dem integrierten DSP (Digital Signal-Prozessor) verfügt die leanXcam unter anderem über eine Ethernet-Schnittstelle, welche eine direkte Verbindung mit einem WLAN-Accesspoint erlaubte. Dies ermöglichte eine zeitgemässe und benutzerfreundliche kabellose Ausgabe der geforderten Daten.
Der SCARA-Roboter (Selective Compliance Assembly Robot Arm) besteht aus zwei ca. 25cm langen Aluminium Armen und wird verwendet, um das Besteck abzuräumen und einzeln in der Besteckbox abzulegen. Die Vorteile dieses Robotertyps sind der geringe Materialaufwand und die relativ kurzen und daher schnellen Anfahrtswege.
Der Geifer lässt sich dank einer Untersetzung von 2:1 um 360 Grad drehen und kann so auf jeden beliebigen Winkel ausgerichtet werden.
Die Datenausgabe basiert auf einer XHTML-Lösung und kann kabellos in angemessener Entfernung zur Maschine mit beliebigen WLAN-fähigen Geräten empfangen werden. Neben den Koordinaten werden zusätzlich Livebilder von den einzelnen Prozessschritten ausgegeben. Ausserdem wäre es möglich mit Funktionen, die zum Teil aus lauffähigen Beispielprogrammen übernommen und angepasst werden können, nicht nur Daten von der leanXcam zu empfangen, sondern auch Befehle zu senden, umso das iPad als Fernbedienung zu verwenden.
Bachelor thesis by Sandro Gort and Martin Kurmann
For their Bachelor thesis, Sandro Gort and Martin Kurmann had set the goal to implement a visual inspection system controlling parts conveyed by a bowl feeder. It should be able to distinguish faulty parts from intact ones to be able to sort them out. Also, the bowl feeder was to be controlled by the system just in time for the exactly right number of parts being fed on to the next stage. This is not a simple problem, since the vibrations of the bowl can not be stopped immediately, which means that it has to be turned off while the last part is still in the feeder. Therefore, the position of the parts has to be tracked and predicted over time.
Their abstract reads as follows:
Bowl feeders are used in industrial systems to separate and sort components for further processing. At present there is no low cost system to monitor, detect and remove flawed components from a conveyor. The most commonly used systems count the components with the aid of a common light barrier. In this bachelor thesis we developed a low-cost vision-based system to detect and sort out flawed components in real-time. Main component of our construction is the low-cost leanXcam from Supercomputing Systems inc. With this intelligent and autonomic camera faultless objects are captured in a training process, the corresponding specification will then be saved. Chosen descriptors, describing mathematical variables like perimeter, area, contour spectrum, etc., in addition a defined threshold is saved during this stage. After the initialisation the recognition and processing cycle starts. If an object is recognized in the recording area, the dedicated descriptors are calculated and compared with the benchmark. If the values are in the defined threshold-range the component object is marked as error-free and the control unit is notified. If at least one value is out of the defined range the object is marked as flawed and moved out of the bowl feeder by a special device.
This application is a perfect match for leanXcam. The I/Os of the camera can directly be used to control the device to move out faulty parts and the bowl feeder. Its native web capabilities lend itself to guide the operator through the setup and training phase. The Oscar Software Framework and the fully set up leanXcam SDK allow to build up on a powerful existing code base and thus facilitate rapid development of new applications.
Sandro and Martin started by taking one of our template applications and implementing a set of functions for calculating image moments, which can be used very well to describe the form of objects. They then adapted the state machine and added control logic for the inspection criteria. Finally, a user-friendly web interface was designed to guide the operator through the training process and provide visual feedback during inspection.
We would like to congratulate Martin and Sandro to their excellent work, for which they were awarded the Waldemar Jucker Preis due to real-world applicability, and wish them all the best for the future. We would also like to thank their supervisor, Prof. Dr. Markus Thaler, for his ongoing enthusiasm and support for leanXcam.
Check out the entry of Team Kiwijoghurt on our Sponsoring page. We wish the guys much success with their new robot featuring leanXcam!