Outils pour utilisateurs

Outils du site


staubli_vision

Ceci est une ancienne révision du document !


Intégration du capteur de vision

Ce sujet est la suite de: staubli

Pendant ce temps, vos collègues développent les algorithmes de vision en python sur: visionlproaip

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Depuis la dernière fois, la cellule du robot a été reconfigurée, vous devez donc réapprendre les positions de saisie et de dépose du bouchon ainsi que les configurations articulaires du robot avant d'aller saisir le bouchon. Faites tout d'abord des réglages grossiers en simulation puis faites l'apprentissage sur le robot à l'aide du pendant.

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Avec l'enseignant, procéder à l'étalonnage géométrique de la caméra vis à vis de la mire placée dans la zone de saisie. Procéder également à l'étalonnage colorimétrique pour apprendre les deux couleurs présentes sur le bouchon dans les conditions d'éclairage de la cellule.

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Procéder à l'estimation du changement de repère entre le repère vision (définie par la mire lors de l'étalonnage précédent et le repère de travail du robot.

Pour cela nous utiliserons le capteur de vision qui se comporte comme un capteur émettant en UDP vers le serveur de données capteurs à partir de la donnée numéro 100:

  • trouve=1 si le bouchon est détecté, 0 sinon
  • x_vision = coordonnée x du centre du bouchon dans le repère vision exprimé en mm, comprise entre 0 et 169
  • y_vision = coordonnée y du centre du bouchon dans le repère vision exprimé en mm, comprise entre 0 et 169
  • x_robot = coordonnée x du centre du bouchon dans le repère robot exprimé en mm
  • y_robot = coordonnée y du centre du bouchon dans le repère robot exprimé en mm

Dans un premier temps, les coordonnées x_robot et y_robot ne sont pas correctes. Vous allez devoir déposer avec le robot le bouchon à différentes positions et relever les positions cartésienne du repère outils dans le repère du robot et les positions correspondantes retournées par le système de vision. Procéder ainsi pour au moins 4 positions du bouchons réparties dans la surface de la zone de saisie (délimitée par la mire). Les 4 positions de bouchons ne devront pas êtres alignées et devront être éloignées.

Sauver les données collectées dans un fichier texte rigidtransform.in organisé avec le format suivant:

x1_image,y1_image,x1_robot,y1robot,x2_image.....

Si vous avez dejà fait la séance visionlproaip, vous pouvez lancer votre programme rigid_transform_2D.py pour calculer la transformation rigide 2D entre les repères robot et image, sinon demander à l'enseignant d'utiliser sa version. Ceci créer un fichier rigidtransform.out utilisé par le système de vision pour qu'il puisse fournir des positions de bouchon valides dans le repère robot.

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Utiliser l'application python vue dans le tp staubli pour simuler le capteur de vision. L'appui sur le bouton doit permettre de piloter trouve et les sliders doivent piloter x_robot et y_robot.

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Intégrer dans votre programme sur le robot Staubli la lecture des données capteurs (simulé) pour déclencher la séquence de saisie quand le bouchon est détecté et faire en sorte que le robot vienne saisir le bouchon dans la zone de saisie à la position dans le repère robot indiquée par le système de vision. Vous devrez vérifier que la position de saisie fournie par le capteur est atteignable par le robot avant de tenter la saisie! Ensuite, visser le bouchon sur la bouteille.

bvdp.inetdoc.net_files_iut_tp_tns_todo.jpg Tester avec le robot réel et le capteur de vision réel.

staubli_vision.1617135634.txt.gz · Dernière modification : 2021/03/30 22:20 de bvandepo