Multi-sensor inspection and robotic packing of fruit

Current grading lines for fresh fruit use sensors that measure weight and or size, sometimes colour or firmness. The objective of European ESPRIT project 9230, "SHIVA", is to build a robotic system for automatically performing all the operations that are currently made in the packinghouse: inspection, handling and packing of fruits and vegetables. Image analysis is used in order to extract size, aspect and colour information from the fruit, while near infrared spectrophotometer can be used in order to perform sugar content prediction. The sensors, as well as the fusion model, have been implemented on a robotic device that can handle fruits without damaging them at a current rate of about one fruit every 5.3 seconds. For Golden Delicious apples, the standard error of prediction for sugar content provided by the NIR sensor was around 1.2 degree Brix, while it was improved by using sensor fusion down to 0.9 degree Brix. Repeatability for classification based on size, defects, sugar content and sensor fusion prediction of sugar content was respectively 88%, 81%, 70% and 78%. The application of the sensor fusion methodology enables to improve the sugar content prediction and the repeatability of the classification by combining both on-line non destructive sensors. / Actuellement, les lignes de tri pour l'évaluation de la qualité des fruits frais utilisent des capteurs électroniques qui mesurent le poids ou le calibre parfois la couleur et la fermeté. L'objectif du projet Européen ESPRIT " SHIVA " est de construire un système robotisé pour exécuter automatiquement toutes les opérations qui sont faites dans les centres de conditionnement des fruits : inspection de la qualité, manutention et emballage. Un système de vision artificielle est utilisé pour mesurer dimension, aspect et couleur du fruit, alors qu'un spectrophotomètre proche infrarouge est utilisé pour la prédiction non destructive du taux de sucre. Les capteurs et un logiciel de fusion de capteurs ont été intégrés dans un système robotisé qui peut manipuler les fruits sans les endommager à une vitesse d'environ un fruit toutes les 5.3 secondes. Des tests intensifs ont été effectués sur des pommes Golden Delicious. L'erreur standard de prédiction pour la prédiction de la teneur en sucre fourni par le capteur NIR est d'environ 1.2 degré Brix ; le système de fusion, combinant capteur NIR et système de vision (couleur du fruit), réduit cette erreur à environ 0.9 degré Brix. La répétabilité de la classification basée sur le calibre, les défauts d'aspect, la prédiction de la teneur en sucre par le capteur NIR, et la prédiction de la teneur en sucre par la fusion ont été estimée respectivement à 88%, 81%, 70% et 78%. L'utilisation d'un système de fusion de capteurs permet d'améliorer la prédiction de la teneur en sucres ainsi que la répétabilité de la classification en combinant les deux capteurs non destructifs.