Wheelchair simulator control with eye blink movements using image processing techniques

Abstract

Görüntü işleme, bilgisayarla bütünleşik olarak birçok endüstriyel ve teknolojik uygulamalarda kullanılabilen bilgisayar çalışmasıdır. Dijital ortama aktarılan görüntülerin sayısal verileri kullanılarak iyileştirilmiş veya değiştirilmiş birbirinden farklı görüntüler elde edilebilmektedir. Aynı zamanda görüntü işleme tekniklerinden faydalanılarak nesne tanıma işlemleri de gerçekleştirilebilmektedir. Görüntü işleme sistemi yüz tanıma sistemlerinde sahteciliğe karşı koruma için de kullanılabilir. Göz kırpılmalarının algılanması, operatör olarak çalışan kişilerin dikkatini izleyen sistemlerde önemlidir. Bu çalışmada, görüntü işleme teknikleri kullanılarak tespit edilen yüz bölgesinden OpenCv ve Dlib kütüphaneleri kullanılarak göz ve kaş unsurları ayrıştırılıp elde edilen veriler işlenmeye çalışılmıştır. Python programlama dili ile yazılım algoritmaları oluşturulmuştur. Yapılan filtrelemeden elde edilen göz kırpma algılama işlemleri göz bölgesinde herhangi bir rahatsızlık olmayan kişiler üzerinde test edilmiştir. Farklı ışık Lüx değerlerine sahip ışık ortamlarının göz kırpılmalarına olan etkileri Arduino ile geliştirilen LDR sensörü ile hesaplanmıştır. Aynı zamanda ışık kaynağının bulunduğu açının yüz hatlarının ve göz kırpılmalarına etkileri gözlemlenmiştir. Kamera açısının ve mesafesinin göz kırpılmalarının hesaplanmasına olan etkileri hesaplanmıştır. Uzun deneysel çalışmalar sonucunda elde edilen verilerin Raspberry Pi modülüne gönderilip hazırlanan algoritmalar ile tekerlekli sandalye yerine geçecek mini robotun kontrolü sağlanmıştır.

Image processing is a computer work that can be used in many industrial and technological applications, integrated with the computer. By using the numerical data of the images transferred to the digital environment, improved or modified images can be obtained. At the same time, object recognition processes can be performed by using image processing techniques. The image processing system can also be used for counterfeiting protection in face recognition systems. Detection of blinks is important in systems that monitor the attention of operators. In this study, the data obtained by separating eye and eyebrow elements from the face region determined by using image processing techniques, using OpenCv and Dlib libraries were tried to be processed. Software algorithms were created with the Python programming language. Blink detection processes obtained from filtering have been tested on people who do not have any discomfort in the eye area. The effects of light environments with different light Lux values on blinking were calculated with the LDR sensor developed with Arduino. At the same time, the effects of the angle of the light source on facial features and blinking were observed. The effects of camera angle and distance on the calculation of blinks were calculated. The data obtained as a result of long experimental studies was sent to the Raspberry Pi module and the control of the mini robot, which will replace the wheelchair, was provided with the prepared algorithms.