پیاده‌سازی یک پیانو مجازی با استفاده از پردازش تصویر

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه برق، دانشکده فنی، دانشگاه اراک، اراک، ایران

2 کارشناسی ارشد مکاترونیک، دانشکده فنی و مهندسی، دانشگاه اراک، اراک، ایران

10.61186/masm.2024.2030774.1116
چکیده
هدف از این مطالعه، ارائه‌ی رویکردی برای تشخیص حرکات دست در زمان واقعی است که تنها از یک وب‌کم و نیز فناوری بینایی ماشین استفاده می‌کند و در حقیقت پردازش تصویری است که می‌تواند چندین ژست را برای استفاده در تعامل با رایانه تشخیص دهد. کارکرد این مطالعه نیز شبیه‌سازی یک پیانوی مجازی با استفاده از تشخیص ژست دست و تشخیص حرکات خاص برای هر نت پیانو است. پیاده‌سازی در MATLAB و Visual Studio C++ با استفاده از کتابخانه‌ی OpenCV انجام و مقایسه بین دو پیاده‌سازی صورت گرفته است. نتایج نشان می‌دهد پیاده‌سازی با استفاده از کتابخانه‌ی OpenCV سریع‌تر و در بیشتر موارد کارآمدتر از MATLAB است. دقت پیاده‌سازی با استفاده از MATLAB برابر با 86.45% و با استفاده از OpenCV برابر با 92.7% است. از نظر زمانی نیز تشخیص هر ژست دست متناظر با یک نت موسیقی در محیط MATLAB به زمانی حدود 1.39 ثانیه و با کتابخانه‌ی OpenCV به زمانی حدود 1.19 ثانیه نیاز دارد.

کلیدواژه‌ها


عنوان مقاله English

Implementation of a Virtual Piano using Image Processing

نویسندگان English

Hassan Moradzadeh 1
Tannaneh Ghadimian 2
1 Electrical Eng. Department, Eng. Faculty, Arak University, Arak, IRAN
2 Department of Mechanical Engineering, Faculty of Engineering, Arak University, Arak, Iran
چکیده English

The aim of this project is to present an approach for developing a real-time hand gesture recognition which uses only a webcam and Computer Vision technology, such as image processing that can recognize several gestures for using in computer interface interaction. The most important goal of this project is to simulate playing a virtual piano using hand gesture recognition and recognizing specific gestures for each piano note. Implementing this virtual piano is done using a Personal Computer in MATLAB and also in Visual Studio C++ by OpenCV library environments and some comparisons is reported. The results show that implementing using OpenCV library is more fast and has higher performance than using MATLAB. Hand gesture distinguish accuracy is about 86.45% in MATLAB environment and about 92.7% using OpenCV library. Comparing the results based on consumed time to correctly distinguish a hand gesture is about 1.39 seconds in MATLAB environment and about 1.19 seconds using OpenCV library.

کلیدواژه‌ها English

Virtual Piano
Image Processing
Hand Gesture Recognition
MATLAB
OpenCV

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 04 تیر 1403

  • تاریخ دریافت 25 خرداد 1403
  • تاریخ پذیرش 04 تیر 1403