skip to main content

PENGEMBANGAN SISTEM CLOSED-LOOP AUTONOMOUS NAVIGATION PADA KECOA CYBORG BERBASIS PERBANDINGAN MODEL MARKERLESS POSE ESTIMATION DAN KOMUNIKASI NIRKABEL ESP-NOW

*Hafiz Akbar Simanjorang  -  Department of Mechanical Engineering, Universitas Diponegoro, Jl. Prof. Sudarto, SH, Tembalang, Semarang, Indonesia 50275, Indonesia
Mochammad Ariyanto  -  Department of Mechanical Engineering, Universitas Diponegoro, Jl. Prof. Sudarto, SH, Tembalang, Semarang, Indonesia 50275, Indonesia
Munadi Munadi  -  Department of Mechanical Engineering, Universitas Diponegoro, Jl. Prof. Sudarto, SH, Tembalang, Semarang, Indonesia 50275, Indonesia

Citation Format:
Abstract

Penelitian ini mengembangkan sistem navigasi otonom closed-loop pada Madagascar hissing cockroach (Gromphadorhina portentosa) cyborg menggunakan pendekatan markerless pose estimation berbasis deep learning sebagai alternatif terhadap metode marker-based dan external motion capture system yang umum digunakan pada penelitian cyborg insect sebelumnya. Tiga model pose estimation, yaitu YOLO Pose v8, Heatmap Hourglass Network, dan DeepLabCut (DLC), dilatih dan dibandingkan untuk menentukan sudut hadap (heading angle) kecoa secara real-time melalui kamera tunggal topview. Estimasi sudut tersebut digunakan sebagai umpan balik dalam algoritma navigasi closed-loop yang mengarahkan kecoa menuju serangkaian titik checkpoint melalui stimulasi elektromekanis pada antena dan cerci, yang ditransmisikan secara nirkabel melalui protokol ESP-NOW ke backpack berbasis ESP32-C6 yang terpasang pada tubuh kecoa. Evaluasi dilakukan berdasarkan empat metrik, yaitu akurasi estimasi sudut (MAE, RMSE, R²), kompleksitas dan latensi inferensi, frame rate (FPS), serta tingkat noise estimasi sudut. Hasil pengujian menunjukkan bahwa model YOLO Pose v8 memberikan performa terbaik dengan MAE 2,75°, RMSE 3,70°, dan R² 0,9988, didukung oleh arsitektur ringkas (3,08 juta parameter) dan latensi inferensi rendah (32 ms), sehingga ditetapkan sebagai model terbaik untuk diintegrasikan ke dalam sistem navigasi. Pengujian sistem navigasi otonom pada tiga skenario lintasan (zigzag, belok kanan, dan belok kiri) menunjukkan bahwa kecoa cyborg berhasil mencapai target checkpoint pada seluruh percobaan dengan FPS rata-rata di atas 20, mengonfirmasi kelayakan sistem markerless untuk aplikasi navigasi biohybrid secara real-time tanpa penanda fisik maupun perangkat motion capture eksternal.

Keywords: cyborg insect; deep learning; markerless pose estimation; navigasi closed-loop; yolo pose
Article Info
  1. Ariyanto, M., Mohammad, C., & Refat, M. (2024). Feedback control of automatic navigation for cyborg cockroach without external motion capture system. Heliyon, 10(5), e26987. https://doi.org/10.1016/j.heliyon.2024.e26987
  2. Bai, Y., Thanh, P., Ngoc, T., Nguyen, H. D., Le, D. L., Ha, Q. H., Kai, K., Xiang, Y., To, S., Deng, Y., Song, J., Wakamiya, N., Sato, H., & Ogura, M. (2025). Swarm navigation of cyborg-insects in unknown obstructed soft terrain. Nature Communications, June 2024, 1–5. https://doi.org/10.1038/s41467-024-55197-8
  3. Cervera, E. (2020). GPU-Accelerated Vision for Robots: Improving System Throughput Using OpenCV and CUDA. IEEE Robotics & Automation Magazine, 27, 151–158. https://doi.org/10.1109/MRA.2020.2977601
  4. Cole, J., Bozkurt, A., & Lobaton, E. (2020). Localization of biobotic insects using low-cost inertial measurement units. Sensors (Switzerland), 20(16), 1–40. https://doi.org/10.3390/s20164486
  5. Eridani, D. (2021). Comparative Performance Study of ESP-NOW, Wi-Fi, Bluetooth Protocols based on Range, Transmission Speed, Latency, Energy Usage and Barrier Resistance. 2021 International Seminar on Application for Technology of Information and Communication (ISemantic), 322–328. https://doi.org/10.1109/iSemantic52711.2021.9573246
  6. Refat, C. M. M., Ariyanto, M., Tanaka, R., Yamamoto, K., & Morishima, K. (2025). Autonomous Navigation of Bio-Intelligent Cyborg Insect Based on Insect Visual Perception. Advanced Intelligent Systems, 7(10). https://doi.org/10.1002/aisy.202400838
  7. Ruescas-Nicolau, A. V., De Rosario, H., Bernabé, E. P., & Juan, M. C. (2024). Positioning errors of anatomical landmarks identified by fixed vertices in homologous meshes. Gait and Posture, 108(June 2023), 215–221. https://doi.org/10.1016/j.gaitpost.2023.11.024
  8. Sato, H., Berry, C. W., Peeri, Y., Baghoomian, E., Casey, B. E., Lavella, G., & Harrison, R. (2009). Remote radio control of insect flight. Frontiers in Integrative Neuroscience, 3(October). https://doi.org/10.3389/neuro.07
  9. Tran-Ngoc, P. T., Le, D. L., Chong, B. S., Nguyen, H. D., Dung, V. T., Cao, F., Li, Y., Kai, K., Gan, J. H., Vo-Doan, T. T., Nguyen, T. L., & Sato, H. (2023). Intelligent Insect–Computer Hybrid Robot: Installing Innate Obstacle Negotiation and Onboard Human Detection onto Cyborg Insect. Advanced Intelligent Systems, 5(5). https://doi.org/10.1002/aisy.202200319
  10. Triet, L. M., & Thinh, N. T. (2025). Behavior Modeling and Bio-Hybrid Systems: Using Reinforcement Learning to Enhance Cyborg Cockroach in Bio-Inspired Swarm Robotics. IEEE Access, 13(May), 100119–100148. https://doi.org/10.1109/ACCESS.2025.3569285
  11. Urazayev, D., Eduard, A., Ahsan, M., & Zorbas, D. (2023). Indoor Performance Evaluation of ESP-NOW. 2023 IEEE International Conference on Smart Information Systems and Technologies (SIST), 1–6. https://doi.org/10.1109/SIST58284.2023.10223585

Last update:

No citation recorded.

Last update:

No citation recorded.