SISTEM CRAWLING DATA INSTRUMEN AKREDITASI BERBASIS SELENIUM DAN PANDAS

Abstract

Perkembangan teknologi informasi telah sampai pada masa dimana hampir setiap aktivitas transaksi dapat dilakukan secara daring tanpa bertemu dengan pihak yang bersangkutan. Sama hal nya dengan akreditasi kampus yang evaluasinya dapat dilakukan secara daring melalui web SAPTO (Sistem Akreditasi Perguruan Tinggi Online) yang dikembangkan oleh pihak BAN-PT (Badan Akreditasi Nasional Perguruan Tinggi). Pada laporan Tugas Akhir ini akan membahas mengenai pembangunan sistem pengumpulan data dari pangkalan database berbasis web menggunakan teknik crawling dan proses cleaning data yang dapat mendukung proses akreditasi secara daring. Sistem crawling data didukung oleh tools Selenium dan sistem cleaning data menggunakan library Pandas Dataframe. Crawling data dilakukan untuk 4 laman web berbeda, yaituk laman web Eduk yang berisi data diri dosen Universitas Diponegoro, laman web Sip3mu yang berisi data penelitian dosen Universitas Diponegoro, laman web Prestasi yang berisi data perlombaan mahasiswa Universitas Diponegoro, dan laman web Forlap yang berisi data program studi serta jumlah mahasiswa Universitas Diponegoro. Sistem crawling data menyesuaikan dengan inspect element dan interface-nya sehingga menghasilkan 9 berkas dengan total sebesar 4756,7 Kb. Sistem cleaning data menyesuaikan dengan keperluan analis data lebih lanjut, tetapi kinerjanya kurang stabil saat mengelola data, dimana semakin banyak data maka semakin besar pula kecepatan eksekusi dan pengunaan memorinya.