ABSTRAKSI :
ABSTRAK Faris Mighwar, 52419289 APLIKASI PENERJEMAH OBJEK WAKTU NYATA MENGGUNAKAN CUSTOM FINE-TUNED MODEL OBJECT DETECTION BERBASIS ANDROID DENGAN SSD MOBILENET V2 FPNLITE 320 Skripsi, Jurusan Informatika, Fakultas Teknologi Industri, Universitas Gunadarma, 2023 Kata Kunci: Real-Time Object Translation, TensorFlow Object Detection, Text-to-Speech, MobileNet V2, Daily Life Applications (XIV + 99 + lampiran) Penggunaan teknologi dalam kehidupan sehari-hari semakin berkembang pesat, salah satunya adalah dalam bidang computer vision dan artificial intelligence. Pada penelitian ini dibuat aplikasi penerjemah objek waktu nyata yang memanfaatkan teknologi canggih seperti TensorFlow Object Detection, Android Studio, OpenCV, Kaggle Notebook, Python, LabelImg, dan Bing Image Downloader, serta menggunakan fine-tuned model kustom buatan sendiri yang dilatih dengan pre-trained model SSD MobileNet V2 Fpnlite 320. Custom dataset yang dibuat dalam penelitian ini terdiri dari lima kelas objek, yaitu Cassowary, Hanger, Headphone, Rafflesia, dan Roller Skate dengan total dataset sebanyak 1.903 data citra yang dibagi menjadi dua bagian yakni 1.712 data untuk data latih dan 191 data untuk data uji. Aplikasi ini memungkinkan penerjemahan objek secara real-time dengan memanfaatkan kamera perangkat. Ketika objek terdeteksi, label objek akan muncul dalam bahasa yang telah dipilih pengguna, termasuk bahasa Inggris, Indonesia, dan Arab. Selain itu, aplikasi ini juga memiliki fitur untuk menerjemahkan objek dari gambar yang tersimpan di perangkat. Salah satu fitur menarik dalam aplikasi ini adalah text-to-speech, yang memungkinkan pengguna untuk mendengarkan nama objek yang terdeteksi dengan deskripsi suara sesuai dengan bahasa yang dipilih. Hal ini menjadikan aplikasi ini sangat berguna dalam membantu pengguna, terutama yang memiliki kesulitan dalam membaca atau memahami bahasa tertentu. Sistem dikatakan berhasil jika dapat menampilkan bounding box dan label untuk setiap area kelima objek dan dapat menerjemahkan objek serta dapat melafalkan nama objek sesuai dengan bahasa yang dipilih. Hasil penerjemahan objek dikatakan berhasil apabila sistem dapat menampilkan nama objek benda dengan ketiga jenis bahasa yang berbeda. Ditinjau dari hasil pengujian, dapat disimpulkan bahwa sistem penerjemah objek waktu nyata dapat berjalan sesuai yang diharapkan. Pengujian terhadap proses deteksi dan pengenalan objek menghasilkan tingkat akurasi sebesar 93,73%. Nilai ini diperoleh dari nilai mAP rata-rata di seluruh kelas objek yang mengindikasikan bahwa model ini secara keseluruhan sangat baik dalam mendeteksi objek pada gambar dengan variasi IoU threshold. Hasil User Acceptance Test (UAT) menunjukkan bahwa pengguna setuju bahwa aplikasi ini baik dilihat dari fitur, tampilan, fungsi dan konten, serta kemudahan dan manfaat. Daftar Pustaka (1959-2023)