PENGEMBANGAN PENGENDALI KARAKTER PERMAINAN MENGGUNAKAN SUARA REAL-TIME BERBASIS TRANSFORMER

Abstract

Kompleksitas interaksi pada permainan digital modern menuntut skema kendali alternatif untuk meminimalkan beban kognitif pemain. Penelitian ini mengembangkan dan menganalisis sistem pengendali karakter permainan menggunakan suara secara real-time berbasis Deep Learning. Studi ini bertujuan mengevaluasi trade-off performa arsitektur Transformer murni dibandingkan dengan BiLSTM dan Hybrid (BiLSTM-Transformer) saat dilatih dari awal (from-scratch) pada dataset berskala kecil. Kami menerapkan ekstraksi fitur Mel-Frequency Cepstral Coefficients (MFCC) dan evaluasi Stratified 5-Fold Cross-Validation dengan augmentasi noise sintetik. Hasil eksperimen menunjukkan bahwa model Hybrid mencapai rata-rata akurasi tertinggi sebesar 97,53%, mengungguli arsitektur BiLSTM (95,89%) dan Transformer murni (94,81%). Analisis membuktikan bahwa Transformer murni kurang efisien dalam pemanfaatan data pada skala kecil, sedangkan integrasi pemrosesan temporal lokal BiLSTM dan atensi global Transformer pada model Hybrid menghasilkan stabilitas terbaik serta ketahanan (robustness) tinggi terhadap gangguan lingkungan. Meskipun efisiensi komputasi dievaluasi melalui throughput, penelitian ini juga melakukan pengukuran latensi inferensi pada perangkat keras GPU. Hasil eksperimen menunjukkan model Hybrid mencapai akurasi tertinggi 97,53% dengan latensi inferensi rata-rata 2,46 ms (RTF 0,0024), membuktikan kapabilitasnya untuk beroperasi secara real-time dengan jeda perseptual yang minimal.

Kata kunci: BiLSTM, , Hybrid Model, MFCC, Pengenalan Suara, Transformer.