Nghiên cứu về Nhận diện cảm xúc đa phương thức tiếng Việt được chấp nhận tại hội nghị MAPR 2025

🎉🎉🎉🎉 Chúc mừng sinh viên Huỳnh Thị Ngọc Trâm và nhóm nghiên cứu AIoT Lab VN đã có công trình nghiên cứu được chấp nhận đăng tại Kỷ yếu Hội nghị khoa học quốc tế “The 8th International Conference on Multimedia Analysis and Pattern Recognition” (MAPR 2025) – một hội nghị uy tín trong lĩnh vực phân tích đa phương tiện và nhận dạng mẫu, sẽ được tổ chức tại Nha Trang, Việt Nam từ 14–15/8/2025.

✍️ Bài báo: Vietnamese Emotion Recognition from Voice and Text: A Confidence-Based Approach

📚 Nhóm tác giả: Ngoc Tram Huynh Thi, Minh Dzuy Pham, Le Thanh Son, Duc Dat Pham, Kha Tu Huynh, Nguyen Tan Viet Tuyen, Tan Duy Le

🚀 Tóm tắt nghiên cứu: Accurate emotion recognition from human communication is pivotal for empathetic human–computer interaction, healthcare monitoring, and customer service. However, most systems either focus on speech or text, and few effectively integrate both, especially for underrepresented languages like Vietnamese. In this study, we propose a lightweight confidence-based multimodal fusion framework that combines a HuBERT-based voice classifier and a PhoBERT-v2 text classifier fine-tuned with LDAM loss and Deferred Re-Weighting (DRW). Each branch produces posterior probabilities, and the final prediction selects the modality with higher confidence, avoiding complex fusion networks and preserving real-time performance. On Vietnamese benchmarks, the text model achieves 87.35% accuracy and F1-score of 87.28% on an extended UIT-VSMEC corpus, while the speech model attains 82.06% accuracy and F1-score of 81.93% on the Bud500 dataset. The proposed fusion strategy consistently outperforms both single-modality baselines, boosting macro-F1 without added latency. Our results demonstrate that simple, confidence-driven fusion is highly effective for Vietnamese emotion-aware applications, offering a practical path for deployment in resource-constrained and real-time settings.

✅ Hội nghị MAPR là hội nghị khoa học quốc tế thuộc danh mục Scopus-index, do Trường Đại học Công nghệ Thông tin (UIT) đồng sáng lập và tổ chức thường niên. Hội nghị là diễn đàn kết nối các nhà nghiên cứu trong và ngoài nước, đặc biệt khuyến khích sự tham gia của nghiên cứu sinh, học viên cao học và các nhà khoa học trẻ trình bày những công trình có tính ứng dụng cao.

#EmotionRecognition #MultimodalAI #VietnameseNLP #MAPR2025 #AIoTLabVN #SpeechAndText #ConfidenceFusion #RealTimeAI