Pra-pemprosesan dan Analisis Data Video dan Audio untuk Pengecaman Wajah dan Emosi

​

Penulis

​

Abstrak

• Pengesanan dan pengasingan wajah unik automatik
• Anggaran pose kepala (yaw, pitch, roll)
• Klasifikasi emosi menggunakan pembelajaran mendalam
• Klasifikasi audio dan pengasingan pertuturan
• Penjanaan klip (segmen 3-10 saat)

​

1. Pengenalan

• Mengklasifikasikan dan mengecam wajah unik secara automatik
• Mengesan emosi wajah dan pose kepala merentasi masa
• Mengklasifikasikan audio untuk muzik latar belakang dan mengasingkan pertuturan
• Memotong dan memperhalusi video untuk digunakan dalam model generatif

​

2. Metodologi

​

Gambaran Keseluruhan Saluran Paip

Aliran kerja saluran paip pra-pemprosesan video

​

2.1 Pemprosesan Video

def download_video(url, output_dir):
    ydl_opts = {
        'format': 'best',
        'outtmpl': os.path.join(output_dir, '%(title)s-%(id)s.%(ext)s'),
    }
    with yt_dlp.YoutubeDL(ydl_opts) as ydl:
        ydl.download([url])

​

2.2 Klasifikasi Audio

• Menukar audio kepada spektrogram
• Menggunakan Vision Transformer untuk klasifikasi
• Ambang ~20% digunakan untuk mengesan bunyi latar belakang

​

2.3 Pengesanan dan Pemotongan Wajah

1. Kesan semua wajah dalam setiap bingkai
2. Pilih wajah terbesar sebagai subjek
3. Potong dan ubah saiz kepada dimensi yang konsisten
4. Jana klip 3-10 saat

Contoh klip wajah dipotong

Klip latar belakang dibuang

​

2.4 Anggaran Pose

• Yaw: Putaran kiri-kanan (>10 darjah = melihat kanan/kiri)
• Pitch: Putaran atas-bawah (>10 darjah = melihat atas/bawah)
• Roll: Kecondongan kepala

​

2.5 Klasifikasi Emosi

• Mengesan: gembira, sedih, marah, neutral, takut, jijik, terkejut
• Skor dinormalisasikan untuk berjumlah 100%
• Dipuratakan merentasi keseluruhan video untuk ringkasan

​

3. Keputusan

​

Contoh Analisis Video

​

Klasifikasi Audio

Pertuturan: 88.89%
Daun berdesir: 1.12%
Berdesir: 0.74%

​

Contoh Anggaran Pose

• Yaw: 0.65 darjah, Pitch: 4.07 darjah
• Arah: “Hadapan”

Pengesanan pose menghadap hadapan

• Yaw: 10.36 darjah, Pitch: -1.22 darjah
• Arah: “Kanan”

Pengesanan pose menghadap kanan

​

Klasifikasi Emosi

​

4. Hala Tuju Masa Depan

1. Klasifikasi tambahan: Pembacaan bibir, pengesanan gerak isyarat
2. Percepatan GPU: Pada masa ini hanya CPU disebabkan had sumber
3. Model ditala halus: Model tersuai untuk tugas tertentu
4. Pengesanan emosi lanjutan: Pendekatan berbilang modal melangkaui imej statik

​

Rujukan

1. 1adrianb/face-alignment - Pustaka penyelarasan Wajah 2D dan 3D
2. ageitgey/face_recognition - API pengecaman wajah untuk Python
3. CelebV-HQ - Set Data Atribut Wajah Video Skala Besar
4. danielgatis/rembg - Alat penyingkiran latar belakang
5. dima806/facial_emotions_image_detection - Hugging Face
6. facebookresearch/demucs - Pemisahan sumber muzik
7. MIT/ast-finetuned-audioset - Audio Spectrogram Transformer