Qorinotes

Gambar ini diambil dari hollywoodreporter.com yang membahas film Another body

The manipulated, high-quality and realistic videos have become known recently as Deepfake.

(Rana et al., 2022)

Intro

Deepfake adalah teknik manipulasi gambar, video, dan audio dengan kualitas tinggi serta realistis menggunakan komputer untuk merubahnya menjadi dokumen palsu (Rana et al., 2021; Bansal et al., 2021) . Teknologi ini sebenarnya sudah mulai dikenal sejak tahun 1997 dengan konsep video rewrite.

Kemudian dengan kemajuan teknologi, deepfake semakin berkembang untuk berbagai macam keperluan misalnya perbaikan kualitas suatu dokumen. Deepfake sendiri dapat dibagi menjadi 4 jenis (Bansal et al., 2021):

1. Face replacement

Jenis ini akan menimpa wajah atau objek yang ada dalam sebuah dokumen dikenal juga dengan sebutan face swapping. Pembuatan face replacement membutuhkan dokumen asli dan dokumen target. Misalnya mengganti wajah teman anda dengan wajah seseorang.

2. Facial reconstruction

Mengkontruksi wajah seseorang agar bagian mulut, kemiringan kepala, alis, dan organ tubuh lainnya memiliki gerakan atau mimik yang sesuai.

3. Facial Generation

Memproduksi wajah yang benar-benar baru menggunakan algoritma neural network dan deep learning.

4. Speech Synthesis

Jenis ini lebih menitikberatkan pada audio untuk meniru suara seseorang dari segi intonasi dan irama yang sama.

Awalnya deepfake digunakan untuk kebutuhan multimedia seperti misalnya CGI (Computer-generated Images) atau motion pictures. Masalah mulai muncul karena ternyata deepfake banyak dimanfaatkan untuk kegiatan ilegal. Pada tahun 2023 sebanyak 500 ribu video, audio, dan gambar deepfake tersebar pada situs sharing, sosial media, dan situs explicit content.

Mekanisme

Gambar 1.1 pembuatan deepfake (Bansal et al., 2021)

Tahap Persiapan

1. Pengumpulan Data: Klip video atau rekaman audio dari seseorang yang ingin “ditukar” wajah atau suaranya dikumpulkan. Pengumpulan ini juga berfungsi sebagai tahapan kunci karena merupakan source/sumber data.
2. Preprocessing : Data yang telah dikumpulkan kemudian diproses untuk memastikan kualitas dan kecocokan untuk proses deep learning. Terdiri dari pembersihan data, penyesuaian resolusi, dan penyelarasan (memastikan bahwa wajah dalam video bergerak dalam waktu yang sama).

Tahap Pelatihan Deep Learning

1. Encoding: Dalam tahap ini model deep learning yang pada umumnya menggunakan jaringan neural konvolusional (CNN) untuk mempelajari representasi mendalam dari data tahap persiapan.
2. Decoding: Setelah representasi data dipelajari dengan baik oleh model deep learning. Tugas selanjutnya adalah memetakan fitur-fitur tersebut seperti memindahkan representasi wajah seseorang ke dalam gambar lain.

Tahap Pembuatan Deepfake

1. Encoding: Untuk menghasilkan deepfake, wajah atau suara dari sumber yang ingin “ditukar” dienkripsi menggunakan model yang telah dilatih sebelumnya. Berupa proses ekstraksi fitur-fitur penting dari wajah atau suara sumber.
2. Decoding: Setelah fitur-fitur wajah atau suara dikodekan, model kemudian menggunakan pemetaan yang telah dipelajari untuk menghasilkan gambar atau suara. Misalnya wajah sumber akan “dipasangkan” dengan video target, sehingga menciptakan ilusi bahwa orang dalam video target adalah orang yang dienkripsi.

Bahaya

Gambar 1.2 ragam artikel mengenai deepfakes yang berasal dari Wired

Deepfake dapat mengancam kehidupan umat manusia yang disebabkan oleh mudahnya melakukan manipulasi, hoax, dam membuat informasi yang salah untuk memenuhi suatu tujuan. Tidak perlu saya utarakan apa saja kemungkinan ekstrem dari teknologi ini karena anda sendiripun sudah dapat membayangkan kengeriannya.

Pemerintah Indonesia harus benar-benar melakukan regulasi terhadap deepfake dengan lebih jelas, spesifik, dan tegas agar tidak menjadi pemicu katalis kehancuran bangsa. Bukannya saya melebih-lebihkan tetapi ancama deepfake semakin hari menjadi semakin nyata dihadapan kita. Hari ini memang belum terlalu terasa, tetapi di masa depan dimana komputer semakin canggih, teknologi ini akan semakin mudah menjamur di masyarakat.

Kesimpulan

Deepfake adalah teknologi yang dapat bermanfaat atau malah mengarahkan pada perpecahan. Mulai sekarang saya dan anda harus mawas diri dengan teknologi ini untuk mencegah hal yang tidak diinginkan. Untungnya, para ilmuwan juga sudah mengembangkan beberapa teknologi yang dapat mendeteksi tindak pemalsuan dokumen digital.

• Detect DeepFakes: How to counteract misinformation created by AI
• Intel Introduces Real-Time Deepfake Detector
• Deepfakes Detection Techniques Using Deep Learning: A Survey

Daftar Pustaka

Bansal, Geet, and Manju Lata Joshi. “DEEPFAKE: A SYSTEMATIC REVIEW.”

M. S. Rana, M. N. Nobi, B. Murali and A. H. Sung, “Deepfake Detection: A Systematic Literature Review,” in IEEE Access, vol. 10, pp. 25494-25513, 2022, doi: 10.1109/ACCESS.2022.3154404.