Pria muda berpenampilan rapi dan mengenakan kemeja biru cerah, berbicara dengan aksen Amerika yang lembut, tampaknya bukan pendukung pemimpin junta di negara bagian Burkina Faso di Afrika barat.
“Kita harus mendukung… Presiden Ibrahim Traoré… Tanah air atau kematian akan kita atasi!” ujarnya dalam video yang mulai beredar pada awal tahun 2023 di Telegram. Hal ini terjadi hanya beberapa bulan setelah sang diktator berkuasa melalui kudeta militer.
Video lain yang digawangi oleh orang berbeda, dengan tampilan profesional serupa dan mengulangi skrip yang sama persis di depan bendera Burkina Faso, muncul pada waktu yang hampir bersamaan.
Pada akun terverifikasi di X beberapa hari kemudian, pemuda yang sama, dengan kemeja biru yang sama, mengaku sebagai Archie, kepala eksekutif platform cryptocurrency baru.
Video-video ini palsu. Mereka dihasilkan dengan kecerdasan buatan (AI) yang dikembangkan oleh sebuah startup yang berbasis di London timur. Perusahaannya, Synthesia, telah menciptakan gebrakan dalam industri yang berlomba untuk menyempurnakan video AI yang nyata. Investor telah menggelontorkan uang tunai, sehingga melambungkannya ke dalam status “unicorn” – sebuah label untuk perusahaan swasta yang bernilai lebih dari $1 miliar.
Teknologi Synthesia ditujukan untuk klien yang ingin membuat materi pemasaran atau presentasi internal, dan setiap deepfake merupakan pelanggaran terhadap ketentuan penggunaannya. Namun hal ini tidak berarti apa-apa bagi model-model yang memiliki kemiripan di balik “boneka” digital tersebut digunakan dalam video propaganda seperti video yang tampaknya mendukung diktator Burkina Faso. The Guardian melacak lima di antaranya.
“Saya kaget, tidak ada kata-kata yang bisa diucapkan saat ini. Saya sudah berkecimpung di industri (kreatif) selama lebih dari 20 tahun dan saya tidak pernah merasa begitu dirugikan dan rentan,” kata Mark Torres, seorang direktur kreatif yang berbasis di London, yang muncul dengan kemeja biru dalam video palsu tersebut.
“Saya tidak ingin ada orang yang melihat saya seperti itu. Fakta bahwa citra saya ada di luar sana, bisa berarti apa saja – mempromosikan pemerintahan militer di negara yang saya tidak tahu keberadaannya. Orang-orang akan mengira saya terlibat dalam kudeta,” tambah Torres setelah diperlihatkan videonya oleh Guardian untuk pertama kalinya.
Itu menembak
Pada musim panas 2022, Connor Yeates mendapat telepon dari agennya yang menawarkan kesempatan menjadi salah satu model AI pertama untuk perusahaan baru.
Yeates belum pernah mendengar tentang perusahaan itu, tapi dia baru saja pindah ke London, dan sedang tidur di sofa temannya. Tawaran tersebut – hampir £4.000 untuk pembuatan film sehari dan penggunaan gambar untuk jangka waktu tiga tahun – terasa seperti “peluang bagus”.
“Saya sudah menjadi model sejak kuliah dan itu adalah penghasilan utama saya sejak lulus. Lalu saya pindah ke London untuk mulai melakukan standup,” kata Yeates, yang besar di Bath.
Syuting berlangsung di studio Synthesia di London timur. Pertama, dia dituntun ke bidang rambut dan tata rias. Setengah jam kemudian, dia memasuki ruang rekaman dimana sekelompok kecil kru telah menunggu.
Yeates diminta membaca dialog sambil melihat langsung ke kamera, dan mengenakan berbagai kostum: jas lab, rompi konstruksi hi-vis dan topi keras, serta setelan perusahaan.
“Ada teleprompter di depan Anda dengan garis-garis, dan Anda mengatakan ini agar mereka dapat menangkap gerak tubuh, dan meniru gerakan tersebut. Katanya lebih semangat, tersenyum, cemberut, marah,” kata Yeates.
Semuanya berlangsung selama tiga jam. Beberapa hari kemudian, dia menerima kontrak dan link ke avatar AI-nya.
“Mereka segera membayar. Saya tidak punya orang tua yang kaya dan membutuhkan uang,” kata Yeates, yang tidak terlalu memikirkan hal itu setelahnya.
Seperti Torres, kemiripan Yeates digunakan dalam propaganda pemimpin Burkina Faso saat ini.
Juru bicara Synthesia mengatakan perusahaan telah melarang akun yang membuat video tersebut pada tahun 2023 dan telah memperkuat proses peninjauan kontennya dan “mempekerjakan lebih banyak moderator konten, serta meningkatkan kemampuan moderasi dan sistem otomatis kami untuk mendeteksi dan mencegah penyalahgunaan teknologi kami dengan lebih baik. ”.
Namun baik Torres maupun Yeates tidak diberitahu tentang video tersebut sampai Guardian menghubungi mereka beberapa bulan lalu.
‘unicorn’
Synthesia didirikan pada tahun 2017 oleh Victor Riparbelli, Steffen Tjerrild dan dua akademisi dari London dan Munich.
Setahun kemudian, mereka meluncurkan alat sulih suara yang memungkinkan perusahaan produksi menerjemahkan ucapan dan menyinkronkan bibir aktor secara otomatis menggunakan AI.
Hal ini ditampilkan dalam program BBC di mana seorang presenter berita yang hanya berbicara bahasa Inggris dibuat seolah-olah dia secara ajaib berbicara bahasa Mandarin, Hindi, dan Spanyol.
Apa yang membuat perusahaan ini mendapatkan status “unicorn” yang didambakan adalah poros menuju produk avatar digital pasar massal yang tersedia saat ini. Hal ini memungkinkan perusahaan atau individu membuat video yang dipimpin presenter dalam hitungan menit hanya dengan £23 per bulan. Ada lusinan karakter yang dapat dipilih, menawarkan jenis kelamin, usia, etnis, dan penampilan yang berbeda. Setelah dipilih, boneka digital dapat ditempatkan di hampir semua latar dan diberi naskah, yang kemudian dapat dibaca dalam lebih dari 120 bahasa dan aksen.
Synthesia kini memiliki pangsa pasar yang dominan, dan mencantumkan Ernst & Young (EY), Zoom, Xerox, dan Microsoft di antara kliennya.
Kemajuan produk ini membuat majalah Time pada bulan September menempatkan Riparbelli di antara 100 orang paling berpengaruh di bidang AI.
Namun teknologi ini juga telah digunakan untuk membuat video yang terkait dengan negara-negara yang bermusuhan termasuk Rusia, Tiongkok, dan lainnya untuk menyebarkan informasi yang salah dan disinformasi. Sumber intelijen menyatakan kepada Guardian bahwa ada kemungkinan besar video Burkina Faso yang beredar pada tahun 2023 juga dibuat oleh aktor negara Rusia.
Dampak pribadi
Sekitar waktu yang sama ketika video Burkina Faso mulai beredar online, dua video pro-Venezuela yang menampilkan segmen berita palsu yang disajikan oleh avatar Synthesia juga muncul di YouTube dan Facebook. Salah satu tayangannya adalah seorang presenter laki-laki berambut pirang dan berkemeja putih yang mengecam “klaim media barat” mengenai ketidakstabilan ekonomi dan kemiskinan, dan malah menggambarkan potret situasi keuangan negara yang sangat menyesatkan.
Dan Dewhirst, seorang aktor yang berbasis di London dan model Synthesia, yang kemiripannya digunakan dalam video tersebut, mengatakan kepada Guardian: “Banyak orang yang menghubungi saya tentang hal itu … Tapi mungkin ada orang lain yang melihatnya dan tidak mengatakan apa-apa, atau diam-diam menghakimiku karena hal itu. Saya mungkin kehilangan klien. Tapi itu bukan aku, itu hanya wajahku. Tapi mereka akan mengira aku sudah menyetujuinya.”
“Saya sangat marah. Itu benar-benar merusak kesehatan mental saya. (Ini menyebabkan) kecemasan yang luar biasa,” tambahnya.
Juru bicara Synthesia mengatakan perusahaan telah menghubungi beberapa aktor yang kemiripannya telah digunakan. “Kami dengan tulus menyesali dampak negatif pribadi atau profesional dari insiden bersejarah ini terhadap orang-orang yang Anda ajak bicara,” katanya.
Namun begitu beredar, dampak buruk dari deepfake sulit untuk dihilangkan.
Dewhirst mengatakan melihat wajahnya digunakan untuk menyebarkan propaganda adalah skenario terburuk, dan menambahkan: “Otak kita sering kali menjadi kacau ketika kita khawatir. Tapi kemudian melihat kekhawatiran itu menjadi nyata… Sungguh mengerikan.”
‘Rollercoaster’
Tahun lalu, lebih dari 100.000 aktor dan artis yang tergabung dalam serikat pekerja di AS melakukan pemogokan, memprotes penggunaan AI dalam seni kreatif. Pemogokan tersebut dibatalkan pada bulan November lalu setelah studio menyetujui perlindungan dalam kontrak, seperti persetujuan sebelum replikasi digital dan kompensasi yang adil untuk penggunaan semacam itu. Pelaku video game tetap mogok karena masalah yang sama.
Bulan lalu, undang-undang bipartisan diperkenalkan di AS, berjudul UU NO FAKES dan bertujuan untuk meminta pertanggungjawaban perusahaan dan individu atas kerugian atas pelanggaran yang melibatkan replika digital.
Namun, sebenarnya tidak ada mekanisme praktis untuk memberikan ganti rugi bagi artis itu sendiri, di luar konten seksual yang dihasilkan oleh AI.
“Perusahaan-perusahaan AI ini mengundang orang-orang ke dalam rollercoaster yang sangat berbahaya,” kata Kelsey Farish, pengacara media dan hiburan yang berbasis di London yang berspesialisasi dalam AI generatif dan kekayaan intelektual. “Dan coba tebak? Orang-orang terus mengalami rollercoaster ini, dan sekarang orang-orang mulai dirugikan.”
Berdasarkan GDPR, model secara teknis dapat meminta Synthesia menghapus datanya, termasuk kemiripan dan gambarnya. Dalam praktiknya hal ini sangat sulit.
Seorang mantan karyawan Synthesia, yang tidak ingin disebutkan namanya karena takut akan pembalasan, menjelaskan bahwa AI tidak dapat “melupakan” atau menghapus apa yang mungkin diperoleh dari bahasa tubuh model tersebut. Untuk melakukan hal ini diperlukan penggantian seluruh model AI.
Juru bicara Synthesia berkata: “Banyak aktor yang bekerja sama dengan kami kembali terlibat dengan kami untuk pengambilan gambar baru… Di awal kolaborasi kami, kami menjelaskan persyaratan layanan kami kepada mereka dan cara kerja teknologi kami sehingga mereka mengetahui apa yang dimaksud dengan kami. yang dapat dilakukan oleh platform ini dan perlindungan yang kami miliki.”
Dia mengatakan perusahaannya tidak mengizinkan “penggunaan avatar stok untuk konten politik, termasuk konten yang akurat secara faktual tetapi dapat menciptakan polarisasi”, dan bahwa kebijakannya dirancang untuk menghentikan penggunaan avatarnya untuk “manipulasi, praktik penipuan, peniruan identitas, dan asosiasi palsu”.
“Meskipun proses dan sistem kami mungkin tidak sempurna, para pendiri kami berkomitmen untuk terus menyempurnakannya.”
Ketika Guardian menguji teknologi Synthesia menggunakan serangkaian skrip disinformasi, meskipun ia memblokir upaya untuk menggunakan salah satu avatarnya, video propaganda Burkina Faso dapat dibuat ulang dengan avatar yang dibuat secara pribadi dan diunduh, keduanya tidak boleh diizinkan. sesuai dengan kebijakan Synthesia. Synthesia mengatakan ini bukan pelanggaran terhadap ketentuannya karena menghormati hak untuk mengekspresikan sikap politik pribadi, namun kemudian memblokir akun tersebut.
The Guardian juga dapat membuat dan mengunduh klip dari avatar audio saja yang bertuliskan “heil Hitler” dalam beberapa bahasa, dan klip audio lainnya bertuliskan “Kamala Harris mencurangi pemilu” dalam aksen Amerika.
Synthesia menghapus layanan audio AI gratis setelah dihubungi oleh Guardian dan mengatakan teknologi di balik produk tersebut adalah layanan pihak ketiga.
Setelahnya
Pengalaman mempelajari kemiripannya telah digunakan dalam video propaganda telah meninggalkan Torres dengan perasaan pengkhianatan yang mendalam: “Mengetahui bahwa perusahaan yang saya percayai citra saya akan lolos dari hal seperti itu membuat saya sangat marah. Hal ini berpotensi mengorbankan nyawa, mengorbankan nyawa saya ketika melintasi perbatasan untuk imigrasi.”
Torres diundang ke syuting lain dengan Synthesia tahun ini, tapi dia menolak. Kontraknya akan berakhir dalam beberapa bulan, saat avatar Synthesia miliknya akan dihapus. Namun apa yang terjadi dengan avatarnya di video Burkina Faso tidak jelas bahkan baginya.
“Sekarang saya menyadari mengapa memasang wajah untuk mereka gunakan sangatlah berbahaya. Sayang sekali kami menjadi bagian dari ini,” katanya.
YouTube telah menghapus video propaganda yang menampilkan Dewhirst, namun tetap tersedia di Facebook.
Torres dan Yeates keduanya tetap berada di halaman depan Synthesia dalam iklan video untuk perusahaan tersebut.
