Bagaimana Alat AI Membuat Internet Menjadi Tempat yang Lebih Aman Satu Platform Sekaligus oleh seorang insinyur queer | Berita teknologi

Kisah dibalik Shore AI

“Saya seorang seniman dan aktivis dari pedesaan Tripura. Saat tumbuh dewasa, saya kesulitan untuk menyesuaikan diri karena identitas saya yang terpinggirkan, namun saya tidak sepenuhnya memahami mengapa saya diperlakukan berbeda. Saya mengekspresikan perasaan ini melalui karya seni saya,” kata Barua, seorang queer, pribumi, dan neurodivergent. Barua mengidentifikasi diri sebagai non-biner dan kata ganti pilihan mereka adalah mereka/mereka. “Ketika pengalaman hidup Anda terpinggirkan, karya seni Anda secara alami menjadi politis—Anda tidak harus memilihnya,” tambah Barua.

Barua, lulusan teknik ilmu komputer, menjelaskan, “Saat saya mulai memposting karya seni saya secara online, saya terhubung dengan orang lain yang memiliki pengalaman serupa. Saya menerima cinta dan dukungan, namun saya juga menghadapi kebencian dan pelecehan yang ekstrem. Saya menyadari bahwa diskriminasi yang kita hadapi dalam kehidupan nyata juga meluas ke dunia online,” kata Barua.

Hal ini menginspirasi ide Shore AI. AI Solution baru-baru ini memenangkan Just AI Awards 2024 yang bergengsi dalam kategori ‘AI untuk Kebaikan Sosial’ di Global AI Summit 2024 di Hyderabad. Diluncurkan pada tahun 2024, penghargaan ini dikonsep oleh Digital Empowerment Foundation dan dilembagakan sebagai sistem penghargaan tahunan dalam kemitraan dengan Departemen Teknologi Berkembang Pemerintah Telangana dan World Summit Awards serta mengakui dan merayakan inisiatif, pencapaian, dan upaya para inovator teknologi. -Pendekatan terpusat.

Barua mengejar karir di bidang kecerdasan buatan. Semasa kuliah, mereka aktif mempelajari Natural Language Processing (NLP), salah satu cabang AI yang berfokus pada pemahaman dan pemrosesan bahasa manusia. “Penelitian saya berfokus pada bahasa dan transformator India—apa yang sekarang kita kenal sebagai Model Bahasa Besar (LLM). Itu terjadi pada tahun 2020 sebelum penggunaan LLM dalam skala besar menjadi perhatian umum,” kata Barua.

Dengan pemahaman mendalam tentang AI dan NLP, Barua menyadari bahwa mereka memiliki keahlian unik yang dapat memecahkan masalah penting. Mereka mengerjakan proyek sampingan sambil bekerja sebagai insinyur AI.

Ini bukanlah tugas yang mudah karena Barua harus membuat datasetnya sendiri. Mereka terhubung dengan anggota komunitas lainnya secara online dan menyadari bahwa ide tersebut selaras dengan orang-orang yang mulai mengirimkan tautan Barua. Barua menyadari hal itu tidak bisa dilakukan secara manual.

Jadi ruang online tercipta di mana orang dapat mengirim tautan. Barua membuat scraper, alat pengambilan data, yang secara teratur pergi ke luar angkasa dan mengumpulkan komentar. Belakangan, Barua berteriak di media sosial dan para sukarelawan membantu menandai komentar-komentar kebencian.

Cara kerja model AI

Shore AI dilatih pada kumpulan data besar yang bersumber dari banyak orang. Ini adalah API moderasi konten yang dapat diintegrasikan ke dalam berbagai ruang online untuk mendeteksi dan memerangi ujaran kebencian, tidak terbatas pada platform tunggal mana pun. Salah satu integrasi tersebut adalah bot Reddit, di mana model tersebut diterapkan untuk memoderasi subreddit tertentu (komunitas khusus di platform Reddit) secara real time. API ini, yang terhubung dengan Reddit, telah diakui oleh Dana Kependudukan PBB (UNFPA) karena menciptakan solusi untuk mengatasi kekerasan berbasis gender yang difasilitasi oleh teknologi.

Masalah utama dari ujaran kebencian di India, berita utama Barua, adalah adanya bahasa yang berbeda tetapi sebagian besar keyboardnya menggunakan bahasa Inggris. Pengguna harus mengetik bahasa mereka menggunakan keyboard bahasa Inggris, jadi tidak ada ejaan kata yang tetap dalam bahasa Hindi. Jadi tidak ada daftar pasti penghinaan dalam konteks Asia Selatan.

Hal ini membuat Barua fokus pada bahasa Hinglish atau Hindi plus bahasa Inggris. Model tersebut saat ini dilatih berdasarkan kumpulan data unik yang menangkap dan mengidentifikasi ujaran kebencian dalam bahasa Hinglish, yang jarang ditangani dalam sistem moderasi yang ada.

Bot ini awalnya diintegrasikan ke dalam Reddit karena API platform yang ramah pengguna memungkinkan otomatisasi tugas moderasi dengan mudah, memberikan fleksibilitas kepada administrator subreddit untuk mengelola konten tidak seperti Instagram, yang mengikuti pedoman komunitas ketat yang ditetapkan oleh Meta. Mirip dengan bot Shore AI Reddit, modelnya dapat diintegrasikan ke banyak platform lain dan kontrol konten dapat disesuaikan.

“Bot AI, yang terintegrasi ke dalam subreddit tertentu, memindai postingan dan komentar, mengeluarkan peringatan, dan melacak pelanggar berulang. Setelah tiga kali peringatan, jika pengguna masih memposting ujaran kebencian, mereka akan diblokir dari subreddit. Namun, jika pengguna yang diblokir yakin AI telah melakukan kesalahan, mereka dapat langsung mengirim pesan ke moderator manusia, yang akan meninjau kasus tersebut dan mengambil keputusan akhir,” kata Barua. Peringatan itu diposting secara publik sebagai tanggapan atas komentar kebencian.

Jika kontrol konten gagal

Menurut Barua, paham sayap kanan sentris tidak memahami konteks regional, budaya atau sejarah dari ujaran kebencian. “Anda dapat melaporkan komentar dalam bahasa regional tetapi platform seperti Instagram tidak akan menghapusnya karena tidak melanggar standar komunitas global mereka,” kata Barua.

Shore AI mengatasi kesenjangan ini dengan mengambil pendekatan terdesentralisasi dengan mendorong platform untuk memungkinkan moderasi pihak ketiga untuk wilayah atau komunitas tertentu. “Kita memerlukan alat moderasi yang memahami konteks lokal—baik di masa lalu maupun masa kini. AI harus dilatih dengan pengetahuan tersebut, atau AI akan terus mengecewakan komunitas yang terpinggirkan,” tambah Barua.

Ujaran Kebencian: Apa Kata Statistik

Shore AI mengidentifikasi delapan kategori ujaran kebencian: seksisme, rasisme, kebencian politik, sektarianisme, queerphobia, kasta, abilityism (disabilitas), dan kebencian umum.

Menurut Barua, sebagian besar ujaran kebencian di India ditujukan terhadap gender dan seksual minoritas. Data dari Shore AI menunjukkan bahwa 40 persen ujaran kebencian online ditargetkan pada kelompok minoritas gender dan seksual, diikuti oleh 23 persen pada aktivis dan politisi, serta 11 persen pada kelompok agama.

Shore AI menganalisis 5.703 komentar kebencian pemilu di media sosial India dari Oktober 2022 hingga April 2024. Data menunjukkan bahwa persinggungan antara kebencian terkait pemilu dan kebencian agama adalah 78 persen lebih tinggi dibandingkan persinggungan terbesar berikutnya dengan ujaran kebencian yang bersifat seksis.

Masa depan kontrol konten

Menurut Barua, masa depan moderasi konten terletak pada desentralisasi, seperti pengecekan fakta pihak ketiga yang diterapkan oleh Meta. Platform harus membuka sistemnya terhadap alat eksternal, seperti Shore AI, yang beradaptasi dengan konteks lokal. “Tujuannya untuk menciptakan internet yang aman bagi semua orang, terutama kelompok marginal,” kata Barua.

Seiring pertumbuhan dan perkembangan Shore AI, dampaknya tidak dapat disangkal. Lahir dari pengalaman pribadi dan didorong oleh upaya kolektif komunitas, ini merupakan alat ampuh yang bertujuan menjadikan Internet sebagai tempat yang lebih aman dan inklusif.