Reddit baru-baru ini meluncurkan fitur pencarian berbasis AI yang menjawab pertanyaan dengan merangkum komentar dan posting dari berbagai komunitas. Namun, audit independen menemukan bahwa sistem tersebut tidak sepenuhnya netral dalam memilih konten. Model seleksi di balik pencarian AI Reddit cenderung lebih menyukai komentar yang sudah populer. Temuan ini memicu diskusi tentang bias algoritmik dalam pencarian informasi.
Temuan Utama tentang Popularitas dan Panjang Komentar
Audit dilakukan terhadap model yang digunakan Reddit untuk memilih jawaban yang relevan. Para peneliti menganalisis faktor-faktor yang memengaruhi probabilitas sebuah komentar dipilih oleh mesin pencari. Hasilnya menunjukkan pola yang menarik: popularitas awal komentar menjadi sinyal dominan. Ini menandakan bahwa algoritma lebih mengandalkan validasi komunitas ketimbang kualitas intrinsik jawaban.
Peringkat suara komentar di dalam thread memiliki asosiasi terbesar dalam model seleksi. Setiap peningkatan satu standar deviasi pada peringkat suara mengalikan peluang komentar dipilih sebesar 2,88 kali. Artinya komentar dengan skor tinggi jauh lebih mungkin muncul sebagai jawaban AI. Pengaruh ini jauh melampaui faktor lain yang diukur dalam audit.
Panjang komentar juga berperan namun lebih kecil. Peningkatan satu standar deviasi pada panjang komentar meningkatkan peluang dipilih dengan rasio odds 1,79. Dengan kata lain, jawaban yang lebih panjang sedikit lebih disukai. Namun efeknya tidak sekuat peringkat suara.
Keberadaan tautan eksternal dalam komentar juga meningkatkan peluang. Komentar yang mengandung tautan eksternal memiliki rasio odds 2,25. Ini menunjukkan bahwa AI mungkin menilai komentar dengan sumber rujukan sebagai lebih kredibel. Meski begitu, faktor ini masih kalah dibanding peringkat suara.
Sumber Jawaban dari Beragam Subreddit
Audit juga menemukan bahwa jawaban tipikal dihasilkan dari sekitar tujuh subreddit yang berbeda. Hal ini menunjukkan model mencoba menggabungkan perspektif dari berbagai komunitas. Namun distribusi sumber tidak merata.
Subreddit tempat pertanyaan pertama kali diajukan berkontribusi 17,7% dari posting yang diambil pada kelompok komunitas besar. Pada kelompok komunitas kecil, kontribusinya 15,7%. Para penulis audit menegaskan bahwa porsi yang lebih tinggi tidak selalu berarti lebih baik. Artinya, dominasi subreddit asal bisa mengarah pada echo chamber jika tidak dikontrol.
Implikasi dan Rekomendasi
Temuan ini menunjukkan bahwa pencarian AI Reddit berpotensi memperkuat bias popularitas. Komentar yang sudah populer akan semakin sering dipilih, sementara komentar baru atau kurang dikenal bisa terabaikan. Ini dapat merugikan jawaban berkualitas yang belum sempat mendapat banyak suara.
Para peneliti menyarankan agar Reddit mengevaluasi ulang model seleksi untuk mengurangi ketergantungan pada metrik popularitas. Pendekatan yang lebih seimbang mungkin mempertimbangkan kualitas konten, relevansi, dan keragaman sumber. Transparansi algoritma juga diperlukan agar pengguna memahami cara kerja fitur pencarian AI.
Audit ini memberikan gambaran awal tentang bias dalam sistem pencarian AI Reddit. Meskipun penggunaan AI menjanjikan efisiensi, bias terhadap komentar populer perlu diatasi. Pengguna sebaiknya kritis terhadap jawaban yang disajikan dan tidak menganggapnya sebagai kebenaran mutlak. Reddit diharapkan terus memperbaiki algoritma agar lebih adil dan representatif.
