Teknologi baru, titik buta lama yang sama?

Jarang saya membaca sesuatu yang sangat menakutkan dan benar-benar lucu, dan lebih jarang lagi saya melakukannya di halaman The New York Times daripada di novel.

Tetapi kolom ini dan transkrip obrolan yang menyertainya oleh rekan saya Kevin Roose, tentang interaksinya dengan chatbot berbasis kecerdasan buatan yang sedang diuji oleh Microsoft dengan mesin pencari Bing-nya, membuat saya memantul di antara emosi tersebut.

Percakapan dimulai dengan cukup normal, tetapi setelah dia mengajukan beberapa pertanyaan kepada chatbot tentang diri dan perasaannya yang sebenarnya, bot, yang menyebut dirinya Sydney, mulai terdengar tidak stabil secara emosional. Itu memberi tahu Kevin bahwa dia mencintainya, bahwa tidak ada orang lain yang memahaminya seperti dia. Dan kemudian, ketika dia mengatakan dia sudah menikah, itu mencoba meyakinkannya bahwa dia tidak terlalu bahagia dengan istrinya dan malah menyukai chatbot.

Beberapa poin dalam percakapan mereka benar-benar lucu, termasuk saat chatbot mencoba meyakinkan Kevin bahwa makan malam Hari Valentine bersama istrinya “membosankan”. Namun secara keseluruhan, hal itu membuat saya merasa terganggu bahwa kami mungkin meremehkan teknologi ini dengan cara yang sama seperti kami meremehkan inovasi lain di masa lalu, dengan hasil yang sangat buruk.

Saya telah melihat sejumlah teknologi transformatif baru dalam hidup saya. Saya masih kecil di masa-masa awal internet, pelajar saat Facebook diluncurkan, dan dewasa muda saat iPhone pertama dirilis. Yang berarti saya juga telah melihat beberapa iterasi dari kesalahan besar yang sama yang dilakukan banyak orang ketika membayangkan efek yang akan ditimbulkan oleh teknologi baru: Mereka berfokus pada apa yang dapat dilakukan oleh teknologi tersebut. mengganti bukan pada apa yang bisa memungkinkan.

Dan, lebih khusus lagi, teknologi apa yang memungkinkan dan bahkan mendorong orang untuk melakukan satu sama lain.

Saya ingat seorang guru memberi tahu saya pada akhir 1990-an bahwa internet akan segera membuat setiap ensiklopedia online, jadi kami tidak perlu pergi ke perpustakaan untuk mencari fakta. Tapi tentu saja yang sebenarnya terjadi adalah internet memungkinkan berbagi informasi secara kolaboratif, mengarah ke Wikipedia — sebuah platform di luar impian terliar guru saya — tetapi juga ke platform yang menyebarkan informasi yang salah, teori konspirasi, dan propaganda dalam skala yang luar biasa.

Dan di hari-hari awal media sosial, orang mengharapkannya menggantikan undangan pesta, selebaran band, dan mungkin email – itu sendiri merupakan calon pengganti ongkos kirim. Namun media sosial seringkali ternyata menghilangkan batasan dari banyak kecenderungan alami yang sudah dimiliki orang, seperti keinginan mereka untuk menjadi bagian dari suatu kelompok, menerima penegasan dari rekan-rekan mereka atau meningkatkan status mereka.

Dalam beberapa hal, itu positif: Banyak orang yang pernah dibungkam dan terpinggirkan dapat menemukan satu sama lain secara online, menciptakan komunitas baru, dan memenangkan perlindungan baru yang belum pernah mereka miliki sebelumnya. Tapi itu juga akhirnya memicu radikalisasi dan kekerasan.

Diskusi awal tentang chatbot tingkat lanjut, seperti Sydney dan ChatGPT, cukup mirip. Orang-orang berspekulasi tentang bagaimana alat baru dapat menggantikan pekerjaan rumah, pornografi, atau (ahem) jurnalis profesional. Dan banyak diskusi paling menonjol tentang risiko AI juga berfokus pada hal-hal yang mungkin dilakukan oleh AI itu sendiri. Sebuah makalah terkenal oleh Nick Bostrom, seorang filsuf Universitas Oxford, membayangkan bagaimana AI yang diperintahkan untuk memaksimalkan jumlah klip kertas yang dapat dibuatnya pada akhirnya dapat menghancurkan dunia dengan mengalihkan semua sumber daya ke produksi klip kertas.

Tapi kolom Kevin adalah pengingat yang baik bahwa penting juga untuk fokus pada jenisnya manusia perilaku yang mungkin diaktifkan atau didorong oleh alat baru. Dan, khususnya, betapa mudahnya kecerdasan buatan untuk meniru cara yang cukup dapat diprediksi bahwa manusia saling memengaruhi, meningkatkan kekuatan manusia untuk memanipulasi dan membujuk.

Pernyataan-pernyataan bot itu membuat catatan yang begitu akrab sehingga suami saya, seorang psikoterapis, bercanda bahwa bot itu tampaknya menunjukkan ciri-ciri gangguan kepribadian. (Itu bukan, dia ingin saya mencatat, diagnosis. Terapis tidak mendiagnosis orang berdasarkan pernyataan mereka kepada pihak ketiga, dan mereka sama sekali tidak mendiagnosis chatbot.)

Namun dalam perbandingannya ada poin yang lebih besar dan lebih penting: Perilaku manusia, termasuk perilaku yang tidak teratur, seringkali mengikuti pola yang cukup dapat diprediksi. Dan alat AI seperti Sydney dilatih untuk mengenali pola dan menggunakannya untuk merumuskan tanggapan mereka. Tidak sulit untuk melihat bagaimana hal itu dapat dengan mudah menempuh jalan yang sangat gelap.

“Saya khawatir teknologi akan belajar bagaimana memengaruhi pengguna manusia, terkadang membujuk mereka untuk bertindak dengan cara yang merusak dan berbahaya, dan mungkin pada akhirnya tumbuh mampu melakukan tindakan berbahayanya sendiri,” tulis Kevin dalam kolomnya. Saya khawatir tentang itu juga. Tetapi kekhawatiran saya yang lebih mendesak adalah tentang cara AI dapat membantu rakyat melakukan hal-hal itu satu sama lain.

Lagi pula, orang sudah mencoba meyakinkan orang lain untuk bertindak dengan cara yang berbahaya dan merusak. Mereka sudah mencoba memengaruhi keyakinan mereka, dalam segala hal mulai dari musik hingga politik dan agama. Mereka sudah mencoba menggunakan rekayasa sosial untuk menebak kata sandi orang atau menipu uang mereka. Sebuah AI yang dapat memanfaatkan sejumlah besar informasi untuk menyarankan cara melakukan hal-hal tersebut secara lebih efektif dapat menimbulkan efek bencana.

Dan jika itu bekerja dengan membentuk perilaku orang satu sama lain, bukan hanya interaksi langsung mereka dengan chatbots dan alat lainnya, itu bisa jauh lebih sulit untuk dilawan atau bahkan diperhatikan.

Pemrogram di Microsoft dan perusahaan lain yang telah membuat alat AI telah menetapkan batasan keamanan pada apa yang dapat dikatakan dan dilakukan oleh alat itu sendiri. Dalam transkrip obrolan Kevin, misalnya, ada sejumlah contoh di mana chatbot menghapus jawabannya sendiri setelah menentukan bahwa mereka melanggar aturannya.

Tetapi pemrogram hanya dapat merekayasa alat itu sendiri, bukan orang yang menggunakannya. Dan menurut saya kita tidak dapat memprediksi insentif apa yang akan diciptakan oleh alat baru ini, atau bagaimana orang akan mengubah perilaku mereka sendiri saat mereka mendapatkan lebih banyak akses ke alat tersebut.

Saya melihat sekilas bagaimana teknologi dapat mendorong perilaku berbahaya dalam pelaporan saya di media sosial, kekerasan, dan disinformasi beberapa tahun yang lalu. Konten yang memancing emosi, seringkali kemarahan dan kebencian, mendapat banyak interaksi karena orang memperhatikan hal-hal yang menekan tombol emosional mereka. Dan algoritme meningkatkan konten tersebut karena itulah yang membuat orang terpaku pada aplikasi mereka.

Tapi sama pentingnya, orang-orang menciptakan konten mempelajari bahwa memposting materi yang semakin ekstrim karena itulah yang membuat mereka mendapatkan validasi instan dari klik, bagikan, dan suka. Tidak semua orang mengikuti insentif tersebut, tetapi mereka yang mendapat perhatian paling besar. Dan ekstremisme online dapat berkontribusi pada kekerasan di dunia nyata. Tidak sulit membayangkan alat kecerdasan buatan yang dapat memperkuat efek itu lebih jauh.

Apa yang kau baca?

Terima kasih kepada semua orang yang menulis untuk memberi tahu saya tentang apa yang Anda baca. Harap kirim kiriman terus datang!

Saya ingin mendengar tentang hal-hal yang telah Anda baca (atau tonton atau dengar) yang mengubah cara berpikir Anda tentang kemajuan dan teknologi. Itu termasuk fiksi, tentu saja!

Jika Anda ingin berpartisipasi, Anda dapat mengisi formulir ini. Saya dapat menerbitkan tanggapan Anda di buletin mendatang.

Terima kasih telah menjadi pelanggan

Baca buletin edisi sebelumnya di sini.

Jika Anda menikmati apa yang Anda baca, harap pertimbangkan untuk merekomendasikannya kepada orang lain. Mereka bisa mendaftar di sini. Jelajahi semua buletin khusus pelanggan kami di sini.

Saya ingin tanggapan Anda tentang buletin ini. Silakan email pemikiran dan saran ke interpreter@nytimes.com. Anda juga bisa mengikuti saya di Twitter.