Otomasi tidak menangguhkan hukum hak-sipil
Seorang pemberi kerja, pemilik properti sewa, pemberi pinjaman, sekolah, perusahaan asuransi, departemen kepolisian, atau lembaga tunjangan dapat menggunakan sebuah algoritma tanpa lolos dari kewajiban yang mengatur keputusan itu. Di Amerika Serikat, hukum seperti Title VII, Americans with Disabilities Act, Fair Housing Act, Equal Credit Opportunity Act, dan perlindungan proses-hukum konstitusional dapat berlaku tergantung pada pelaku dan konteks. Cakupan, standar hukum, dan pemulihan berbeda-beda; halaman ini bukan nasihat hukum.
Kekhawatiran hari ini muncul dari model statistik, sistem peringkat, biometrik, dan AI generatif. Klaim bahwa AGI akan menciptakan pengawasan universal atau memprediksi perilaku dengan sempurna adalah prakiraan bersyarat, bukan kapabilitas yang teramati.
Diskriminasi dapat masuk pada setiap tahap
Data historis dapat mengenkode eksklusi sebelumnya. Label mungkin mencerminkan penangkapan alih-alih pelanggaran sesungguhnya, pengeluaran kesehatan alih-alih kebutuhan, atau penilaian manajer alih-alih kinerja. Fitur-fitur yang menghilangkan ras masih dapat menjadi proksi untuk status terlindungi melalui geografi, sekolah, bahasa, disabilitas, atau jaringan.
Pilihan desain menentukan siapa yang terwakili, hasil apa yang dioptimalkan, dan kesalahan mana yang penting. Penerapan menciptakan masalah lebih lanjut: staf mungkin terlalu percaya pada sebuah skor, pelamar mungkin tidak dapat mengoreksi catatan, dan sebuah alat yang diuji secara nasional dapat gagal pada sebuah populasi lokal. Akurasi keseluruhan sebuah vendor dapat menyembunyikan tingkat negatif-palsu atau positif-palsu yang tinggi untuk sebuah subkelompok.
Metrik keadilan dapat saling bertentangan. Menyetarakan satu tingkat kesalahan dapat memperburuk yang lain, terutama ketika tingkat terukur yang mendasarinya berbeda. Matematika tidak dapat memutuskan tawar-menawar mana yang sah secara hukum atau adil. Institusi harus menghubungkan metrik dengan hak, tujuan, dan konsekuensi.
Ketenagakerjaan mengilustrasikan tanggung jawab bersama
Pemberi kerja menggunakan perangkat lunak untuk menyaring resume, menilai tes, menganalisis video, menjadwalkan kerja, memantau produktivitas, dan merekomendasikan promosi atau pemecatan. Equal Employment Opportunity Commission dan Departemen Kehakiman AS memperingatkan bahwa alat algoritmik dapat secara melawan hukum menyaring keluar orang-orang dengan disabilitas dan bahwa pemberi kerja mungkin perlu menyediakan akomodasi yang wajar (EEOC dan DOJ, Mei 2022).
Membeli sebuah alat tidak memindahkan seluruh tanggung jawab ke vendor. Pemberi kerja harus memvalidasinya untuk pekerjaan dan populasi tersebut, memberi tahu pelamar, menawarkan alternatif yang dapat diakses, memantau hasil, dan menyelidiki metode yang kurang diskriminatif. Pelamar membutuhkan cara untuk menantang data yang salah dan menerima tinjauan manusia sebelum sebuah keputusan yang merugikan menjadi final.
Inferensi suara, tatapan mata, ekspresi wajah, atau kepribadian layak mendapat kecurigaan khusus. Sebuah sinyal dapat berkorelasi dalam sebuah sampel pelatihan tanpa secara andal mengukur kompetensi pekerjaan, dan disabilitas atau perbedaan budaya dapat mengubahnya. Klaim bahwa sebuah AI membaca emosi harus didukung oleh bukti validitas independen untuk penggunaan sesungguhnya.
Perumahan, kredit, dan layanan esensial
Sistem penyaringan-penyewa menggabungkan catatan kredit, penggusuran, kriminal, dan identitas yang dapat tidak lengkap atau tidak cocok. Panduan 2024 HUD menyatakan bahwa Fair Housing Act berlaku pada penyaringan-penyewa dengan pembelajaran mesin dan bahwa penyedia perumahan dan perusahaan penyaringan sama-sama memiliki peran dalam memastikan keputusan yang adil, akurat, dan transparan (panduan HUD yang diarsipkan, April 2024).
Periklanan otomatis juga dapat mengecualikan orang sebelum mereka melamar dengan menyampaikan peluang perumahan atau pekerjaan secara selektif. Dalam pemberian pinjaman, data alternatif dapat memperluas akses bagi orang-orang dengan berkas kredit tipis atau mereproduksi disparitas lingkungan dan pendapatan. Perbandingan yang benar bukanlah algoritma versus manusia sempurna; itu adalah proses yang teruji versus alternatif yang sesungguhnya, dengan hak yang dipertahankan di keduanya.
Tunjangan, perawatan kesehatan, dan asuransi melibatkan taruhan yang sangat tinggi. Triase dapat membantu staf memprioritaskan kasus, tetapi sebuah skor yang buram seharusnya tidak menjadi sebuah penolakan yang tidak dapat dibanding. Lembaga membutuhkan pemberitahuan, alasan, akses bukti, tinjauan manusia yang tepat waktu, dan kontinuitas sementara sebuah kesalahan diselesaikan.
AI generatif menambahkan kerugian representasi dan inferensi
Sistem generatif dapat menghasilkan stereotip, mengarang tuduhan, mengungkap data pribadi yang dihafal, atau menyimpulkan sifat sensitif dari informasi biasa. Generative AI Profile sukarela milik NIST mengidentifikasi bias berbahaya, homogenisasi, privasi, dan konfabulasi di antara risiko lintas-sektor (NIST AI 600-1, Juli 2024).
Panduan NIST bukan hukum yang mengikat. Panduan itu menyediakan sebuah kosakata manajemen-risiko. Klaim kepatuhan harus menspesifikasikan apa yang sesungguhnya diuji dan diubah oleh sebuah organisasi, bukan sekadar mengatakan itu “menggunakan kerangka NIST.”
Pengawasan mengubah kekuasaan bahkan ketika akurat
AI dapat membuat lebih murah untuk mencari kamera, suara, lokasi, pembelian, komunikasi, dan aktivitas tempat kerja. Kerugiannya tidak terbatas pada kesalahan identifikasi. Pengawasan yang akurat dapat mendinginkan protes, asosiasi, praktik keagamaan, perawatan medis, atau pengorganisasian buruh. Seseorang dapat mengubah perilaku yang sah karena pengamatan itu persisten dan keputusan itu buram.
Identifikasi biometrik dapat membantu menemukan seseorang yang hilang atau membuka kunci sebuah perangkat. Identifikasi itu juga dapat memungkinkan pelacakan skala-populasi. Proporsionalitas bergantung pada tujuan, surat perintah atau wewenang, retensi, kualitas daftar-pantau, tinjauan manusia, kesalahan, dan apakah cara yang kurang mengganggu ada.
Perayapan-fungsi dapat diprediksi: data yang dikumpulkan untuk keamanan mungkin kelak melayani pemasaran, imigrasi, penilaian produktivitas, atau penegakan hukum. Pembatasan tujuan, retensi singkat, log akses, dan penghapusan adalah kontrol substantif.
Audit membutuhkan taring
Sebuah audit dapat memeriksa data, kinerja subkelompok, keamanan, tata kelola, dan kepatuhan hukum. Sebuah uji yang dipilih vendor pada sebuah kumpulan data yang dikurasi lebih lemah daripada sebuah evaluasi independen dengan akses produksi. Auditor membutuhkan perlindungan dari pembalasan, kebebasan untuk mempublikasikan keterbatasan material, dan informasi yang cukup untuk mereproduksi temuan.
Penilaian dampak harus terjadi sebelum pengadaan dan lagi setelah penerapan. Penilaian itu harus mengidentifikasi kelompok yang terdampak, alternatif, sumber data, konsekuensi kesalahan, banding, dan kriteria penghentian. Pemantauan hasil agregat diperlukan karena uji pra-penerapan tidak dapat mengantisipasi setiap kondisi lokal.
Transparansi harus dapat digunakan. Mempublikasikan sebuah makalah teknis tidak memberi tahu seorang pelamar mengapa mereka ditolak. Pemberitahuan individual membutuhkan faktor-faktor penentu dan sebuah jalur koreksi; transparansi publik membutuhkan kinerja, kontrak, insiden, dan wewenang lembaga.
Partisipasi dan pemulihan
Orang-orang yang tunduk pada sebuah sistem harus membantu mendefinisikan apa arti keberhasilan dan kerugian yang tidak dapat diterima. Kelompok disabilitas dapat mengidentifikasi tes yang tidak dapat diakses; penyewa dapat menjelaskan kesalahan catatan; pekerja dapat mengungkap bagaimana pemantauan mengubah perilaku. Konsultasi setelah sebuah kontrak ditandatangani memiliki sedikit daya tawar.
Pemulihan harus mencakup koreksi, pertimbangan-ulang, pemulihan kesempatan yang hilang jika memungkinkan, kompensasi untuk kerugian, dan perubahan organisasi. Tinjauan manusia harus independen dan diberi wewenang, bukan sekadar stempel karet untuk skor tersebut.
Skenario AGI
Agen yang lebih mampu dapat menggabungkan basis data, menyimpulkan sifat-sifat intim, mempersonalisasi manipulasi, dan mengotomatisasi keputusan pengawasan. Agen itu juga dapat membantu mengungkap diskriminasi, menerjemahkan keluhan, dan membuat dukungan hukum lebih dapat diakses. Tidak satu pun hasil itu mengikuti dari kecerdasan semata. Hukum, kontrol akses, insentif kelembagaan, dan kepemilikan menentukan penggunaan.
Standar praktisnya sederhana: jangan menerapkan sebuah sistem yang memengaruhi hak tanpa tujuan yang sah, bukti validitas, uji subkelompok, minimalisasi data, pemberitahuan yang dapat diakses, banding manusia yang bermakna, pengawasan independen, dan pemulihan. Akurasi diperlukan dalam banyak pengaturan, tetapi hak sipil membutuhkan batasan pada apa yang boleh dilakukan institusi bahkan secara akurat.