Minggu ini, pada Konferensi Internasional ke-38 tentang Pembelajaran Mesin (ICML 21) jaringan saraf, dalam komputasi para peneliti di Pusat Keamanan Siber NYU di Sekolah Teknik NYU Tandon mengungkapkan wawasan baru tentang fungsi dasar yang mendorong kemampuan jaringan saraf untuk membuat kesimpulan tentang data terenkripsi. Dalam makalah, “DeepReDuce: ReLU Reduction for Fast Private Inference,” tim berfokus pada operator linier dan non-linear, fitur utama kerangka kerja jaringan saraf yang, tergantung pada operasinya, memperkenalkan banyak waktu dan sumber daya komputasi. Ketika jaringan saraf menghitung pada data terenkripsi, jaringan saraf banyak dari biaya ini dikeluarkan oleh fungsi aktivasi linier yang diperbaiki (ReLU), operasi non-linier dalam komputasi.

Brandon Reagen, profesor ilmu komputer dan teknik dan teknik listrik dan komputer dan tim kolaborator termasuk Nandan Kumar Jha, Ph.D. mahasiswa, dan Zahra Ghodsi, mantan mahasiswa doktoral di bawah bidalam komputasimbingan Siddharth Garg, dalam komputasi  mengembangkan kerangka kerja yang disebut DeepReDuce. Ini menawarkan solusi melalui penataan ulang dan pengurangan ReLU di jaringan saraf.

Reagen menjelaskan bahwa pergeseran ini membutuhkan penilaian ulang mendasar tentang di mana dan berapa banyak komponen yang didistribusikan dalam sistem jaringan saraf. “Apa yang kami coba lakukan adalah memikirkan kembali bagaimana jaring saraf dirancang sejak awal,” jelasnya. “Anda dapat melewatkan banyak waktu dan operasi ReLU yang mahal secara komputasi dan tetap mendapatkan jaringan berkinerja tinggi dengan waktu pengoperasian 2 hingga 4 kali lebih cepat.” Tim menemukan bahwa, dibandingkan dengan inferensi pribadi canggih, DeepReDuce meningkatkan akurasi dan mengurangi jumlah ReLU masing-masing hingga 3,5% dan 3,5 ×. Penyelidikan tidak hanya akademis. Ketika penggunaan AI tumbuh bersamaan dengan kekhawatiran tentang keamanan keamanan data pribadi, perusahaan, dan pemerintah, jaringan saraf semakin membuat perhitungan pada data terenkripsi. Dalam skenario seperti itu yang melibatkan jaringan saraf yang menghasilkan inferensi pribadi (PI) pada data tersembunyi tanpa mengungkapkan input, itu adalah fungsi non-linear yang menggunakan “biaya” tertinggi dalam waktu dan daya. Karena biaya ini meningkatkan kesulitan dan waktu yang dibutuhkan mesin pembelajaran untuk melakukan PI, para peneliti telah berjuang untuk meringankan beban yang diberikan ReLU pada perhitungan tersebut. Pekerjaan tim dibangun di atas teknologi inovatif yang disebut CryptoNAS. Dijelaskan dalam makalah sebelumnya yang penulisnya termasuk Ghodsi dan Ph.D. siswa, Akshaj Veldanda, CryptoNAS mengoptimalkan penggunaan ReLU karena seseorang dapat mengatur ulang bagaimana bebatuan diatur dalam aliran untuk mengoptimalkan aliran air: ini menyeimbangkan kembali distribusi ReLUS dalam jaringan dan menghilangkan ReLU yang berlebihan. DeepReDuce memperluas CryptoNAS dengan merampingkan proses lebih lanjut jaringan saraf.

Ini terdiri dari serangkaian pengoptimalan untuk penghapusan ReLU yang bijaksana setelah jaringan saraf fungsi reorganisasi CryptoNAS. Para peneliti menguji DeepReDuce dengan menggunakannya untuk menghapus ReLU dari jaringan klasik, menemukan bahwa mereka mampu secara signifikan mengurangi latensi inferensi sambil mempertahankan akurasi tinggi. Reagan, dengan Mihalis Maniatakos, asisten peneliti profesor teknik listrik dan komputer, juga merupakan bagian dari kolaborasi dengan perusahaan keamanan data Duality untuk merancang microchip baru yang dirancang untuk menangani komputasi pada data yang dienkripsi sepenuhnya. Penelitian tentang ReLUS didukung oleh ADA dan program Data Protection in Virtual Environments (DPRIVE) di U.S. Defense Advanced Research Projects Agency (DARPA) dan Center for Applications Driving Architectures dalam komputasi.