GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Peluncuran fitur Computer Use menjadi kemajuan menarik dalam pemanfaatan GitHub Copilot. Pada fungsi utamanya, GitHub Copilot sering digunakan untuk memberikan saran pemrograman. Dengan hadirnya Computer Use, Copilot dapat berinteraksi pada aplikasi desktop menggunakan arahan yang diberikan pengguna. Kemampuan tersebut mendukung AI membaca informasi aplikasi, kemudian menjalankan perintah keyboard sesuai instruksi yang telah diberikan. Melalui sistem ini, pekerjaan berulang mampu disederhanakan tanpa harus membuat otomatisasi manual.
Fitur interaksi komputer tersebut dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Artinya, fitur yang tersedia berpotensi mengalami penyempurnaan berdasarkan umpan balik pengguna. Nilai tambah penting adalah kemampuan menangani perangkat lunak konvensional yang tidak menyediakan API. Pada lingkungan aplikasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti klik dan pengetikan untuk mendukung pekerjaan. Walaupun fleksibel, pengguna masih perlu memberikan instruksi yang tidak ambigu.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Sebelum menggunakan Computer Use, pengguna harus mengetahui bahwa GitHub Copilot sudah terpasang. Ketika antarmuka GitHub Copilot tampil, pilih bagian pengaturan aplikasi, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, aktifkan pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Dalam kondisi standar, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menghadirkan perlindungan tambahan kepada pengguna sebelum AI berinteraksi dengan aplikasi. Dengan demikian, pengguna bisa mengatur kapan Copilot boleh menggunakan kemampuan desktop.
Pada komputer Mac, pengaturan tambahan menjadi bagian dari aktivasi agar Computer Use bisa berfungsi dengan program yang terpasang. Izin tersebut meliputi Accessibility dan Screen Recording. Izin Accessibility memungkinkan berinteraksi dengan elemen antarmuka, sedangkan Screen Recording mendukung pembacaan tampilan. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti langkah izin dari macOS. Untuk perangkat Windows, langkah memulai dapat dijalankan dari menu Computer Use tanpa persyaratan izin macOS tersebut. Namun demikian, kendali atas perangkat lunak tetap mengikuti pengaturan izin.
Kontrol Otomatisasi Desktop Menggunakan GitHub Copilot CLI
Selain melalui aplikasi grafis, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, pendekatan tersebut menghadirkan kendali melalui sesi percakapan terminal. Setelah menjalankan sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna bisa memasukkan perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Untuk mengetahui status fitur, masukkan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` berfungsi menonaktifkan fitur. Berkat perintah sederhana tersebut, pengguna dapat mengatur ketersediaan kemampuan desktop sesuai kondisi sesi.
Setelah Computer Use aktif, pengguna bisa menuliskan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna memiliki pilihan mengarahkan Copilot untuk membuka aplikasi tertentu, kemudian membaca informasi yang muncul. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan pengetikan teks setelah pengguna menyetujui tindakan yang diminta. Untuk memperoleh hasil terbaik, jelaskan tujuan akhir secara terperinci. Misalnya, pengguna memiliki kesempatan menuliskan permintaan untuk memindahkan informasi antaraplikasi dengan batasan yang jelas. Cara penggunaan tersebut dapat membatasi kesalahan tindakan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Contoh penggunaan yang relevan adalah penyederhanaan aktivitas desktop yang melibatkan beberapa aplikasi. Pada lingkungan bisnis, pengguna terkadang perlu memindahkan informasi. Melalui Computer Use, aktivitas tertentu berpotensi diotomatisasi. Pada kebutuhan tertentu, Copilot bisa diminta memeriksa sistem pengelolaan informasi, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem berpotensi menjalankan pembaruan kolom tertentu. Melalui alur tersebut, aktivitas administratif berulang dapat membutuhkan lebih sedikit interaksi pengguna.
Computer Use turut relevan bagi pengguna aplikasi lama. Sejumlah sistem perusahaan menyediakan API modern. Situasi semacam ini sering membuat otomatisasi lebih sulit. Dengan memanfaatkan konteks visual, Copilot dapat mencoba menjalankan aktivitas dengan kontrol aplikasi langsung. Pada contoh pekerjaan, pengguna bisa mengarahkan untuk memeriksa status dalam sistem lama. Walaupun menawarkan fleksibilitas, keberhasilan otomatisasi perlu mempertimbangkan desain antarmuka yang menjadi sasaran pekerjaan.
Keamanan dan Izin Akses Menjadi Prioritas Computer Use
Meskipun Computer Use menawarkan kemudahan, pengamanan akses aplikasi merupakan pertimbangan mendasar. Apabila sistem otomatisasi menggunakan perangkat lunak lokal, konten aplikasi berpotensi digunakan sebagai informasi yang dibaca sistem. Oleh sebab itu, pengguna harus memastikan ruang lingkup kontrol desktop. Sistem Computer Use meminta persetujuan sebelum mengendalikan aplikasi sesuai konfigurasi izin yang berlaku. Berkat proses persetujuan, pengguna memiliki kesempatan membatasi tindakan berdasarkan tingkat sensitivitas aplikasi.
Di samping persetujuan setiap sesi, GitHub Copilot mendukung pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang sebelumnya telah disetujui tanpa mengulang seluruh proses persetujuan. Walaupun lebih praktis, penggunaan Always allow sebaiknya dibatasi, terutama untuk perangkat lunak bisnis sensitif. Pengguna dapat meninjau otorisasi yang telah disimpan dan menghapus akses sesuai kebutuhan keamanan. Selain itu, proses otomatisasi yang berjalan memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Melalui kontrol tersebut, pengguna tetap memiliki kendali.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Kehadiran Computer Use menandai kemajuan baru GitHub Copilot dari asisten pemrograman menuju pendukung pekerjaan lintas aplikasi. Dengan dukungan pemahaman konteks visual, Copilot mampu mendukung pengisian data menggunakan perintah percakapan. Fitur tersebut bermanfaat terutama untuk perangkat lunak lama yang sulit diotomatisasi menggunakan cara konvensional. Namun demikian, pengguna tetap perlu pengawasan tindakan agar proses berjalan secara terkendali.
Dalam perkembangan TEKNOLOGI, otomatisasi melalui antarmuka visual berpotensi menjadi pendukung aktivitas profesional. Namun demikian, kesalahan membaca antarmuka tetap perlu diperhitungkan. GitHub sendiri menjelaskan bahwa computer use dapat mengalami perubahan selama pengembangan. Untuk hasil terbaik, berikan instruksi yang spesifik dan periksa hasil tindakan. Apa pendapat Anda, apakah Computer Use GitHub Copilot mampu mengurangi pekerjaan berulang pada masa mendatang? Anda dapat berbagi pengalaman mengenai fitur Computer Use.
