GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Pengenalan fitur Computer Use menjadi langkah baru dalam pengembangan asisten kecerdasan buatan. Pada fungsi utamanya, GitHub Copilot umumnya dikenal untuk mendukung pengembangan perangkat lunak. Melalui kemampuan terbaru, Copilot memiliki kemampuan bekerja pada perangkat lunak komputer menggunakan perintah berbentuk percakapan. Kemampuan tersebut membantu AI mengamati elemen antarmuka, kemudian mengisi kolom sesuai instruksi yang telah diberikan. Berkat mekanisme interaksi langsung, tugas yang melibatkan banyak langkah dapat dikerjakan secara lebih efisien tanpa harus membuat otomatisasi manual.
Fitur interaksi komputer tersebut diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, kemampuan dan perilakunya berpotensi mengalami penyempurnaan berdasarkan perkembangan layanan. Nilai tambah penting adalah kompatibilitas dengan program berbasis antarmuka grafis yang tidak menyediakan API. Pada lingkungan aplikasi tersebut, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk menyelesaikan tugas. Meski menawarkan kemudahan, pengguna masih perlu memberikan izin akses yang sesuai.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Untuk mulai memanfaatkan Computer Use, pengguna harus mengetahui bahwa aplikasi GitHub Copilot telah tersedia. Ketika antarmuka GitHub Copilot tampil, buka menu pengaturan, kemudian temukan halaman Computer Use. Pada bagian tersebut, nyalakan pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Dalam kondisi standar, fitur ini berada dalam keadaan nonaktif. Pengaturan awal ini menyediakan kesempatan menentukan izin kepada pengguna sebelum AI berinteraksi dengan aplikasi. Dengan demikian, pengguna memiliki kesempatan memilih kapan Copilot boleh menggunakan kemampuan desktop.
Bagi pengguna macOS, pengaturan tambahan harus diberikan agar Computer Use mampu berinteraksi dengan program yang terpasang. Izin tersebut terdiri atas Accessibility dan Screen Recording. Accessibility digunakan untuk menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti petunjuk yang ditampilkan aplikasi. Di sisi lain, proses pengaktifan tersedia pada menu Computer Use tanpa langkah pemberian izin Screen Recording khas macOS. Walaupun prosesnya berbeda, pelaksanaan tindakan otomatis tetap berada dalam kendali pengguna.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan command line, pendekatan tersebut menawarkan kendali melalui sesi percakapan terminal. Ketika membuka sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna perlu menjalankan perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, gunakan perintah `/computer show`. Sebaliknya, perintah `/computer off` berfungsi mematikan kemampuan interaksi komputer. Berkat perintah sederhana tersebut, pengguna memiliki kendali status penggunaan alat sesuai kondisi sesi.
Setelah Computer Use aktif, pengguna dapat memberikan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna bisa menginstruksikan Copilot untuk menjalankan program yang tersedia, kemudian membaca informasi yang muncul. Apabila tugas melibatkan perubahan, Copilot mampu menjalankan pengetikan teks setelah izin yang diperlukan diberikan. Untuk memperoleh hasil terbaik, sebutkan aplikasi yang terlibat secara spesifik. Dalam sebuah skenario, pengguna memiliki kesempatan menuliskan permintaan untuk merangkum informasi tanpa mengubah data dengan ruang lingkup tugas yang terukur. Instruksi terarah tersebut dapat membatasi perubahan di luar tujuan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Manfaat praktis Computer Use adalah otomatisasi pekerjaan administratif yang mengandalkan perangkat lunak berbeda. Dalam pekerjaan kantor, pengguna terkadang perlu membuka berbagai jendela. Berkat kemampuan interaksi antarmuka, beberapa langkah tersebut mampu disederhanakan. Sebagai contoh, Copilot memiliki kemampuan membantu memeriksa sistem pengelolaan informasi, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pengisian formulir. Dengan demikian, proses yang dilakukan secara manual dapat membutuhkan lebih sedikit interaksi pengguna.
Kemampuan tersebut memiliki nilai tambah bagi organisasi yang memiliki perangkat lunak konvensional. Tidak semua aplikasi menyediakan API modern. Keterbatasan integrasi ini sering membuat pengembangan skrip lebih kompleks. Berkat interaksi berbasis antarmuka, Copilot berpotensi menangani aktivitas dengan kontrol aplikasi langsung. Dalam penerapan tertentu, pengguna memiliki pilihan memberikan tugas untuk memeriksa status dalam sistem lama. Namun demikian, ketepatan tindakan dapat dipengaruhi oleh desain antarmuka yang sedang dibuka.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengamanan akses aplikasi merupakan prioritas utama. Ketika Copilot berinteraksi aplikasi desktop, konten aplikasi berpotensi digunakan sebagai informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna harus memastikan ruang lingkup kontrol desktop. Sistem Computer Use menggunakan pengaturan otorisasi sebelum mengendalikan aplikasi sesuai konfigurasi izin yang berlaku. Melalui pengaturan ini, pengguna memiliki kesempatan membatasi tindakan berdasarkan risiko aktivitas.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot juga menawarkan pengaturan Always allow untuk perangkat lunak tertentu. Melalui pilihan tersebut, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang mendapat otorisasi pengguna tanpa selalu meminta konfirmasi baru. Meski mempermudah penggunaan berulang, pemberian izin permanen harus dipertimbangkan secara cermat, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola daftar aplikasi yang diizinkan dan mengatur ulang daftar izin sesuai kebijakan organisasi. Sebagai tindakan penting, proses otomatisasi yang berjalan dapat dihentikan melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Berkat pengawasan aktif, otomatisasi dapat dihentikan ketika diperlukan.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Peluncuran Computer Use menunjukkan perluasan kemampuan GitHub Copilot dari pendukung penulisan kode menuju pendukung pekerjaan lintas aplikasi. Berkat akses terhadap elemen antarmuka, Copilot mampu mendukung pengelolaan dokumen menggunakan arahan pengguna. Pendekatan otomatisasi tersebut bermanfaat terutama untuk aplikasi tanpa API yang belum mendukung integrasi modern. Walaupun memberikan kemudahan, pengoperasian masih membutuhkan pengawasan tindakan agar hasil tetap sesuai kebutuhan.
Pada era otomatisasi digital modern, kemampuan AI berinteraksi dengan desktop berpotensi menjadi pendekatan baru dalam pekerjaan kantor. Namun demikian, risiko salah klik memerlukan langkah mitigasi. Pengembang fitur tersebut menekankan bahwa computer use masih berada dalam public preview. Agar penggunaan lebih efektif, tentukan batasan pekerjaan dan periksa hasil tindakan. Bagaimana menurut Anda, apakah otomatisasi desktop berbasis AI akan meningkatkan produktivitas pada masa mendatang? Silakan bagikan pendapat Anda mengenai perkembangan otomatisasi berbasis AI.
