Güncelleme: Computer Use artık AB/UK'de de kullanılabilir ;) Keyfini çıkarın!
Codex'in bir bilgisayarı kullanmasının üç yolu vardır: Computer Use, Chrome eklentisi ve uygulama içi tarayıcı.
Kafa karıştıracak kadar benzerlik gösterirler.
Bu yazının sonunda, üçünü de nasıl kuracağınızı ve tetikleyeceğinizi, her birini ne zaman kullanacağınızı, Appshots ve Developer mode'un bunları nasıl birbirine bağladığını ve AGENTS.md dosyasına Codex'in kendi başına doğru yüzeyi seçebilmesi için ne eklemeniz gerektiğini öğreneceksiniz.
Kısa versiyonu şu şekilde:
Bununla birlikte, mümkün olduğunda bir eklenti veya MCP tercih edin. Bir Slack eklentisi, bir konuşmayı Slack'te tıklayarak dolaşmaktan daha hassas bir şekilde alabilir. Bir GitHub eklentisi, web sitesini kullanmaktan daha kolay incelenebilecek eylemler üretir. Görsel kontrol, yapılandırılmış bir aracın sınırına geldiğinizde en kullanışlıdır!
1. Her Şey @Computer'dur
Computer Use, üç yüzey arasında en geniş kapsamlı olanıdır. Codex'in macOS ve Windows'ta onayladığınız uygulamalardaki pencereler, menüler, klavye girişi ve pano ile çalışarak grafik arayüzleri görmesini ve kullanmasını sağlar.
Aynı zamanda genellikle en yavaş olanıdır. Yapılandırılmış bir eklenti doğrudan bir API'yi çağırabilir; Computer Use'in arayüze bakması, nereye tıklayacağına karar vermesi, uygulamanın yanıt vermesini beklemesi ve sonraki durumu incelemesi gerekir. Bu görsel döngü zaman alır, ancak Codex'in kullanışlı bir API'si olmayan uygulamalarla çalışabilmesi anlamına gelir.
macOS'te yavaş olmak mutlaka rahatsız edici anlamına gelmez. Computer Use, siz bilgisayarınızın geri kalanını kullanmaya devam ederken onaylanmış uygulamaları arka planda çalıştırabilir. Çoğu zaman Codex'i kullanırken bir uygulamayı açarım ve Codex'in sessizce bir iş akışı üzerinde çalıştığını fark ederim.
Bilgisayarınızda ne yüklü ve onaylanmış olduğuna bağlı olarak bu; Spotify, XCode, Sistem Ayarları, bir iOS simülatörü ve hatta iPhone'unuzu kontrol etmek için iPhone Yansıtma uygulamasını içerebilir! Ayrıca bir iş akışı birden fazla uygulamayı kapsadığında uygulamalar arasında geçiş yapabilir.
Şu durumlarda kullanın:
- Spotify veya bir finans uygulaması gibi yerel bir masaüstü uygulamasına bağlı görevler
- Bir iOS simülatörü, iPhone Yansıtma veya başka bir sadece GUI akışı
- Sistem veya uygulama ayarları
- Eklentisi veya API'si olmayan bir veri kaynağı
- Birden fazla uygulama arasında geçiş yapan bir iş akışı
- Başka türlü kullanışlı bir yapılandırılmış entegrasyonda eksik olan bir eylem
Kurmak için Codex'te Ayarlar > Computer Use bölümünü açın ve Yükle'ye tıklayın.
Tetiklemek için @Computer'dan bahsedin veya Codex'ten açıkça Computer Use'i kullanmasını isteyin. Modellerimiz geliştikçe, gerektiğinde kendi başına çağırabilecektir.
Başlamak için birkaçını deneyin:
En sevdiğim örneklerden biri çalınan bir paketle başladı. Amazon, beni bir destek temsilcisine bağlamanın yaklaşık 25 dakika süreceğini söyledi. Bir Codex konuşmasına Computer Use izni verdim ve her beş dakikada bir sohbeti kontrol etmesini, temsilci göründüğünde her dakikaya geçmesini ve parayı geri almak için elinden gelenin en iyisini yapmasını istedim. Duştan döndüğümde para iadesi tamamlanmıştı.
1@Computer'ı kullanarak Spotify'ı aç, Discover Weekly çalma listemi bul ve çalmaya başla. Hesap veya abonelik ayarlarımı değiştirme.23@Computer'ı kullanarak iPhone Yansıtma'yı aç, iOS uygulamasındaki onboarding hatasını yeniden oluştur ve başarısız durumun ekran görüntüsünü al. En küçük ilgili kod yolunu düzelt, ardından aynı akışı tekrar çalıştır.
Computer Use'i çoğunlukla yapılandırılmış bir iş akışının son adımı olarak da kullandım. Bir lansman videosunda Codex, Slack'ten geri bildirim alabiliyor, kodu değiştirebiliyor ve yeni bir video oluşturabiliyordu ancak bu konuşmanın kullanabileceği Slack entegrasyonu dosyayı yükleyemiyordu. Computer Use Dosya ekle'ye tıkladı ve bu eksik adımı tamamladı.
Aynı zamanda üçü arasında en geniş güven sınırına sahiptir. Her seferinde net bir uygulama veya akış verin. Görevin parçası olmadıklarında hassas uygulamaları kapalı tutun, izin istemlerini inceleyin ve finansal, hesap, ödeme, kimlik bilgisi, gizlilik ve sistem güvenliği değişiklikleri için hazır bulunun.
2. Birden Fazla Sekme ve Kimlik Doğrulama İçin @Chrome
Codex Chrome eklentisi, Codex'e oturum açtığınız Chrome durumuna erişim sağlar. Görev, zaten sahip olduğunuz hesaba, çerezlere, tarayıcı profiline veya kimliği doğrulanmış sekmelere bağlı olduğunda kullanın.
Bu, aşağıdaki gibi araçlarda çalışmak için doğru yüzeydir:
- Gmail veya LinkedIn
- Salesforce veya bir destek konsolu
- dahili panolar
- birden fazla sitede kimliği doğrulanmış araştırma
- hesabınıza veya tarayıcı eklentilerinize bağlı formlar
Kurmak için Codex'te Eklentiler'i açın, Chrome'u ekleyin ve kurulum akışını izleyin. Codex, Codex Chrome eklentisini yüklemeniz ve Chrome'un izinlerini onaylamanız için size rehberlik edecektir. Eklenti Bağlandı dediğinde yeni bir konuşma başlatın.
Tetiklemek için @Chrome'dan bahsedin veya Codex'ten oturum açtığınız Chrome tarayıcısını kullanmasını açıkça isteyin:
1@Chrome'u kullanarak açık müşteri hesabını incele, diğer sekmedeki destek biletiyle karşılaştır ve eksik alanları taslak haline getir. Göndermeden önce dur.
Chrome görevleri sekme grupları halinde çalışır, bu da bir Codex konuşmasının sekmelerini bir arada tutmaya yardımcı olur. Uygulama içi tarayıcının aksine, bu yüzey tarayıcı kimliğinizi taşır. Bu onu daha yetenekli ve daha hassas hale getirir.
Diğer büyük avantajı çoklu sekme kontrolüdür. Chrome, aynı görevle ilişkili birkaç sekmeyi tutabilir, birindeki bağlamı okuyabilir, diğeriyle karşılaştırabilir ve iş akışına üçüncü bir sekmede devam edebilir. Computer Use bir tarayıcıyı görsel olarak yönlendirebilir, ancak Chrome çalışmayı bir dizi ekran koordinatı yerine bir tarayıcı iş akışı olarak anlar.
Yakın tarihli bir konuşmada, Codex'e zaten açık olan bir Strudel Composer sekmesi verdim ve müziği daha ilginç hale getirmesini istedim. Chrome, seçili sekmeyi ve sayfanın WebMCP araçlarını sağladı. Codex besteyi inceledi, armoniyi ve dört dakikalık formu yeniden yazdı, tempoyu değiştirdi, parçayı kaydetti ve çalmaya devam etti. Her bir kontrolü görsel olarak araması gerekmedi çünkü Chrome, sekme bağlamını sayfanın sunduğu yapılandırılmış yeteneklerle birleştirebiliyordu.
Bunu uzun süredir devam eden bir Twitter konusu için kullanıyorum. Talimat kabaca şöyle:
Her gün Chrome'u kullanarak DM'lerimi kontrol et, ilgili haberleri oku ve
bilmem gereken geri bildirimleri veya bahsetmeleri ara. Kalıcı olan her şeyi
kasama ekle. Gönderme veya mesaj yollama.
İlginç olan kısım Codex'in Twitter'ı açabilmesi değil. Konuşmanın zaman içinde aynı oturum açılmış çalışmaya geri dönebilmesi, bulduklarını yerel dosyalarla bağlayabilmesi ve bana incelenebilir bir sonuç bırakabilmesidir.
Güven sınırı önemlidir. Web siteleri, Codex'in tıklamalarını, form gönderimlerini ve mesajlarını sizin tarafınızdan yapılmış eylemler olarak değerlendirebilir. Sayfa içeriği de güvenilmeyen girdidir. Sonuç doğuran adımları açıkça belirtin: otomatik olarak araştırın, gezinin ve taslak oluşturun; göndermeden, yayınlamadan, satın almadan veya göndermeden önce incelemenizi isteyin.
Görevin tamamı tarayıcıda kalıyorsa, Computer Use yerine Chrome'u tercih edin. Chrome, masaüstünün geri kalanına erişim açmadan görevin ihtiyaç duyduğu tarayıcıya özgü bağlama sahiptir.
3. Üzerinde Çalıştığınız Web Siteleri İçin Uygulama İçi @browser
Uygulama içi tarayıcı, bir Codex konuşmasının içinde yaşayan bir tarayıcıdır. Siz ve Codex aynı oluşturulmuş sayfayı paylaşırsınız, bu nedenle özellikle web uygulamaları oluşturmak ve hata ayıklamak için iyidir.
Bunu şunlar için kullanmaya başlarım:
- yerel geliştirme sunucuları
- dosya tabanlı önizlemeler
- oturum açma gerektirmeyen herkese açık sayfalar
- görsel hataları yeniden oluşturma
- duyarlı düzenleri kontrol etme
- öğe düzeyinde tasarım geri bildirimi bırakma
Önemli kısıtlama izolasyondur. Uygulama içi tarayıcı, normal tarayıcı profilinizi, çerezlerinizi, eklentilerinizi, oturum açmış oturumlarınızı veya mevcut sekmelerinizi kullanmaz. Bu, görevin bir hesaba ihtiyacı olduğunda bir sınırlamadır, ancak ihtiyacı olmadığında kullanışlı bir sınırdır.
Kurmak için Codex'te Eklentiler'i açın, Tarayıcı eklentisini ekleyin ve etkinleştirin.
Tetiklemek için isteminizde @Browser'dan bahsedin veya Codex'ten uygulama içi tarayıcıyı kullanmasını açıkça isteyin:
1@Browser'ı kullanarak <http://localhost:3000/> adresindeki vite uygulamasını aç, mobil taşma hatasını yeniden oluştur, düzelt ve aynı rotayı masaüstü ve mobil genişliklerde tekrar doğrula.
Bu, sıkı bir geri bildirim döngüsü oluşturur: Codex kodu düzenleyebilir, sayfayı çalıştırabilir, oluşturulan durumu inceleyebilir, bir ekran görüntüsü alabilir ve düzeltmeden sonra akışı tekrarlayabilir.
En sevdiğim kısım açıklama ekleme. Yerel bir uygulamayı incelerken doğrudan bir öğeye tıklayabilir veya bir alan seçip yorum bırakabilirim. Stil kontrolleri ayrıca metin, yazı tipleri, boşluk ve renk hakkında daha hassas geri bildirim önizlememi ve göndermemi sağlar. Bunu genellikle sesli girdi ve yönlendirme ile birleştiririm: sayfayı inceler, yorumlar bırakır ve Codex üzerinde çalışırken daha fazla geri bildirim sıraya koyarım. Sayfa, spesifikasyon haline gelir.
Bu özellikle tasarım çalışmaları için kullanışlıdır. Sık sık Codex'ten bir fikri, araştırma paketini veya proje durumunu tek bir index.html dosyasına dönüştürmesini ve ardından uygulama içi tarayıcıda açmasını isterim. Tüm tasarımı başka bir istemde açıklamaya çalışmak yerine, gerçek sayfayı açıklama eklerim: "bu hiyerarşi ters", "bunu daha az kart gibi hissettir", "bu kontrollerin daha fazla alana ihtiyacı var" veya "bu tip ölçeğini her yerde kullan". Codex, yorumu ilgili ekran görüntüsü ve öğe bağlamıyla birlikte alır, dosyayı değiştirir ve başka bir geçiş için aynı sayfayı yeniden açar.
Bu proje brifingi için tek dosyalı bir index.html oluştur ve uygulama içi
@Browser'da aç.
Bu döngü, ekran görüntüleri ve düz yazıyı ileri geri göndermekten çok, aynı tuval üzerinde bir tasarımcıyla çalışmaya daha yakın hissettiriyor.
Uygulama içi tarayıcı ayrıca karma bir iş akışı için başlangıç noktası olarak da kullanışlıdır. Başka bir konuşmada, uygulama içi tarayıcıda bir X gönderisi açtım ve Codex'ten tartışmayı araştırmasını istedim. Görünür sayfa hangi gönderiyi kastettiğimi belirledi; Codex daha sonra Twitter CLI'ya geçti ve tarayıcı görünümünün gizlediği iç içe yanıtlar da dahil olmak üzere 38 yanıt aldı. Bu, en dar yüzey kuralının pratikteki halidir: ekrandaki bağlam için tarayıcıyı, daha derin erişim için yapılandırılmış bir aracı kullanın.
Bir ödünleşim vardır. Uygulama içi tarayıcıyı iyi bir geliştirme yüzeyi yapan izolasyon, aynı zamanda Google girişi, bir geçiş anahtarı veya tarayıcı eklentilerinize bağlı bir site ile uğraşmak için yanlış yer olduğu anlamına gelir. Kimlik önemli olduğunda Chrome'a geçin.
Appshots
Bir Appshot, Codex'in bir bilgisayarı kontrol etmesi için dördüncü bir yol değildir. Codex'i önünüzdeki bağlama yönlendirmenin bir yoludur.
Bir Mac'te, son pencereyi yakalamak için iki kez CMD+CMD tuşlarına basın. Codex, bir konuşmaya bir resim ve mevcut metni ekler. Bir hatayı, e-postayı, tasarımı, ayarlar panelini veya yabancı bir formu Appshot ile yakalayabilir ve sadece şunu söyleyebilirsiniz:
Hatırlaması en kolay bulduğum zihinsel model şudur:
Appshot'lar, bilgisayarınızdaki bir şeyi işaret etme şeklinizdir. Browser, Chrome ve Computer Use ise Codex'in harekete geçme şeklidir.
Appshot'lar şu anda macOS'teki Codex uygulamasından oluşturulur. Tüm masaüstünü değil, en öndeki pencereyi yakalarlar, bu da uygulamanın kontrolünü vermeden odaklanmış bağlam sağlamanın kullanışlı bir yoludur.
Çalışmaları Nasıl Takip Edebilirsiniz
Bu yüzeyler hızla gelişiyor. Büyük bir lansman özetini beklemek yerine faydalı ayrıntıları istiyorsanız:
- Computer Use ve Appshots için Ari Weinstein (@AriX)'i takip edin
- Tarayıcı ile ilgili her şey için James Sun (@JamesZmSun)'u takip edin
- Codex uygulama sürümleri ve daha geniş masaüstü ürün hikayesi için Andrew Ambrosino (@ajambrosino)'yu takip edin
- Daha geniş Codex ve OpenAI Platform haberleri için OpenAI Developers (@OpenAIDevs)'i takip edin
