Codex obsłużył moją własną aplikację za pierwszym razem
Eksperyment z obsługą komputera i wewnętrzną aplikacją bez dokumentacji, w którym agent wykonał zadania za pierwszym podejściem — i co to oznacza dla integracji oraz UX.
Notatki z małego eksperymentu z obsługą komputera, Proton VPN i aplikacją, którą zbudowałem, ale na której nigdy nie trenowałem żadnego AI.
Obsługa komputera — zdolność agenta AI do używania oprogramowania tak jak człowiek, przez klikanie i pisanie na ekranie — nie jest jeszcze dostępna w Czechach. Wersja Codeksa jeszcze tu nie dotarła.
Więc zrobiłem rzecz oczywistą. Proton VPN, węzeł wyjściowy w USA, zalogowałem się.
Nie chodziło mi o łamanie zasad. Chciałem sprawdzić coś konkretnego: czy agent potrafi obsłużyć aplikację, której nigdy wcześniej nie widział, bez dokumentacji, bez instruktażu i bez skrótu w postaci API?
Więc dałem mu jedną z moich własnych.
Test
Wybrałem wewnętrzne narzędzie, które zbudowałem — z gatunku tych, jakie większość agencji ma gdzieś w szufladzie. Własny interfejs, nasze konwencje, zero publicznej dokumentacji, nic, na czym model mógłby być trenowany.
Instrukcje były proste: utwórz kilka zadań, dodaj kilku członków zespołu, ustaw ich poprawnie.
Tyle. Żadnego „kliknij przycisk w prawym górnym rogu". Żadnego „użyj menu w ustawieniach". Tylko cel.
Co się stało
Zadziałało. Za pierwszym razem.
Agent znalazł nawigację. Zidentyfikował właściwe ekrany. Przeklikał formularze. Wypełnił pola. Zapisał. Przeszedł do kolejnego zadania.
Nie zadawał pytań. Nie zaciął się na stanach hover ani nie pomylił przycisku. Poruszał się po aplikacji jak osoba wdrożona tydzień wcześniej, która już wie, co gdzie jest.
Cała sekwencja zajęła mniej czasu, niż zajęłoby mi nagranie filmiku wyjaśniającego, jak to zrobić.
Dlaczego to ważne
Rok temu „agenci AI używający twojego oprogramowania" to było demo. Wyreżyserowane. Ustawione. Często zakodowane na sztywno wokół jednego przepływu.
To nie było wyreżyserowane. Aplikacja była moja. Cel był konkretny. I nic nie było pod to przygotowane.
Dwie rzeczy, o których ciągle myślę.
Pytanie o integrację właśnie zmieniło kształt.
Przez lata odpowiedzią na „jak połączyć narzędzie A z narzędziem B" było „znajdź albo zbuduj API, połącz i utrzymuj to na zawsze". To nadal najlepsza opcja, gdy istnieje.
Ale teraz jest druga odpowiedź: skieruj agenta na interfejs i powiedz, czego chcesz. Dla narzędzi wewnętrznych, systemów legacy, dostawców bez porządnego API — to nagle stało się wykonalne. Nie optymalne. Ale wykonalne. A to kategoria, która wcześniej nie istniała.
UX będzie miał dwie publiczności.
Każda decyzja interfejsowa — etykiety przycisków, struktury menu, układy formularzy — była dotąd oceniana przez ludzi. Od teraz agenci też są częścią tej publiczności.
Jasne etykiety pomagają obu. Ukryte afordancje szkodzą obu. Różnica polega na tym, że agent powie ci sucho, że nie mógł znaleźć przycisku „Dodaj członka", bo był zakopany w nieopisanym menu ikonowym.
UX przyjazny agentom to po prostu dobry UX, tylko odrobinę bardziej rygorystyczny.
Co to znaczy dla naszej pracy
Duża część pracy przy automatyzacji to hydraulika — łączenie systemów, które nie chcą być łączone. Ta praca nie znika. Ale powierzchnia tego, co da się zautomatyzować, szybko rośnie.
Nowe pytanie przy dowolnym procesie klienta to nie tylko „czy jest API?". To „czy agent potrafi obsłużyć to oprogramowanie na tyle dobrze, żeby wykonać zadanie?". Dla coraz większej liczby procesów odpowiedź brzmi: tak.
To zmienia rachunek kosztów i korzyści przy wielu projektach automatyzacyjnych, które wcześniej były zbyt kruche albo zbyt drogie. Wewnętrzne panele administracyjne, portale dostawców, stare ERP-y, ta jedna aplikacja, której zespół używa do jednej konkretnej rzeczy — wszystkie stały się właśnie bardziej osiągalne.
Na koniec
Nie zamierzam przereklamować jednego popołudniowego eksperymentu. Wciąż są tryby awarii — długie sesje, złożony stan, wszystko, co wymaga prawdziwego osądu przez wiele kroków. Obsługa komputera nie jest skończonym produktem.
Ale podłoga wyraźnie się podniosła. Agent poruszył się po aplikacji, której nigdy nie widział, za pierwszym razem, w mniej niż minutę.
Był to pierwszy raz od dłuższego czasu, kiedy coś związanego z AI kazało mi się odchylić na krześle i naprawdę zwrócić uwagę.