Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozciąga się na wiele etapów i wymaga przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Oddzielną kwestią pozostaje mechanizm oceny własnych działań. Dobrze skonstruowany agent jest w stanie zidentyfikować, że otrzymany wynik odbiega od oczekiwanego, i wrócić do poprzedniego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.