Loop Engineering: It-Tfassil ta’ Workflows Affidabbli Madwar Aġenti tal-Kodifikazzjoni bl-AI

Interazzjoni tipika ma’ aġent tal-kodifikazzjoni bl-AI tkun sekwenzjali: tikteb prompt, teżamina r-response, tipprovdi aktar kuntest, u tirrepeti. Dan jaħdem għal kompiti ffukati, iżda l-iżviluppatur jibqa’ responsabbli biex imexxi kull pass.

Il-loop engineering jibdel dak il-mudell ta’ kontroll. Minflok ma tagħti prompts lill-aġent manwalment matul il-kompitu kollu, tfassal workflow li jista’ jagħżel ix-xogħol, iwettqu, jivverifika r-riżultat, jirreġistra l-progress, u jiddeċiedi x’għandu jagħmel wara.

Il-bidla importanti mhijiex sempliċement li tħaddem l-istess prompt ripetutament. Loop utli jeħtieġ struttura, limiti, u evidenza li x-xogħol ikun tassew tlesta.

Minn prompts għal sistemi ta’ kontroll

Prompt normalment jiddeskrivi l-azzjoni li jmiss. Loop jiddeskrivi objettiv u l-proċess biex jintlaħaq.

Pereżempju, li titlob lil aġent jirranġa test li qed ifalli huwa prompt. Minflok, loop jista’:

1. Jaqra l-aħħar riżultati tat-testijiet.
2. Jagħżel falliment wieħed.
3. Jirriproduċih lokalment.
4. Jinvestiga l-code rilevanti.
5. Jimplimenta bidla limitata.
6. Iħaddem it-testijiet affettwati u l-kontrolli statiċi.
7. Jirreġistra r-riżultat.
8. Ikompli, jieqaf, jew jeskala abbażi tal-evidenza.

Dan jixbah l-awtomazzjoni eżistenti bbażata fuq scheduled jobs, webhooks, queues, u CI pipelines. Id-differenza hija li aġent jista’ jieħu deċiżjonijiet adattivi fi ħdan il-workflow, bħal li jiddeċiedi liema files għandu jeżamina jew liema kmand dijanjostiku għandu jħaddem.

Dik il-flessibbiltà hija utli, iżda tagħmel ukoll il-verifika u l-limiti operazzjonali aktar importanti.

Il-komponenti ta’ loop utli

Loop prattiku tal-inġinerija normalment jeħtieġ diversi elementi.

Trigger jibda l-workflow. Jista’ jkun skeda, issue ġdid, build li falla, rapport ta’ żball, jew request manwali.

Għan li jista’ jitkejjel jiddefinixxi x’għandu jsir veru. “Tejjeb is-servizz taċ-checkout” huwa wiesa’ wisq. “Agħmel is-suite tal-korrettezza taċ-checkout tgħaddi mingħajr ma tbiddel il-public API tiegħu” jagħti lil-loop riżultat li jista’ jevalwa.

Għodod u kuntest jagħtu lill-aġent aċċess għar-repository, it-testijiet, il-kmandi tal-build, l-issue tracker, il-logs, u l-konvenzjonijiet tal-proġett. Mingħajr din l-informazzjoni, l-aġent ikollu jaqta’ kif taħdem is-sistema.

Persistent state jirreġistra x-xogħol li tlesta, is-sejbiet attwali, it-tentattivi li fallew, u l-kompiti li fadal barra minn konverżazzjoni waħda mal-mudell. Dan jista’ jkun file Markdown, issue board, rekord f’database, jew maħżen durabbli ieħor. Persistent state maħżun jippermetti li tħaddim aktar tard ikompli mingħajr ma jerġa’ jibni l-istorja kollha mill-kuntest taċ-chat.

Il-verifika tiċċekkja l-output skont kriterji espliċiti. Meta jkunu disponibbli, għandhom jiġu ppreferuti kontrolli deterministiċi bħall-kompilazzjoni, it-testijiet, l-ifformattjar, il-validazzjoni tal-iskema, u l-limiti tal-prestazzjoni. Aġent reviżur separat jista’ jżid perspettiva oħra, iżda m’għandux jieħu post il-kontrolli oġġettivi.

Regoli ta’ waqfien u eskalazzjoni jipprevjenu lil-loop milli jkompli għal żmien indefinit. Limiti utli jinkludu għadd massimu ta’ tentattivi, baġits ta’ tokens jew spejjeż, timeouts, ambiti ristretti ta’ files, u kundizzjonijiet li jeħtieġu approvazzjoni umana.

Il-verifika hija x-xogħol veru tal-inġinerija

Il-parti tal-eżekuzzjoni ta’ loop normalment tkun faċli biex tiddeskriviha: ħalli lill-aġent jeżamina l-problema u jagħmel bidla. Il-parti diffiċli hija li tiddefinixxi x’jgħodd bħala suċċess.

Mhijiex evidenza biżżejjed li aġent jirrapporta li kompitu tlesta. Il-loop għandu jiġbor riżultati li proċess jew persuna oħra jistgħu jeżaminaw. Għal bidla fil-code, dawn jistgħu jinkludu:

• Id-diff eżatt li ġie prodott
• Ir-riżultati tat-testijiet u tal-build
• L-output tal-analiżi statika
• Kejl tal-prestazzjoni
• Lista ta’ suppożizzjonijiet u mistoqsijiet mhux solvuti
• Link bejn il-bidla u l-issue li minnu oriġinat

Huwa utli wkoll li tifred lil min jagħmel minn min jiċċekkja. Aġent wieħed jista’ jimplimenta l-bidla filwaqt li ieħor jirrevediha skont l-għan u r-regoli tal-proġett. Dan inaqqas l-awtokonferma, għalkemm iżid il-latency u l-użu tal-mudell.

Ir-reviżjoni umana xorta tibqa’ importanti fejn il-korrettezza tiddependi mill-arkitettura, l-intenzjoni tal-prodott, is-sigurtà, jew il-kuntest tan-negozju. Il-kontrolli awtomatizzati jistgħu jikkonfermaw li t-testijiet jgħaddu. Ma jistgħux dejjem jiddeterminaw jekk l-implimentazzjoni hijiex il-bidla t-tajba għas-sistema.

Ibda b’workflows b’limiti ċari

Il-loop engineering huwa aktar adattat għal kompiti ripetittivi b’riżultati osservabbli milli għal żvilupp vag u miftuħ.

Punti ta’ tluq raġonevoli jinkludu t-triage ta’ fallimenti tas-CI, ir-reviżjoni ta’ aġġornamenti tad-dependencies, ir-riproduzzjoni ta’ żbalji rreġistrati, il-kontroll tal-links fid-dokumentazzjoni, jew l-investigazzjoni ta’ flaky tests. Dawn il-workflows diġà għandhom inputs, outputs mistennija, u għodod stabbiliti għall-validazzjoni.

L-ewwel verżjoni għandha tibqa’ dejqa: tipproċessa element wieħed kull darba, taħdem f’branch iżolat jew Git worktree, teħtieġ li t-testijiet jgħaddu, tillimita l-għadd ta’ tentattivi mill-ġdid, u tipproduċi pull request għar-reviżjoni minflok tagħmel merge awtomatikament.

L-inġinier jibqa’ responsabbli

Loop jista’ jnaqqas l-interazzjoni ripetittiva ma’ aġent tal-kodifikazzjoni, iżda ma jittrasferixxix ir-responsabbiltà. Kuntest fqir, kriterji dgħajfa ta’ tlestija, jew limiti neqsin jippermettu li l-iżbalji jirrepetu ruħhom bil-veloċità tal-magni filwaqt li jikkunsmaw aktar ħin u tokens.

Għalhekk, il-parti utli tal-loop engineering mhijiex il-ġenerazzjoni ta’ code mingħajr superviżjoni. Hija t-tfassil espliċitu tas-sistema ta’ madwaru: kif jidħol ix-xogħol, x’jista’ jibdel l-aġent, kif il-progress jibqa’ jinżamm bejn tħaddim u ieħor, kif jiġu vverifikati r-riżultati, u meta persuna trid tieħu l-kontroll.

Il-kwalità tal-prompt xorta tibqa’ importanti fi ħdan dik is-sistema. Il-kompitu usa’ tal-inġinerija huwa li jiġi deċiż kif il-prompts, l-għodod, l-state, il-kontrolli, u l-ġudizzju uman joperaw flimkien bħala workflow wieħed ikkontrollat.

Referenzi

• Loop Engineering — addyosmani.com
• The Art Of Loop Engineering — langchain.com
• What Is Loop Engineering — newsletter.pragmaticengineer.com