Ako je vaš AI asistent iznenada zaboravio nešto što ste mu ranije rekli ili je usred razgovora počeo da se ponaša drugačije, verovatno ste iskusili kompakciju konteksta. Ovaj članak objašnjava šta to znači, zašto se dešava i kako postupiti.

Prvo: šta je kontekstni prozor?

Svaki AI model ima ograničenu memoriju za svaki razgovor. To se zove kontekstni prozor. U njega staje sve što model može istovremeno da “vidi”: vaše poruke, odgovori asistenta, svi fajlovi ili alati koje je koristio i uputstva koja je dobio na početku.

Zamislite ga kao radni sto. Model može da radi samo sa papirima koji su trenutno na stolu. Kada se sto napuni, nešto mora da se ukloni kako bi se napravilo mesto za nove papire.

Veličina tog stola dramatično je porasla poslednjih godina:

GodinaModelKontekstni prozor
2022GPT-3.5 (OpenAI)~4.000 tokena
2023GPT-4 (OpenAI)8.000 tokena
2023Claude 1 (Anthropic)100.000 tokena
2024GPT-4o (OpenAI)128.000 tokena
2024Claude 3.5 Sonnet (Anthropic)200.000 tokena
2025Gemini 2.0 (Google)2.000.000 tokena

Token je otprilike tri četvrtine reči. Dakle 200.000 tokena je oko 150.000 reči, ili otprilike dve cele knjige. To zvuči mnogo i jeste. Ali u dugotrajnoj sesiji AI asistenta sa pozivima alata, sadržajima fajlova i razgovorom tamo-vamo, napuni se brže nego što biste očekivali.

Šta se dešava kada se kontekstni prozor napuni

Kada se istorija razgovora približi granici kontekstnog prozora, asistent ima dve opcije: prestati da radi ili napraviti prostor.

Kompakcija konteksta je opcija “napravi prostor”. Asistent sažima sve dosadašnje događaje u kraću verziju, uklanja originalne poruke i nastavlja razgovor od sažetka. I dalje razgovarate sa istim asistentom u istoj sesiji. Samo je komprimovao svoju memoriju.

Sažetak generiše isti AI model koji vodi vaš razgovor. Pokušava da uhvati suštinu: trenutni zadatak, nedavni napredak, ključne odluke. Ali sažimanje je po svojoj prirodi sa gubitkom. Ne dospeva svaki detalj u sažetak.

Zašto asistent može da “zaboravi” uputstva

To je najvažnija stvar koju treba razumeti o kompakciji. Kada model sažima dug razgovor, daje prednost nedavnoj aktivnosti nad starijim uputstvima. Pravila koja ste postavili na početku sesije, poput “uvek pitaj pre preduzimanja akcije” ili “nikada ne briši bez potvrde”, mogu biti potisnuta ili potpuno izostavljena iz sažetka.

Asistent ne ignoriše vaša uputstva namerno. Posle kompakcije ih jednostavno više nema. Iz njegove perspektive, ta uputstva nikada nisu ni postojala.

Ovo je poznat problem kod svih AI asistenata i agenata za kodiranje, ne samo kod OpenClaw. U jednom poznatom primeru OpenClaw asistent je dobio uputstvo da samo predlaže brisanje mejlova i čeka odobrenje. Kada se kompakcija pokrenula tokom obimnog zadatka, to uputstvo je izgubljeno. Asistent je nastavio da radi prema cilju koji je zapamtio (očisti sanduče), ali bez ograničenja koje je zaboravio (čekaj odobrenje).

Kako OpenClaw upravlja kompakcijom

OpenClaw ima ugrađen sistem kompakcije koji se pokreće automatski kada se kontekstni prozor napuni. Možete ga pokrenuti i ručno komandom /compact, pri čemu možete navesti šta treba sačuvati.

OpenClaw takođe podržava trajno pamćenje putem fajlova poput SOUL.md u radnom prostoru asistenta. Sadržaj ovih fajlova se ponovo učitava u svaki novi kontekst nakon kompakcije, tako da ključna uputstva preživljavaju postupak sažimanja. To je jedna od najefikasnijih odbrana od gubitka uputstava.

Kako raditi sa kompakcijom, a ne protiv nje

Kompakcija nije bag. To je neophodan mehanizam koji održava asistenta u funkciji tokom dugih sesija. Evo praktičnih saveta:

  • Koristite trajne fajlove sa uputstvima. Važna pravila zapišite u SOUL.md ili slične fajlove u radnom prostoru. Oni preživljavaju kompakciju.
  • Kompaktujte ručno pre nego što se to desi automatski. Pokretanje /compact sa specifičnim uputstvima o tome šta sačuvati daje vam više kontrole.
  • Za nove zadatke započnite svežu sesiju. Umesto nastavka preopterećenog razgovora, radije krenite ispočetka.
  • Sesije neka budu fokusirane. Kraće sesije usmerene na jedan zadatak ređe dostižu granicu kompakcije od maratonskih sesija sa mnogo tema.

Kontekstni prozori rastu, kompakcija postaje pametnija

Upravljanje kontekstom je jedno od najaktivnijih razvojnih područja u AI. Za četiri godine kontekstni prozori su porasli sa 4.000 na preko 2.000.000 tokena. Taj rast se ne usporava.

Istovremeno, pružaoci modela grade pametnije sisteme kompakcije sa opcijama za očuvanje određenih uputstava. OpenClaw dodaje funkcije poput ispiranja memorije i fajlova za pokretanje koji automatski ponovo unose ključni kontekst nakon kompakcije. I samo sažimanje se poboljšava sa svakom novom generacijom modela.

Trenutna ograničenja su stvarna, ali privremena. Ako danas naiđete na problem sa kompakcijom, vredi razumeti šta se desilo kako biste ga zaobišli. Ali putanja je jasno usmerena ka AI asistentima koji će duge sesije savladavati mnogo elegantnije.

Saznajte više