Model plus harness
Een coding agent is een model en zijn harness: de tools die hij mag aanroepen, de hooks die bij elke bewerking afgaan, de checks die bepalen of zijn werk telt, de reviewlus die ernaar kijkt voordat een mens dat doet, en de context die hij meekrijgt over de codebasis waarin hij werkt. Neem hetzelfde model, verander de harness, en je hebt een andere agent. Soms een veel betere.
Het getal dat ons overtuigde staat in een openbare benchmark. Op Terminal-Bench 2.0 ging een coding agent van de top dertig naar de top vijf zonder dat het model werd aangeraakt: dezelfde gewichten, een andere harness. Dat is geen prompttrucje. Het is systeemengineering, en daar zijn softwarebedrijven voor.
Wat een harness de hele dag doet
Het meeste is saai, en dat is precies de bedoeling. Een hook die een destructief commando tegenhoudt voordat het draait. Een build die moet slagen. Statische analyse en een securityscan op elke wijziging. Een tweede agent, met de opdracht sceptisch te zijn, die leest wat de eerste schreef, het langs de definition of done legt en het terugstuurt tot het klopt. Pas daarna een mens, die nu reviewt zonder de ruis.
Opgeschreven lijkt het loodgieterswerk. In de praktijk is het het verschil tussen een agent die je kunt loslaten op een systeem dat moet blijven draaien, en een agent die alleen geschikt is voor demo’s.
Waarom de harness het van het model wint
Een model is probabilistisch. Vraag het om nooit een bestand te verwijderen en het gehoorzaamt bijna altijd. Bijna altijd is geen eigenschap waar je een planningssysteem voor het spoor op bouwt. Een hook die het commando weigert is deterministisch: hij gaat elke keer af, en het maakt hem niets uit hoe zeker het model zich voelde. De regel waar we naar werken is dus: maak de omgeving deterministisch, in plaats van te proberen het model zo te maken. Instructies zijn suggesties. Hooks, gates en checks zijn natuurkunde.
De tweede reden is dat een harness leert en een model niet, in elk geval niet op jouw tijdschaal. Elke fout die een agent in onze repositories maakt wordt een check, een regel of een gate, zodat precies die fout niet meer kan voorkomen. Het model dat je huurt is hetzelfde model dat je concurrent huurt. De harness is van jou.
Wat dit betekent als je software inkoopt
Vraag een leverancier wat zijn harness is. Niet welk model hij gebruikt (dat wisselt elk kwartaal) maar wat bepaalt of code van een agent mag worden samengevoegd, wie die code beoordeelt, en wat er gebeurt als het misgaat. Is het antwoord een document, dan is het een suggestie. Is het antwoord een gate die je kunt zien draaien, dan is het engineering.
De onze staat uitgeschreven op deze site: de methode op Hoe we bouwen, en het fundament waar de agents op bouwen, Entry, open source. Lees het voordat je belt.