… is uitgebroken in mijn project. Nou ja, mijn project, het project waar ik de afgelopen weken het meest mee te maken heb gehad, waarvan ik de testaanpak heb geaudit en waar ik goede maatjes met de test manager ben geworden.

Eigenlijk is het allemaal heel vermakelijk en leerzaam – maar wel erg stressvol.
Wat was nou het geval? Het project, een upgrade naar een hogere versie van het communicatiepakket, was van start gegaan zonder dat de requirements duidelijk op papier waren gekregen of gezet. Een goede tester (en dat is mijn gewaardeerde test manager wel) trekt dan ogenblikkelijk aan de bel. Inderdaad, het uitzoeken van de requirements was een van de eerste zaken die ze deed toen ze – veel te laat in het project – aantrad.
Gesprekken met Informatie Management, die de business vertegenwoordigen, volgden en ze deed ook een kleine risico-analyse. Daaruit bleek dat performance het belangrijkste punt was om te testen. Geen wonder trouwens voor een systeem dat tien miljoen transacties per maand moet kunnen verwerken.

Informatie Management kwam met twee simpele requirements, te weten (1) de responsetijd van alle transacties mag niet meer zijn dan vijf seconden en (2) het systeem mag door de upgrade niet trager worden.
Hiermee ging het test team aan de slag in een – wat mij betreft – hele nette opzet van een performance test, met Performance Center als tool. Met een stuk of dertig typen transacties die alleen, in combinatie en met verschillende bedrijfsdrukten moesten worden getest, was dat een hele klus. Maar na een week of twee lagen de resultaten op tafel, en die zagen er heel bevredigend uit: de meeste transacties zaten rond de halve seconden met een paar uitschieters naar een seconde of twee. Iedereen haalde opgelucht adem. Ondanks dat de nieuwe versie heel wat nieuwe functionaliteit en extra overhead meebracht, bleef het project onder de gestelde vijf seconden grens, niet met de hakken over de sloot, maar echt ruim.

Tot, halverwege de laatste testweek, iemand per ongeluk aan requirement twee dacht en een kleine, vergelijkende performance test losliet op de productieomgeving om te kijken wat daar de response nu is. Gek, de response was daar ook rond de halve seconde. Alleen, in productie waren er geen uitschieters naar boven.
Nou ja, dan was de nieuwe versie op een paar punten wat trager dan de oude, maar, ach, dat was wel redelijk, vond het team, want het bleef nog steeds dik beneden die vijf seconden grens. En eigenlijk wel normaal om wat response in te leveren ten gunste van al die extra functionaliteit. Dat moet de business toch begrijpen.

Nou, dat begrepen ze dus niet. Sterker nog, ze begrepen niet dat het project zo onnozel kon zijn om ook maar één seconde te denken dat een slechtere performance ooit acceptabel zou kunnen zijn. Ik heb in Nederland nooit meegemaakt dat een projectmanager zo ‘unverfroren’ (hij is een Duitser) de oren werd gewassen als de grote business baas dat deed in de conference call op die laatste testdag. Immers, juist de uitschieters waren de belangrijkste, meest gebruikte transacties, met iets van dertigduizend per uur. Geen denken aan dat een verslechtering van vierhonderd procent daar door de beugel kan, ook al gaat het maar om anderhalve seconde. Verzin maar iets, want dit kan echt niet!!!!
En dat één week voor de geplande Go Live… Tot aan deze call dacht het hele project dat ze klaar waren. Dat ze eindelijk eens op tijd, binnen budget een project netjes hadden opgeleverd. Geen serieuze defects, alles opgelost en afgesloten.

Niet dus. Wat volgde was een weekend en een nieuwe week van overwerken, brainstormen, improviseren, software aanpassingen, hardware upgrades, invliegende topconsultants van de leverancier en veel stress, stress, stress. En testen, testen, testen, iedere keer dat er weer iets nieuws werd bedacht. Na een week was het verschil terug gebracht van anderhalf naar tweetiende seconde. Tweetiende seconde verschil op een backend transactie die onderdeel is van een keten van applicaties, die end-to-end vaak meer dan tien seconden kost, inclusief de lijnvertraging. Dat zal toch geen enkele klant merken.
Dat was toch redelijk? Dat kon de business toch wel begrijpen? Alle alternatieven waren uitgeprobeerd en niemand had nog enig idee hoe ze de performance verder omhoog zouden kunnen brengen. Dus geen keus, eigenlijk.

Niet dus. De soap gaat gewoon door. Gisterenavond is besloten om de go live een week uit te stellen. En vandaag hebben ze weer tien milliseconden gewonnen. Nog honderdnegentig te gaan…