Så testas Adresskoll
Adresskoll är ett adressregister med statistik över boende, inflyttningar, bilar och företag för bostadsrättsföreningar och villaområden. Appen hanterar känslig information, så teststrategin utgår från vad som aldrig får gå fel, inte från vad som är lätt att testa. Den här sidan beskriver metoden. Koden och datan är privata.
Riskkarta
Riskerna är rangordnade efter skadan om de inträffar, och varje risk har en utpekad plats i sviten där den kontrolleras.
- Känsliga uppgifter visas för fel besökare. Efternamn, registreringsnummer, villornas husnummer och foton måste maskas på servern för den som inte är inloggad. Kontrolleras av enhets- och API-tester av maskningsreglerna och av E2E-tester som loggar in och ut som besökare.
- Fel personmatchning. Samma person kan finnas i flera källor med namnvarianter. En felaktig sammanslagning blandar ihop två personer utan att någon märker det. Kontrolleras av enhetstester för varje matchningsnivå, bland annat mor och dotter med samma namn.
- Importer som slutar läsa rätt. Källorna ändrar sin markup utan förvarning. Kontrolleras genom att de riktiga importfunktionerna körs mot sparad HTML, aldrig mot live-sajter.
- Tester som rör produktionsdata. Varje test körs mot en databas i minnet, en temporär fotokatalog och en mockad LinkedIn. Alla andra utgående anrop får testet att falla.
- Layout som går sönder på mobilen. Rutnät, diagram och dialoger täcks av skärmdumpsbaslinjer för mobil och desktop, och ett test öppnar varje vy i 390 px och fäller vid sidledsscroll.
Testpyramiden
Det mesta ligger lågt, där testerna är snabba och exakta. Webbläsaren används bara för det som kräver en webbläsare. Varje nivå länkar till riskerna i kartan ovan som den skyddar mot.
-
Visuella baslinjer 118 skärmdumpar
Mobil på 390 px och desktop på 1280 px för layouter som DOM-kontroller inte fångar. Typsnitten tvingas till samma filer på alla maskiner och datum fryses, så bilderna glider inte.
Skyddar mot
-
End-to-end-tester 34 filer i Chromium
En fil per vy, eftersom varje fil startar egen server och databas. Logik som redan har ett enhetstest provas i webbläsaren bara som ett flöde som visar att kopplingen fungerar.
Skyddar mot
-
Enhets- och API-tester 140 filer, cirka 1 400 testfall
Vanliga
node:testmed SQLite i minnet. Logik som maskning, matchning och statistik hålls fri från I/O så att den går att testa utan server. Routerna testas mot den riktiga appen på en ledig port. Täckningströsklar fäller bygget om de underskrids.Skyddar mot
CI på varje pull request: typer, lint, formatering och täckning i ett jobb, hela E2E-sviten i ett annat
Buggar som blev tester
Regeln är att varje buggfix levereras med ett test som fallerar utan den. Tre exempel ur historiken:
- Namn skrivna som ”Efternamn, Förnamn” maskades efter kommat i stället för före. Åtgärdat och låst med ett enhetstest.
- Styrelseledamöter syntes för utloggade besökare. Maskas nu, med ett test per åtkomstnivå.
- Flera vyer flödade över i sidled på mobil och hade för små träffytor. Testet som öppnar alla vyer lades till.
Flakiga tester och körtid
Ett flakigt test behandlas som en bugg i testet. Det förebyggs med regler där det går och åtgärdas när det ändå dyker upp.
-
Lintern förbjuder
it.only,.skip,setTimeout,Math.random()och direkt tilldelning av databassökvägen i tester. Väntan sker med enwaitFor(villkor)-hjälpare och tidsfönster testas med en mockad klocka. - Varje E2E-test fallerar vid konsolfel, sidfel, CSP-överträdelse eller blockerat externt anrop. Inget test behöver komma ihåg att kontrollera det.
- De flakiga tester som dök upp åtgärdades vid orsaken: hundfliken som inte väntade på sin laddningsplatshållare, startsidans sök- och adressraderingstester samt ett husnummertest. Inget sattes i karantän eller fick köras om tills det gick igenom.
- CI kör typkontroll, lint, formatering och täckning i ett jobb och hela E2E-sviten i ett annat, på varje pull request. De senaste körningarna tar under två minuter.
Ett testkodsutdrag
Kroken som gör regeln om noll konsolfel automatisk. Den körs efter varje E2E-test, så ett nytt test får den gratis. Namnen är översatta och förenklade.
// Runs after every E2E test in the file.
afterEach(() => {
if (!activeHarness) return;
const { blockedRequests, problems } = activeHarness;
// Empty the lists so an error only fails the test that caused it.
const blocked = blockedRequests.splice(0);
const errors = problems.splice(0);
assert.deepEqual(blocked, [], 'External requests were blocked');
assert.deepEqual(errors, [], 'Console or page errors during the test');
});