Rapport från ICST Berlin

Ett stort gäng forskare och doktorander från SWELL (swell.se) har precis kommit hem från den internationella testkonferensen som i år gick av stapeln i Berlin. ICST (International Conference on Software Testing, Verification and Validation) var i år inne på 4:e året och har tidigare gått i Lillehammer, Denver och Paris. Konferensen skapades då flera forskare inom testning tyckte att många av de existerande konferenserna blivit för teoretiska och med samma folk och typ av resultat från år till år.

Runt ICST har nu bildats ett bra community som är mer koncentrerade på reella problem i industrin och som aktivt söker inblandning från testare och utvecklare som jobbar med dessa frågor dagligen. I år kom 215 personer på huvudkonferensen och ännu fler på de totalt 12 workshops som går antingen dagen före eller dagen efter själva huvudkonferensen. Är man med på allt är det totalt en hel vecka med 5 dagar fulla med presentationer och diskussioner. Det finns också en demo och tools utställning där företag och organisationer kan visa sina senaste lösningar.

Det är svårt att se några tydliga trender bland resultaten men det talades mycket om att kopplingen mellan industri och forskare måste bli än starkare och tydligare. De tekniska lösningar som diskuterades mest var olika former av modell-baserad testning, bla. visade våra grannar från Simula-labbet i Oslo resultat från en stor studie där tester genererats från olika UML-baserade modeller. Det var färre studier som tydligt tittade på testning i agila metoder och processer men en SWELL-doktorand hade tittat på alla resultat runt test-driven utveckling (TDD) och listade faktorer som begränsar användandet av TDD. Studien skapade mycket diskussioner. En annan trend var stora studier baserade på data från Microsoft och Google som visade vilka kod och process-metriker som kan förutspå moduler/filer som sannolikt innehåller många fel.

Bland det mest intressanta var en stor panelsession med företrädare både från de bästa forskningslabben och från företag (Google, BMW och ABB). En känd forskare sade till många av de andra att “jag har också skrivit många meningslösa papper i mina dar” och menade att forskarna och företagen nu mer måste ta varandra i handen och jobba tillsammans. Vissa av forskarna ville dock ha kvar en tydlig grundforskning som drivs mer av nyfikenhet än mer kortsiktiga problem så det blev mycket debatt. Industrifolket betonade hur viktigt det är att undersöka skalbarhet, Google:s representant menade att det är det första kriteriet de kollar på. Det andra kriteriet är kostnaden för att nå skalbarhet. Är båda de villkoren uppfyllda av en metod eller teknik är de redo att undersöka vidare. Men alla var överens om att industrin också måste öppna sig mer mot forskarna och verkligen ge tillgång till verkliga system och data för att möjliggöra detta.

Prisutdelning ICST

En intressant trend var också betoning på programvarusystem som socio-tekniska system där vi måste inse att för vissa användare kan systemet bete sig “fel” även om det följer sin spec medan för andra kan det vara tvärtom. Eftersom vad som är ett fel beror på personen och dess situation måste vi designa system så att de stödjer olika typer av “recovery” från fel; de måste bli mer transparanta och ge insyn så att människor kan arbeta kostruktivt med dem även om systemens beteende inte stämmer med den situation de just nu används i. Filosofiskt men tankeväckande.

På det tekniska planer sågs en återgång till studier kring regressionstestning samt hur man kan lägga till testfall baserat på de förändringar som gjorts. Denna typ av forskning verkar ha fått ett uppsving igen.

Överlag var det en verkligt intressant vecka där mycket kontakter knöts. Nästa års konferens går i april i Montreal i Kanada.

Mvh,

Robert Feldt och Emil Börjesson
Chalmers och SWELL