QA Metrics heeft een standaard methodiek ontwikkeld om snel tot een goed werkende oplossing te komen die voldoet aan de kwaliteitseisen van de gebruiker.
- De eerste stap betreft het heel goed definiëren van de probleemstelling. Tijdens deze fase wordt met een selecte gebruikersgroep vastgesteld welke probleemstelling er op tafel ligt en de gebruikers graag opgelost zien.
- De tweede stap is het vaststellen van de trainingsset. Dit is data waarmee QA Metrics binnen haar MAGPAI™ platform, de algoritmen zal trainen. QA Metrics kiest er nadrukkelijk voor om binnen MAGPAI™ te trainen met kleine en hoog kwalitatieve datasets die door de klant worden aangeleverd.
- Zodra de probleemstelling heel duidelijk is gedefiniëerd en de trainingssets beschikbaar zijn gesteld, kan QA Metrics starten met het bouwen van de oplossing. QA Metrics bouwt al haar oplossingen binnen haar eigen omgeving; het MAGPAI™ platform. Dit platform bevat een veelheid aan oplossingen die zowel “open source” alsmede specifiek door QA Metrics ontwikkeld zijn. Na het bouwen van de oplossing begint voor QA Metrics het trainen van de oplossing op basis van de beschikbaar gestelde trainingssets.
- Na oplevering van een werkende oplossing kan door de geselecteerde gebruikersgroep worden getest. Dit is een cruciale fase binnen het project waarbij de testbevindingen direct worden aangepast en/of aangevuld in de trainingssets. Door deze aanpassingen en/of aanvullingen worden de resultaten verder verfijnd. Zo ontstaan er diverse iteraties van testen, trainingssets aanpassen, het verder trainen van de oplossing en deze resultaten opnieuw testen. Dit totdat de resultaten acceptabel zijn voor de geselecteerde gebruikersgroep.
- Zodra de geselecteerde gebruikersgroep de resultaten van de gebouwde oplossing heeft geaccepteerd kan worden overgegaan tot “livegang”. De oplossing wordt nu beschikbaar gesteld aan de volledige gebruikersgroep binnen de onderneming of instantie.
Continu leerproces
Om de gebouwde oplossing continue te laten leren en zodoende toe te laten werken naar een steeds hogere nauwkeurigheid, heeft QA Metrics binnen het MAGPAI™ platform een gebruikersportaal ontwikkeld waarin eindgebruikers eventuele handmatige correcties die toch nog benodigd zijn, kunnen doorvoeren. Deze correcties worden opgeslagen in een database waardoor deze aanpassingen periodiek worden aangepast en/of toegevoegd in de trainingssets. Periodiek zal QA Metrics de oplossing dus opnieuw trainen met gewenste aanpassingen die door eindgebruikers zijn gedaan.
Zodoende ontstaat er een continue leerproces gebaseerd op de “end user feedback”. Hierdoor blijft de oplossing up to date en kan tevens gemeten worden wat de automatiseringsgraad is en in hoeverre er nog handmatige interventies benodigd zijn.