Hatékony, hatékony, kecses tesztelés. Tesztautomatizálás hatékonyságának értékelése Tesztek a szoftverfejlesztési folyamatban

A tesztelés megtagadása gyakran összefügg a reklámozók (különösen a kreatív) kritikus hozzáállásával, valamint a megtakarításokkal Pénzés az idő. A tesztelés lelassíthatja az indítást reklámkampány, és így maga a termék is. Ugyanakkor nyilvánvaló, hogy nagy költségvetés mellett a tesztelés segít elkerülni a több millió dolláros hibákat. Hasznos lehet a kis hirdetők számára is, akik könnyen találnak egyszerű, olcsó teszteket. Ahogy a reklámklasszikusok mondják, "a tesztelés lehet korlátozott, vagy akár sikertelen is, de attól még lesz mire építeni, mihez lehet vezetni".

A kutatók több ezer típusú tesztet számolnak. Nem kevesebb vélemény van bizonyos tesztek elvégzésének hasznosságáról és helyességéről.

Az értékelő kutatás egyik fő kérdése Leminősítés: "Mit kell pontosan tesztelni?" Ugyanezek a reklámklasszikusok amellett érveltek, hogy „a reklám hatása (a csomagküldő reklámok kivételével) nagyrészt mérhetetlen... A hirdetők természetesen el akarnak számolni, de a reklámozást gyakran úgy kell mérni, hogy szerényebb és megfoghatatlanabb, mint szeretnének. Attól tartok, be kell számolnunk azzal a ténnyel, hogy a legtöbb reklám csak hosszú idő elteltével térülhet meg teljesen, és a megtérülés mértékét nem lehet teljes bizonyossággal ellenőrizni."

Valójában nagyon nehéz azonosítani azt a döntő tényezőt, amely a reklámüzenet és annak egy személyre gyakorolt ​​hatása (vagy ennek hiánya) közötti kapcsolat döntő tényezője. Például egy tanulmányban egy csoport termékmenedzserekből és cégek reklámmenedzsereiből, munkacsoportok vezetőiből állt. reklámügynökségek, kreatív szakemberek, reklámszakemberek és kutatási szakemberek, „felkérték, hogy válasszák ki a legjobb hirdetéseket azok közül, amelyeket már szigorúan teszteltek a piacon. Eredmény? Bár a szakértők általában meg tudták határozni, hogy mely hirdetések vonzzák a legtöbb olvasót, nem tudták megállapítani, hogy mely hirdetések segítettek több terméket eladni." Mint korábban említettük, a reklámozáson kívül túl sok különböző tényező befolyásolja az értékesítést. A legmegbízhatóbb szakértők szerint pedig "nincs módszer az értékesítést befolyásoló számos tényező gyors és egyszerű ellenőrzésére".

C. Sandage, V. Freiburger és K. Rotzoll szerint „a reakciót sokféle „ok” befolyásolja, és az inger minden egyes változója sok „hatást” generál. Ugyanaz a bejelentés például irritálhat, tájékoztathat, mulathat, önbizalmat erősíthet, cselekvésre késztethet, az érintkezés pillanatában teljesen figyelmen kívül hagyható, később pedig gyorsan feledésbe merülhet vagy részben eszébe juthat, szemléletváltást is okozhat vagy a tudatosság. Ezért teljesen egyértelmű, hogy a kutatónak nagyrészt a józan észnek kell vezérelnie a válaszparaméterek kiválasztását."

A fentiek alapján egyértelműnek tűnik, hogy a hirdetést látni kell (mielőtt válaszolni lehet rá). A hirdetéssel való érintkezés után az embernek is tudnia kell védjegy vagy A cég neve, ismerje meg a termék tulajdonságait, előnyeit és előnyeit. A személyben kialakulhat racionális vagy érzelmi hajlam a vásárlásra egy konkrét termék... Ehhez még hozzá lehet fűzni a világ egyik legnagyobb hirdetőjének, a General Motorsnak a vezetőségének véleménye: "A hatékonyságot elsősorban a reklám megbízhatóságán, érzelemfelhasználói képességén és meggyőzőképességén fogják mérni."

Különleges emberi reakciók tesztelhetők. Ebben az esetben vagy egyetlen paramétert, vagy egy minimális halmazt kell értékelni, mivel a túl sok aktív hirdetési paraméter egyidejű elemzésére tett kísérletek megzavarhatják az eredményeket. Ugyanakkor minél több paramétert tesztelnek általában, annál pontosabb lesz. végeredmény... „A reklámhatékonyság egy-két perifériás aspektusának alapos elemzésével a tesztelés eredménye túl sterilnek és irreálisnak tűnhet azok számára, akiknek a döntéshozatali folyamat során használniuk kell őket. Ha kritikátlanul egyenlőségjelet tesz az emlékezet mértéke és az attitűd és marketing hatása vagy változása között, akkor marad a lehetőség, hogy olyan hitre hagyatkozzon, amely semmiféle garanciát nem ad."

Tehát a befejezett vagy a befejezés előtt álló reklámok hatékonyságának ellenőrzésére különféle értékelő tanulmányokat vagy teszteket végeznek. Pénzt takaríthat meg azzal, hogy a terjesztés finanszírozását megelőzően módosítja hirdetését. Így a tesztelés segít elkerülni a több millió dolláros hibákat. Az értékelő vizsgálatok a reklámelhelyezést követően is hasznosak lehetnek, például a reklám aktuális eladásokra gyakorolt ​​hatásának értékelése során.

A gyakorlati szakemberek szempontjából azonban nem minden kutatásnak van értéke, és nem mindig van értéke. Néha nem csak segíthetnek, hanem árthatnak is a munkának. A gyakorló szakemberek intuíciója pontosabb eszköz lehet, mint a tudományos vizsgálat. A tesztek és eredményeik önmagukban nem megoldások, csak információkat nyújtanak a szakembereknek, amelynek használata, tapasztalati tapasztalattal együtt reklámmunkás, lehetővé teszi a megalapozott döntések meghozatalát.

Ez a fejezet a reklámozásban használt különböző típusú teszteket, a különböző vizsgálati módszereket, vizsgálati kritériumokat és tesztlépéseket ismerteti. Figyelembe vették a különböző médiában végzett reklámtesztelés sajátosságait is, amelyekhez gyakran eltérő megközelítéseket alkalmaznak.

Különös figyelmet fordítottak az előzetes t styling (előtesztelés), mivel növeli annak valószínűségét, hogy a leghatékonyabb szövegeket készítsék el, mielőtt a pénzt reklámra költik.

A tesztelés egy másik fajtája - az utólagos tesztelés (vagy végső tesztelés) - a maga részéről nem rendelkezik az előzetes tesztelésben rejlő fő hátránysal - egy bizonyos fokú mesterségességgel. A végső tesztelés során az emberek viselkedése nem torz, természetes, reális. A végső teszt során számos tényezőt figyelembe vesznek, amelyek szintén komolyan befolyásolják az eredményeket. Mindenekelőtt ez a reklámterjesztő médium sajátossága, a reklámelhelyezés ideje, a fogyasztók felé történő bemutatásának gyakorisága stb.

Ha általában a teljes reklámüzenetet tesztelik az eladásösztönző képességre, egy termék vagy márka meggyőző képességére, elismertségére és emlékezetességére, akkor a reklámszöveg általában csak a meggyőzőképességét vizsgálja. Az ilyen teszteknél elsősorban a cím, szlogen, kódok, kulcsszavak megértésére hívják fel a figyelmet.

Ma új tesztelési eszközöket kapunk. Például a címsorok, kulcsszavak sikeresen tesztelhetők kontextuális hirdetési rendszerrel.

Mindegyik értékelési módszernek megvannak az előnyei és hátrányai, valamint különböző költségek. Fontos és nagyon egyszerű, és ami a legfontosabb, olcsó eszköz a hatékonyság tesztelésére reklámszövegek ellenőrző listák (kérdések ellenőrző listái).

Az előadás videós változata " A modern reklámozás hatékonyságának tesztelése"

(kiadásra készül)

A témával kapcsolatos részletesebb információk A. Nazaykin könyvében találhatók

A teszt hatékonyságának csökkenéséhez vezető hibák akkor jelennek meg, ha:

• A teszt nincs jól megírva
• A teszt hibásan szabványosított
• A tesztet nem megfelelően használták

Teszttervezés

Először is világosan meg kell érteni azt a pszichológiai tulajdonságot, amelyet a jövőbeli teszt mérni fog. Semmilyen tesztet nem készítenek elölről, általában hosszú időt vesz igénybe a létrehozása. tudományos munka a tematikus anyag tanulmányozásáról.

A pszichológiai teszt kivitelezője előtt költségeket nehéz feladat- a mért pszichológiai tulajdonság minden aspektusát a lehető legteljesebben tükrözni a minimális számú feladaton keresztül. Az utolsó feltétel a teszt hatékonyságának egyik kritériuma. Ez nem jelenti azt, hogy Cattell félezer kérdést tartalmazó személyiségkérdőíve hatástalannak tekinthető. Ilyen nagyszámú mért személyiségtényező mellett (16) ilyen számú kérdés optimális. Ugyanez vonatkozik az intelligencia, a motiváció és más széles mentális területek tesztjére is. Óvakodni kell a kockázati vágyról szóló kérdőívtől, amely 250 kérdést tartalmaz.

Ezen követelmények mellett a tesztnek meg kell felelnie célcsoport amelyre irányul. Megfelelő összetettségű és hozzáférhetőségű feladatok különböző korcsoportok, különféle mentális zavarokkal küzdőknek, különböző nemzeti és nyelvi csoportok képviselőinek. Ha a tesztet más nyelvcsoportban vagy országban kínálják, akkor azt módosítani kell.

Az alkalmazkodáshoz nemcsak a feladatok fordítását foglalja magában, hanem a kifejezések, fogalmak átstrukturálását, a frazeológiai egységek, közmondások, mondások cseréjét az adott nyelven hozzájuk hasonlókkal. A kérdések jelentését a csoport vallási nézeteinek figyelembevételével kell közvetíteni.

Figyelembe kell venni néhány olyan hatást is, amelyeket az emberekkel való töltés során észleltek tesztelemek... A társadalmi kívánatosság úgynevezett hatása akkor vált ki, ha az ember a válaszaiban meg akarja mutatni magát a legjobb fény... Sok teszt fogig felvértezve van." hazugság mérlegei", csapdakérdések stb. De ez nem mindig segít - az ember ugyanazokat a kérdéseket találja meg, és megőrzi a válaszait az emlékezetében.

Van még egy trükk - a tesztcél helyettesítése az utasításban ha ez a cél egyáltalán feltárul az alany előtt. Ekkor az ember a kérdésekre válaszolva jól mutatja magát az egyik oldalon (hamis cél), és többé-kevésbé megbízható információt ad a másik oldalról (igazi cél), amit valójában ez a teszt mér.

Követelmények vannak a kérdések megfogalmazására, a tesztben való elhelyezésük sorrendjére is. Ezek ismét attól függnek, hogy a tesztet milyen célcsoportnak szánják.

Egy helyesen megtervezett tesztet még nem lehet kidolgozottnak nevezni. Ehhez szabványosítani kell.

Szabványosítás

A teszt szabványosítása lehetővé teszi a vele kapott adatok összehasonlítását különböző emberek... Ehhez az szükséges, hogy ezek az emberek egyenlő körülmények között legyenek. Pszichológiai értelemben ezt "az összes függő változó ellenőrzésének" nevezik. Ideális esetben a teszt egyetlen független változója az alany személyisége lenne. Az egyenlő versenyfeltételek biztosítása érdekében a teszttervező konkrét útmutatást ad a teszt futtatásához. Tartalmazzák:

• Az ingeranyag sajátossága
• Időkorlátok
• Utasítások az alanyokhoz
• Mintafeladatok
• Elfogadható válaszok a kérdésekre (ha bármilyen korlátozásra van szükség)

Ezen utasításokon kívül a teszt függeléke tartalmazza a speciálisan meghatározott válaszadási arányokat ("nyers pontokban") és azok értelmezését.

A szabványosításon túlmenően a teszt hatékonyságát a megbízhatósági és érvényességi kritériumok alapján is érvényesíteni kell. Ezeket a fogalmakat nagyon gyakran felcserélhetővé teszik, ezért nézzük meg, milyen jelentéssel bírnak mindegyik.

Megbízhatóság

A megbízhatóság az ugyanazon alany által a teszt minden egyes ismételt végrehajtása során kapott eredmények és az első teszt eredményeinek konzisztenciája. Nincs abszolút tesztmegbízhatóság, a hibák megengedettek, de minél magasabbak, annál alacsonyabb a teszt hatékonysága. A megbízhatóság a következő módszerekkel ellenőrizhető:

• teszt-újrateszt megbízhatóság ugyanazon teszt többszöri végrehajtását és az eredmények korrelációs összehasonlítását jelenti.
• megosztott megbízhatóságúgy határozzuk meg, hogy a tesztet két részre osztjuk, és a két rész külön-külön elvégzésének eredményeit összehasonlítjuk.
• egyenértékű megbízhatóság a tesztalany és annak alternatív változatának bemutatásával derül ki. A kapott eredményeket egymással is összehasonlítják.

Érvényesség

A pszichológiai szótárak az érvényesség fogalmát úgy tárják fel, mint annak mértékét, hogy egy teszt megfelel-e annak a célnak, hogy mérje azt, amiért létrehozták; a teszt tényleges képessége annak a pszichológiai jellemzőnek a mérésére, amelynek diagnózisához azt állítják. Egy teszt érvényessége kvantitatívan kifejezhető a segítségével kapott eredmények más mutatókkal, például a megfelelő tevékenység sikerességével való összefüggésében.

Ezen túlmenően, egy teszt érvényessége megállapítható, ha összehasonlítja annak eredményeit a hasonló módszerekkel kapottakkal. Például a verbális intelligencia kidolgozott tesztje elvégezhető a jól ismert Amthauer-teszttel, majd összehasonlítva azok eredményeit. Az eredmények magas korrelációja magas validitást jelent – ​​ami azt jelenti, hogy az új teszt valóban a verbális intelligenciát méri, nem pedig a beszédkészséget, a memóriát, a figyelmet stb.

A fentiekben a teszt használatának szakaszában előforduló hibákról volt szó. A mellékletekben javasolt végrehajtási feltételeinek megsértése az érvényesség csökkenését vonhatja maga után. Tegyük fel, hogy szómemorizálási tesztet végzünk, és látva, hogy az alany eléggé képes, növeljük a szólista olvasási sebességét. Ebben az esetben a sebesség növekedése további független változó, más szóval akadály. Ennek eredményeként a memorizálás sebessége helyett az egyén stresszállóságát mérjük.

A teszt érvényességének értékelése a következő lépéseket tartalmazza:

• látszólagos érvényesség meghatározása(arc érvényesség). Ez az érvényesség, ahogy mondják, "szabad szemmel" látható - értékelik a teszt általános megfelelését a célnak.
• fogalmi érvényesség meghatározása(konstrukció érvényessége). Egy tulajdonságot mérő teszt mennyire konzisztens az adott tulajdonságra vonatkozó általánosan elfogadott elméleti koncepciókkal. Ezt az érvényességet általában szakértők értékelik.
• empirikus érvényesség meghatározása(empirikus érvényesség). Egy kritérium (független változó) van kiválasztva, amelyhez a teszteredményeket társítani kívánja. Például az iskolaérettségi vizsgálat kritériuma lehet az első osztályos tanuló általános teljesítménye.
• a tartalmi érvényesség meghatározása(tartalom érvényessége). A kidolgozott tesztnek tartalmaznia kell kérdéseket a teszt által mért tulajdonság maximális lehetséges számú paraméterének felmérésére (a teszt összeállításának első szabálya fentebb volt - a tulajdonságparaméterek maximális száma a minimális számú feladaton keresztül). Ezt az érvényességet szakértői megítélés alapján is értékelik.

Egyébként nem csak az új tesztek mennek át ilyen vizsgán. Jelenleg sok kutató foglalkozik a már ismert tesztek hatékonyságának elemzésével. A „Psychological Science in the Public Interest” című pszichológiai folyóirat oldalain a közelmúltban zajló vita megkérdőjelezte a pszichodiagnosztikai eszközök olyan „mestereinek” hatékonyságát, mint a Rorschach tintafoltteszt, a TAT (tematikus appercepciós teszt) és a projektív teszt-rajz. emberi alak. Kiderült, hogy ezeknek a pszichodiagnosztikai technikáknak alacsony az empirikus érvényessége, alacsony a teszt-újrateszt megbízhatósága és rosszul összeállított normatív mutatóik.

A teszt eredményességének felmérésére szolgáló fenti módszerek abban segítenek, hogy a pszichológus ne csak saját maga tervezzen eszközöket bizonyos személyiségjegyek mérésére, hanem abban is, hogy a már kidolgozott tesztek közül a legszínvonalasabb és legmegbízhatóbb teszteket válassza ki.

Pszichológiai komplexum Effecton Stúdió

Az Effecton Stúdió komplexum létrehozásánál a fő prioritás az volt, hogy kizárólag tudományosan megalapozott és informatív módszereket alkalmazzanak. Emellett a pszichológiai technikákhoz információs támogatást nyújtunk felhasználóinknak, valamint a weboldal látogatóinak és a hírlevél olvasóinak. Különös figyelmet fordítunk a munkavégzés hatékonyságára és ergonómiájára – az Effecton Studio pszichológiai tesztjein való átesést követően a felhasználó nemcsak a nyers eredményeket, hanem azok értelmezését is kényelmes csoportos tesztelési és statisztikai elemzési módszerekkel látja el.

Számos egyéb lehetőség is kidolgozásra került, amelyeket javasolunk, hogy ismerkedjen meg azzal, hogy letölt egy demo verziót weboldalunkról, és megrendeli a komplexumot a szervezetben való használatra. A komplexumról más érdeklődőket is tájékoztathat, ebben az esetben a tranzakció értékének 25%-át kapja meg.

Olga Danilova.

A "www .." oldal exkluzív anyaga Szöveg és/vagy kapcsolódó anyagok kölcsönzése csak az eredetire mutató közvetlen és jól látható hivatkozással lehetséges. Minden jog fenntartva.

A komplexum demo változata

V. V. Odincova

Számos pszichodiagnosztikai technikát alkalmazva ritkán gondolunk ezeknek a munkaeszközöknek a minőségére. És hiába. Hiszen minden gyakorló pszichológus tudja, hogy jó diagnosztikai eszközök nélkül semmilyen pszichológiai vizsgálat nem lehetséges.

Ugyanakkor a közelmúltban széles körben megjelent népszerű pszichológiai tesztgyűjtemények sajnos nem felelnek meg egy igazi szakember követelményeinek, akinek bíznia kell a munkájában használt eszköz diagnosztikai képességeiben. Ezért, továbbra is aktuális a jól kidolgozott és megbízható diagnosztikai technika megtalálásának problémája.

A Human Technologies HR Laboratory fő feladata minőségi termékek fejlesztése. Az ilyen termékek létrehozásának egyik feltétele a vizsgálati módszerek időszakos ellenőrzése, hogy megfelelnek-e számos pszichometriai követelménynek (érvényesség, megbízhatóság, reprezentativitás, megbízhatóság). Ehhez elegendő számú protokoll beállítása után Statisztikai analízis vizsgálati módszerek.

Vegyünk egy pszichometriai elemzést (amelynek teljes mintája 660 fő volt).

Ez a 90-es években kifejlesztett teszt öt úgynevezett "nagy" temperamentum- és karaktertényező súlyossági szintjének expressz diagnosztikájára szolgál, és felnőttek személyiségének tanulmányozására szolgál szakmai szelekció, szakmai tanácsadás céljából, a pszichológiai segítségnyújtás irányainak meghatározása, csoportok toborzása, önismeret stb.

Az „Öt Nagy Tényező” egyetemességének alapja keresztszituációjuk: az egyén globális funkcionális-aktivitás-értékelésének tényezői a társadalmi viselkedés és az objektív tevékenység szinte minden olyan helyzetére alkalmazhatók, amelyben az emberek között tartós különbségek vannak. megtalált.

A kérdőív 75 ​​tételből áll, egyenként három válaszlehetőséggel.

MÉRLEG A tesztek a Big Five faktorok pontos reprodukálását jelentik nemzetközi változatukban (kivéve az ötödik faktort, amelyet a B5 számos nyugati változata "nyitottság az új tapasztalatokra - korlátozott gyakorlatiasság" néven jelöl):

• extraverzió - introverzió
• beleegyezés – függetlenség
• szervezettség - impulzivitás
• érzelmi stabilitás - szorongás
• tanulhatóság – tehetetlenség

1. Az érvényesség ellenőrzése

A meglévő skálák hagyományos módon történő ellenőrzésekor - a kérdésekre adott válaszok és a skálán elért összpontszám közötti összefüggések kiszámításával - azt tapasztaltuk, hogy szinte minden item szignifikánsan korrelál „saját” skálájával, átlagosan 0,35-ös korrelációs együtthatóval.

Ellenőrzéskor jelentőségteljes a teszt érvényességét, a tesztelemek megfogalmazását elemezték, értelemszerűen tükrözve a megfelelőt tárgykörben(viselkedési terület), és szignifikáns (pozitív vagy negatív) korrelációval rendelkezik az összpontszámmal:

Skála	Példa tesztelemekre	Korrelációs együttható
EXTRAVERZIÓ	Fontos számomra, hogy elmondjam a véleményemet másoknak	(0,31)
	Szeretek részt venni mindenféle versenyen, versenyen stb.	(0,41)
	Szeretek látogatni és új embereket megismerni.	(0,5)
MEGEGYEZÉS	A legtöbb emberben nem lehet megbízni	(-0,23)
	Érdeklődésem mindenekelőtt számomra	(-0,22)
	"Aki segít az embereknek, az idejét vesztegeti, jó cselekedetek nem lehetsz híres"	(-0,3)
	„Mindenki – önmagáért” – ez az az elv, ami nem hagy cserben	(-0,4)
ÖNURALOM	Amikor lefekszem, már biztosan tudom, mit fogok csinálni holnap.	(0,37)
	Ha könyvet veszek, mindig a helyére teszem	(0,35)
	A felelősségteljes ügyek előtt mindig tervet készítek azok megvalósítására.	(0,37)
STABILITÁS	Könnyen elpirulok	(-0,28)
	Ha elkapok (a) egy nemkívánatos munkahelyi helyzetet, akkor ez mindig fájdalmas kétségeket okoz, amíg a helyzet tisztázódik	(-0,3)
	A nap végén általában annyira elfáradok, hogy minden apró dolog kiborul.	(-0,32)
	Könnyű elrontani a hangulatomat	(-0,42)

A fenti megfogalmazások elemzése a teszt meglehetősen magas tartalmi érvényességét jelzi.

2. Megbízhatósági ellenőrzés

A teszt, mint mérési eszköz megbízhatóságát meghatározza a tesztpontszámok mérésének hibáinak csekély valószínűsége, valamint az, hogy a mérési eredmények milyen mértékben reprodukálódnak, ha a tesztet ismételten alkalmazzák egy adott alanycsoport vonatkozásában. A különböző források mérési hibához való hozzájárulásának felméréséhez különböző módszereket kell alkalmazni a megbízhatóság értékelésére. Különösen érdekes a teszt belső konzisztenciájának értékelése, ez határozza meg a hiba azon részét, amely a tételek kiválasztásához kapcsolódik.

A teszt belső konzisztenciáját a Cronbach-alfa-együttható kiszámításával értékeltük. Ez az együttható a megbízhatóság értékelése a skála homogenitása vagy az azonos tesztlapon belüli kérdésekre adott válaszok közötti összefüggések összege alapján.

Esetünkben az egyes skálákra számított Cronbach-alfa megbízhatósági együttható általánosságban meglehetősen megfelelő szintű belső konzisztenciát mutatott, hagyományosan a személyes expressz kérdőíveknél, ahol az alskálák korlátozott számú (20-nál kevesebb) elemet tartalmaznak:

Emlékezzünk vissza, hogy a hatékonyan működő személyiségteszt szigorú pszichometriai követelményei megfelelnek az alfa együtthatók 0,8 feletti értékének.

Esetünkben a Cronbach-féle megbízhatósági együtthatók értékének viszonylag alacsony szintje e skálák jelentőségével magyarázható: minden skálán 15 különböző kérdés található, ami lehetővé teszi a vizsgált tényezők körének bővítését, ugyanakkor áldozatot hozva. időzítse el a magas szintű belső konzisztenciát.

Ez különösen élesen hatott a "BEJELENTKEZÉS" és a "KÉPZÉS" faktor skálákra, amelyek szerint az alfa együttható 0,6 alatt volt.

3. Reprezentativitás ellenőrzése

A szabványosítás mintájáról (1. ábra - 300 fő) a sokaság mintájára (2. ábra - 660 fő) való átmenetben megjelenik a vizsgálati pontok eloszlásának konfigurációjának stabilitása, ami jelzi a vizsgált pontok reprezentativitását. tesztelési módszer:

1. ábra. Minta a szabványosításból (300 fő)

2. ábra. Minta a lakosságból (660 fő)

Ezen eloszlások vizuális hasonlósága mellett az általunk használt Pearson khi-négyzet teszt az eloszlások következő hasonlóságát mutatta:

Ezek a khi-négyzet értékek a bizonytalanság tartományába esnek: amikor lehetetlen egyértelműen elfogadni vagy egyértelműen elvetni az eloszlások konzisztenciájára vonatkozó hipotézist.

Ez az eredmény az expressz teszt fő tulajdonságának köszönhető, nevezetesen az egyes skálákon működő kérdések kis számának. Ezt figyelembe véve a reprezentativitási teszt eredménye kielégítőnek mondható.

4. Valószínűség ellenőrzése

Mivel a helyszínen tesztelt alanyok a kliens helyzetében voltak (megbízható eredmények érdekelték őket), a kapott eredmények nagy valószínűséggel megbízhatónak tekinthetők.

Szakértői helyzetben azonban (amikor harmadik fél érdeklődik a teszteredmények iránt), az adatok torzulhatnak tudatos hamisítások (hazugság, az alany őszintétlensége) vagy tudattalan motivációs tényezők beavatkozása miatt. Ennek elkerülése érdekében az ilyen esetekre tervezett változathoz (B5splus) egy hazugságskálát adtunk (ez a verzió jelenleg tesztelés alatt áll honlapunkon).

A kapott eredmények a módszertan magas színvonalának és hatékonyságának bizonyítékai, ami azért fontos, mert a szakember szakmai színvonalát gyakran az általa használt eszköz határozza meg.

Nem szabad azonban elfelejteni, hogy még egy erős modern hangszer nem garantálja a hibák teljes hiányát. Ezek elkerüléséhez nem elég egy számítógép és egy tesztprogram hozzá. Tapasztalt pszichológus is köteles felügyelni a tesztet. Tehát a komoly pszichometriai adaptáción átesett tesztek jelenléte egyáltalán nem zárja ki a pszichológus professzionalizmusát és tapasztalatát, akinek párhuzamos információforrások (beleértve saját megfigyelését, beszélgetését stb.) segítségével kell ellenőriznie a teszteredmények hitelességét. ).

Évek óta aktuális, sok tanulmányt szenteltek ennek a kérdésnek. Ebben a cikkben a KPI-k bevezetésének folyamatát és a munkánk minőségének értékelési módszerét tekintjük meg példaként egy valós projekt segítségével.

Mik azok a KPI-k?

Tehát először térjünk át a KPI fogalmára. A KPI (Key Performance Indicator) egy bizonyos tevékenység sikerének vagy bizonyos célok elérésének mutatója. Azt mondhatjuk, hogy a KPI a ténylegesen elért eredmények mennyiségileg mérhető mutatója.

Esetünkben a projekt KPI-je a teljes tesztelési csapat hatékonyságának mutatója. A KPI kifejezés mellett a cikk a "metrics" kifejezést is használja majd, amely alatt egy számértéket értünk a hatékonyság mérésére.

Miért van szükségünk KPI-re?

Most beszéljünk arról, hogy miért volt szükségünk KPI-kre a projektben, és miért döntöttünk ezek bevezetése mellett. Itt minden egyszerű: bármikor látni akartuk a projekt állapotát, és megelőző intézkedéseket akartunk tenni a problémák elkerülése érdekében. Köszönet KPI vezető tesztelési irányok a projekten nem csak erős és gyenge oldalai a projektet és a teljes csapatát, de saját vezetői döntései következményeinek dinamikáját is nyomon tudja követni (mi történt helyesen, a meghozott döntések közül melyek voltak sikeresek vagy sikertelenek), és a jövőben - korrigálni.

Ezenkívül a KPI-k nemcsak általánosan elfogadott mennyiségi mutatókat, hanem minőségi mutatókat is tartalmazhatnak (például „ügyfél-elégedettségi szint”). De beszéljünk mindent sorban!

Honnan lehet KPI-ket szerezni?

Minden projekt több szempontból is egyedi. Ne feltételezze, hogy az egyik projekt mérőszámai jól „gyökereznek” egy másikban; azokat a projekt sajátosságainak és az ügyfél elvárásainak/aggályainak figyelembevételével kell kidolgozni. Az elvárások mérőszámokká alakítása azonban időt és türelmet igényel.

Hogy volt ez nálunk

Most, ahogy ígértem, beszámolok a projekttel kapcsolatos tevékenységeinkről.

Így csapatom tesztelte az ügyfél belső, több nagy funkcionális blokkból álló szoftverét, valamint a háttértári tárolórendszerekkel való szoftverintegrációt.
Azonnal tisztázom, hogy a cikkben szereplő vásárló alatt minden olyan személyt értek, aki érdeklődik egy termék tesztelésében, és arra törekszik, hogy a termék megfeleljen a végfelhasználók igényeinek és kereskedelmi forgalomba kerüljön.

Az ügyfél a teszteléstől kapott konkrét elvárásokkal, saját céllal érkezett hozzánk. Ebben a szakaszban az volt a feladatom, hogy a projekt tesztelési osztályának vezetőjeként pontosan ezeket a célokat és elvárásokat azonosítsam. Az ilyen elemzésekre számos lehetőség kínálkozik – közvélemény-kutatások, tájékoztatók kitöltése, szóbeli kommunikáció. A legfontosabb, hogy kiderüljön, mit akar a vásárló, mi aggaszt, és mi „fáj” neki.

Mondjunk példákat a megrendelő megfogalmazásaira: "Az entitások nem" érkeznek "egyik programmodulból a másikba, de ott szükség van rájuk, sok kötődik hozzájuk"; „Nem tudunk információt átvinni a régi programból az új verzióba”; "Teljes mértékben tervezzük az egyik rendszerről a másikra való átállást, ezért módosítani fogjuk az átvitelt."

Miután kialakítottuk ügyfelünk elvárásait (vagy félelmeit), céllá kell alakítanunk azokat. Könnyű kitalálni, hogy tesztelésünk célja a lebonyolítás volt integrált értékelés termékminőség integráción és funkcionális tesztelésen keresztül szoftver vevő.

Most a dekompozíciós folyamatot kellett végrehajtani, vagyis a globális célt apró, megoldható feladatokra bontani a projektcsapat számára. Ebben egyébként maga a csapat segített nekem! Nézzük meg, hogyan történt ez, de először tisztázzuk újra a „dekompozíció” kifejezést, mindent a polcokra rakva.

Bomlás

Mi az a Dekompozíció? A bomlás az tudományos módszer, amely a feladat szerkezetét használja, és lehetővé teszi, hogy egy nagy probléma megoldását felváltsa egy sor kisebb részfeladat megoldása, bár egymással összefüggő, de egyszerűbb. A dekompozíciós elv az, hogy a tesztelt alkalmazás (különálló modulja vagy funkcionális) viszonylag független alrendszerekből állónak tekinthető, amelyek mindegyike sokkal könnyebben és érthetőbben tesztelhető, mint a teljes rendszer egyszerre.

Ha az ügyfél integrációs tesztelést szeretne kapni, akkor a termék integrációs funkcionális tesztelését fel kell bontani. Ehhez meg kell érteni, hogy az ügyfél rendszerei milyen részekből állnak, általában hány rendszer vesz részt az adatcserében, milyen műveleteket és milyen objektumok felett hajthatnak végre a rendszerek felhasználói stb.

Elméletileg minden nagyon egyszerű és világos: egy nagy problémából számos kicsire van szükség. Nem tűnik bonyolultnak, de a gyakorlatban gyakran találkozunk azzal a ténnyel, hogy egyszerűen nem értjük a probléma lebontásának kritériumait, ezért mindent véletlenszerűen csinálunk. Ennek a félreértésnek a következménye a projekt tesztelőinek egyenetlen munkaterhelése, a munkaerőköltségek helytelen becslése, a feladatok helytelen megértése és az eredmények eltérő megítélése. A téma jobb megértéséhez forduljunk a SMART elvhez.

SMART elv

Általánosságban elmondható, hogy a SMART egy mnemonikus rövidítés, amelyet a különböző szintű vezetők használnak a célok kitűzésének elveinek memorizálására. A rövidítés minden betűjének megvan a maga értelmezése:

• S specifikus – specifikus. A feladat kitűzésekor egyértelműen meg kell értenünk, milyen eredményt szeretnénk elérni. Az eredménynek egyértelműnek és érthetőnek kell lennie a folyamat minden résztvevője számára - tesztelve a csapat alkalmazottait, az ügyfeleket, a különböző szintű vezetőket.
• M mérhető – mérhető. Mérhető feladatokra van szükségünk. Más szóval, a mérhetőség kritériumok – indikátorok, teljesítménymutatók – jelenlétét feltételezi.
• Elérhető az elérhető. Ebben az esetben az „elérhető” definíciót átnevezném „hozzáférhető”-re (meghatározott képzettségi és képesítésű munkavállaló által megvalósítható). Egy hozzáértő vezető soha nem ad egy kezdőnek rendkívül nehéz feladatot, hiszen megérti, hogy a kezdő egyszerűen nem tud megbirkózni vele, és a megoldására fordított időt nem lehet visszaadni. A projektben részt vevő tesztelő csapat alkalmazottainak személyes jellemzőinek és tulajdonságainak figyelembevétele lehetővé teszi a terhelés nagyon világos (és ami a legfontosabb - egyenletes és megvalósítható) elosztását, egyszerű feladatokat ad a kezdőknek, valamint a "sztárokat" és a profikat - összetett logikával rendelkező feladatokat. erejüknek és képességeiknek megfelelően.
• R eleváns - releváns, értelmes. Valóban olyan fontos számunkra egy feladat elvégzése? Szükséges most ez a feladat? Mit kapunk, ha megoldjuk ezt a problémát? És ha nem döntünk?
• Időhöz kötött – időben korlátozott. Minden feladatnak saját határidővel kell rendelkeznie, amely alatt azt meg kell oldani. A feladat elvégzésének időkereteinek és határainak meghatározása a folyamatot ellenőrizhetővé és átláthatóvá teszi. A menedzser bármikor láthatja a feladat előrehaladását.

Tehát most az olvasó megérti, milyen kritériumok alapján lehet egy nagy feladatot lebontani. Mehetünk tovább.

Miután egy nagy feladatot több kicsire osztottak, minden részfeladatot elemezni kell. Kiemeljük őket. Tehát projektünkben a következő műveletek merültek fel:

• tesztekkel lefedjük az integráció minden fő funkcióját;
• teszt entitásokat és adatokat fejlesztünk;
• feladatokat tesztelünk a funkcionalitás javítása érdekében;
• a tesztelés során talált hibákat elindítjuk;
• kiadások és gyorsjavítások ellenőrzése;
• Gondoskodunk arról, hogy a termék minden új verzióján lehetőség legyen két kiemelt termék átvitelére egyik rendszerből a másikba.

A főbb részfeladatokon kívül további néhány további feladatot is azonosítottam:

• nem akarunk időt vesztegetni azzal, hogy elmagyarázzuk a fejlesztőknek „mi itt a hiba, és hogyan reprodukálható”, ezért hozzáértő és érthető hibákat fogunk létrehozni;
• tesztelési munkánk a lehető legátláthatóbb legyen, így a verzió állapotának megfelelő köztes státuszt biztosítunk a megrendelőnek;
• azt szeretnénk, hogy az ügyfél élvezze a velünk való munkát, és legközelebb ismét hozzánk fordul.

Most menjünk együtt az egyes részfeladatokon, és nézzük meg a mérhető mutatókat.

A KPI-ket alkotó mutatók

Funkcionális lefedettség tesztekkel. Hogyan mérhetjük? Megállapodtunk a „Termékmodulok számának tesztenkénti %-os lefedettsége xx” mérőszámánál (a kiszámításáról bővebben Natalia Rukol cikkében olvashat).

A képre kattintva megnyílik a teljes verzió.

Tesztesetek és teszt entitások fejlesztése. Itt úgy döntöttünk, hogy a „termék moduljainak / funkcionális blokkjainak száma, amelyekhez az entitások 100%-át fejlesztették” mérőszámmal dolgozunk.

Vevői módosítások tesztelése. Ebben az esetben egyszerűen megszámoltuk a verziónként tesztelt változatok számát és a csapat által az ellenőrzésre fordított átlagos időt. Ezeket a mutatókat azért gyűjtöttük össze, hogy felmérjük, mire irányult a verzió (hibajavítás, vagy az ügyfél új funkcióinak bevezetése), és ezáltal betartjuk-e az egyes funkciók megvalósításának határidejét.

"Hibák megállapítása".Úgy döntöttünk, hogy több mérőszámot használunk, amelyek információt adnak a verzió állapotáról: "a csapat által létrehozott hibák száma", "a blokkoló prioritás hibáinak száma verziónként".

"Tesztkiadások és gyorsjavítások" a "kiadásban és/vagy gyorsjavításban szereplő tesztelt feladatok %-a" (a tesztelt feladatok aránya a verzióban lévő feladatok teljes számához viszonyítva), "a továbbadott verziók %-a" és "a siker %-a" metrikákkal oldottuk meg. változatokon átmenő esetekben".
Az utolsó mutatót a következő képlettel számítjuk ki:



ahol P1 - megtett lépések az első blokkon,
P2 - megtett lépések a második blokkon,
Pn - megtett lépések az n-edik blokkon,
A1 - lépések száma az első blokkban,
A2 - a lépések száma a második blokkban,
An az n-edik blokk lépéseinek száma,
N az összes termékblokk száma.

Az elsőbbségi termékek egészségével kapcsolatos probléma mérésére speciálisan kifejlesztettünk egy mátrixot (megjegyezte, hogy ez vagy az az érték működik-e a terméknél, vagy nem), majd kiszámítottuk, hogy az 1. termékre és a termékre "az értékek %-a működik" 2 a verzión." A képlet alapján számolunk:



ahol Pp1 az első termék munkaértékeinek száma,
Ap1 - a termék összes értéke azonos.

A képre kattintva megnyílik a teljes verzió.

Miután a főbb feladatokkal foglalkoztunk, áttértünk a továbbiakra.

Hadd emlékeztessem önöket, hogy nem akartunk drága időt tölteni a hibák magyarázatával és a bejelentések kommentálásával, ugyanakkor fontos volt számunkra, hogy a megrendelő elégedett legyen a munkánkkal. Így az első részfeladatnál úgy döntöttünk, hogy a „Nem reprodukálható felbontású verzión az elutasított hibák %-a” mennyiségi mutatókat használjuk, a másodiknál ​​pedig az „az időközi jelentésre vonatkozó vevői észrevételek száma” ill. a minőségi mutató „a vevők elégedettsége a munkánkkal”.
Az „ügyfél-elégedettség” értékelésére három szintet vezettünk be – „minden rendben”, „a munkával kapcsolatban apró megjegyzések/kérdések vannak” és „minden rossz, az ügyfél elégedetlen”. Ez a mutató egyébként általában sokat segít a projektcsapaton belüli gyors döntéshozatalban. Ha az ügyfél valami miatt elégedetlen vagy ideges, akkor "forró nyomon" megbeszélést folytatunk: igyekszünk minimalizálni a kockázatokat, megérteni az elégedetlenség okait, a lehető leghamarabb kidolgozni a megoldást és bemutatni az ügyfélnek.

A képre kattintva megnyílik a teljes verzió.

Amit a KPI-k végül adnak nekünk

A KPI elkészítése egy projekthez költséges eljárás, de érdekes és hasznos, és itt van miért.
A fenti mutatók összegyűjtésével választ kaphatok azokra a kérdésekre: pontosan mit csinált jól a csapatom, milyen mutatók alapján fejlődtünk, vezetői döntések... Az alábbi kérdésekre bármikor válaszolhatok az ügyfélnek:

• mi a verzió állapota;
• a termék mely moduljai a legkritikusabbak és a leghibásabbak;
• mely modulokra kell különös figyelmet fordítani;
• milyen mutatók működnek a kiemelt termékeknél;
• lehetséges-e a terméket ipari felhasználásra adni.

A projektemen a mérőszámok bevezetése után könnyebbé vált az időközi jelentés elkészítése az ügyfél számára, a teljes projektcsapat (és a srácok hozzáférnek a projekt KPI-jához) mindent megtett szoftverünk fejlesztéséért.
mutatók, mindenki figyelmesebb és koncentráltabb lett!

Konklúzió helyett

A "Minőségi Laboratóriumban" egy kicsit tovább mentünk, és mégis úgy döntöttünk, hogy összegyűjtjük a projektjeinkre alkalmazható mérőszámok adatbázisát. Nem, nem azt mondom, hogy kész anyagokat vehetsz és dolgozhatsz vele, de minden menedzser, aki szembesül a KPI-k bevezetésének témával a projektjében, hivatkozhat erre az adatbázisra, nézze meg a mérőszámokat, amelyekből a KPI-ket gyűjtik. más projekteket, és igazítsa ezeket a mutatókat az Ön igényeihez. Elkészítettünk egy belső szabályzatot is (egyfajta utasítás a KPI-k megvalósításához a projekteken), melynek segítségével ez a folyamat gördülékenyen és fájdalommentesen zajlik.

Ne féljen időt szánni a felkészülésre és KPI megvalósítás a projektről: ezek a költségek teljes mértékben megtérülnek! Ügyfele elégedett lesz az elvégzett munkával és a termék kiváló minőségével. Újra és újra hozzád fog fordulni segítségért!

V utóbbi évek Az automatizált tesztelés a szoftverfejlesztés trendjévé vált, bizonyos értelemben megvalósítása a "divat előtti tisztelgés" lett. Az automatizált tesztek megvalósítása és karbantartása azonban nagyon erőforrás-igényes, ezért nem olcsó eljárás. Ennek az eszköznek az elterjedt használata leggyakrabban jelentős anyagi veszteségekhez vezet érdemi eredmény nélkül.

Hogyan lehet egy meglehetősen egyszerű eszközzel felmérni az automatikus tesztek lehetséges hatékonyságát egy projekten?

Mit nevezünk a tesztautomatizálás „hatékonyságának”?

A hatékonyság (elsősorban gazdasági) értékelésének legáltalánosabb módja az a beruházás megtérülésének kiszámítása(ROI). Kiszámítása meglehetősen egyszerű, a nyereség és a költségek aránya. Amint a ROI értéke egy fölé megy, a megoldás visszaadja a befektetett pénzeszközöket, és újakat kezd behozni.

Az automatizálásnál a profit azt jelenti a kézi tesztelés megtakarítása... Ezenkívül a haszon ebben az esetben nem lehet nyilvánvaló - például a mérnökök által végzett ad-hoc tesztelés során feltárt hibák eredményei, akiknek idejük felszabadultak az automatizálás miatt. Ezt a nyereséget meglehetősen nehéz kiszámítani, ezért vagy feltételezhet (például + 10%), vagy elhagyhatja.

Az automatizálás megvalósításának azonban nem mindig célja a megtakarítás. Az egyik példa az teszt végrehajtási sebesség(mind egy teszt végrehajtási sebességét, mind a tesztelés gyakoriságát tekintve). A tesztelés sebessége több okból is kritikus lehet egy vállalkozás számára – ha az automatizálásba való befektetés megtérül az ebből eredő nyereségből.

Egy másik példa - kivétel" emberi tényező» a rendszertesztelési folyamatból. Ez akkor fontos, ha a műveletek pontossága és helyessége kritikus fontosságú a vállalkozás számára. Egy ilyen hiba költsége lényegesen magasabb lehet, mint egy automatikus teszt fejlesztésének és karbantartásának költsége.

Miért mérjük a teljesítményt?

A hatékonyság mérése segít megválaszolni a következő kérdéseket: "Érdemes-e automatizálást megvalósítani egy projektben?", "Mikor hoz majd érdemi eredményt a megvalósítás?", "Hány óra manuális tesztelést cserélünk?" satöbbi.

Ezek a számítások segíthetnek a tesztautomatizálási csapat célok (vagy mérőszámok) megfogalmazásában. Például X óra megtakarítás havonta a kézi teszteléssel, Y hagyományos egységgel csökkentve a tesztelő csapat költségeit.