Učinkovito, učinkovito, graciozno testiranje. Procjena učinkovitosti automatizacije testiranja Testovi u procesu razvoja softvera

Odbijanje testiranja često je povezano s kritičkim stavom oglašivača (osobito kreativnih) prema njemu, kao i štednjom Novac i vrijeme. Testiranje može usporiti lansiranje reklamna kampanja, a time i sam proizvod. Istodobno, očito je da uz velike proračune testiranje pomaže u izbjegavanju višemilijunskih pogrešaka. Također može biti korisno za male oglašivače kojima je lako pronaći jednostavne, jeftine testove. Kako kažu klasici oglašavanja, "testiranje može biti ograničeno ili čak neuspješno, ali će ipak dati nešto na čemu se može graditi, čime se može voditi."

Istraživači broje nekoliko tisuća vrsta testova. Ništa manje nema mišljenja o korisnosti i ispravnosti provođenja određenih testova.

Jedno od glavnih pitanja evaluativnog istraživanja Donji razred: "Što točno testirati?" Isti klasici oglašavanja tvrdili su da je “učinak oglašavanja (s izuzetkom oglašavanja putem pošte) u velikoj mjeri nemjerljiv... Oglašivači, naravno, žele imati mogućnost računa, ali oglašavanje se često mora mjeriti u skromnijim i više nematerijalne načine nego što bi željeli. Bojim se da ćemo se morati pomiriti s činjenicom da će se većina oglašavanja moći u potpunosti isplatiti tek nakon dužeg vremenskog razdoblja, a stupanj povrata je nemoguće sa sigurnošću provjeriti."

Doista, vrlo je teško identificirati odlučujući čimbenik u odnosu između same reklamne poruke i njezinog utjecaja (ili izostanka tog utjecaja) na pojedinu osobu. Na primjer, u jednoj studiji grupa koju su činili menadžeri proizvoda i menadžeri oglašavanja tvrtki, voditelji radnih skupina reklamne agencije, kreativni profesionalci, profesionalci u oglašavanju i istraživači, „od njih je zatraženo da odaberu najbolje oglase među onima koji su već bili rigorozno testirani na tržištu. Proizlaziti? Iako su stručnjaci općenito mogli odrediti koji su oglasi trebali privući najviše čitatelja, nisu mogli odrediti koji su oglasi pomogli u prodaji najviše proizvoda.” Kao što je ranije rečeno, osim oglašavanja, postoji previše različitih čimbenika koji utječu na prodaju. A prema najautoritativnijim stručnjacima, "ne postoje metode brze i nekomplicirane kontrole brojnih čimbenika koji utječu na prodaju".

Prema C. Sandageu, V. Freiburgeru i K. Rotzollu, "na reakciju utječu mnogi različiti" razlozi", a svaka varijabla podražaja stvara mnoge "učinke". Ista najava može npr. živcirati, informirati, zabaviti, ojačati samopouzdanje, potaknuti na akciju, može se potpuno zanemariti u trenutku kontakta, a kasnije se brzo zaboraviti ili djelomično zapamtiti, može uzrokovati i promjenu stava ili svijesti. Stoga je sasvim jasno da bi se pri odlučivanju o tome koje parametre odgovora na korištenje istraživač u velikoj mjeri trebao voditi zdravim razumom."

S obzirom na navedeno, čini se jasnim da se oglas mora vidjeti (prije nego što se na njega može odgovoriti). Nakon kontakta s oglašavanjem, osoba bi također trebala znati zaštitni znak ili Naziv tvrtke, razumjeti svojstva, prednosti i prednosti proizvoda. Osoba može razviti racionalnu ili emocionalnu sklonost kupnji određeni proizvod... Tome se može dodati i mišljenje uprave jednog od najvećih svjetskih oglašivača General Motorsa: "Učinkovitost će se prvenstveno mjeriti točnošću, sposobnošću korištenja emocija i uvjerljivošću oglašavanja."

Mogu se testirati specifične ljudske reakcije. U tom slučaju treba procijeniti ili pojedinačne parametre ili minimalni skup, budući da pokušaji analiziranja previše aktivnih parametara oglašavanja odjednom mogu zbuniti rezultate. Istodobno, što se više parametara testira općenito, to će biti točnije. konačni rezultat... “Uz pažljivu analizu samo jednog ili dva periferna aspekta učinkovitosti oglašavanja, rezultati njegovog testiranja mogu se činiti previše sterilnim i nerealnim za one koji će ih morati koristiti u procesu donošenja odluka. Ako nekritički izjednači stupanj pamtljivosti i utjecaj ili promjenu stava i marketinga, ostaje mu prilika da se osloni na vjeru koja ne daje nikakva jamstva."

Dakle, kako bi se provjerila učinkovitost dovršenog ili gotovo dovršenog oglašavanja, provode se razne evaluacijske studije ili testovi. Omogućuju vam uštedu novca prilagođavanjem oglasa prije financiranja sredstava za distribuciju. Dakle, testiranje pomaže u izbjegavanju pogrešaka od više milijuna dolara. Također, evaluativne studije mogu biti korisne nakon postavljanja reklama, na primjer, kada se procjenjuju procesi utjecaja oglašavanja na tekuću prodaju.

Međutim, sa stajališta praktičara, nemaju sva istraživanja i nemaju uvijek vrijednost. Ponekad mogu ne samo pomoći, već i naškoditi poslu. Intuicija praktičara može biti točnije sredstvo od znanstvenog istraživanja. Testovi i njihovi rezultati sami po sebi nisu rješenja, oni samo pružaju praktičarima informacije, čiju upotrebu, zajedno s empirijskim iskustvom reklamni radnik, omogućuje donošenje informiranih odluka.

Ovo poglavlje pokriva različite vrste testova koji se koriste u oglašavanju, različite metode ispitivanja, kriterije ispitivanja i korake testiranja. Razmotrene su i značajke testiranja oglašavanja u različitim medijima, za što se često koriste različiti pristupi.

Osobita je pozornost posvećena preliminarnoj t styling (predtestiranje), jer povećava vjerojatnost pripreme najučinkovitijih tekstova prije nego što se novac potroši na oglašavanje.

Druga vrsta testiranja - post-testiranje (ili konačno testiranje), sa svoje strane, nema glavni nedostatak koji je svojstven preliminarnom testiranju - određenu količinu umjetnosti. U završnom testiranju ponašanje ljudi nije iskrivljeno, ono je prirodno, realno. Tijekom završnog testa u obzir se uzimaju brojni čimbenici koji također ozbiljno utječu na rezultate. Prije svega, to su specifičnosti sredstava distribucije oglašavanja, vrijeme postavljanja oglasa, učestalost njegovog predstavljanja potrošačima itd.

Ako se cjelokupna reklamna poruka u pravilu testira na sposobnost poticanja prodaje, na uvjerljivost, prepoznatljivost i pamtljivost proizvoda ili brenda, tada se oglasni tekst obično testira samo na uvjerljivost. U ovakvim testovima pažnja se prvenstveno posvećuje razumijevanju naslova, slogana, šifri, ključnih riječi.

Danas dobivamo nove alate za testiranje. Na primjer, naslovi, ključne riječi mogu se uspješno testirati pomoću sustava kontekstualnog oglašavanja.

Svaka metoda vrednovanja ima specifičnu kombinaciju prednosti i nedostataka, kao i različite troškove. Važno i vrlo jednostavno, a što je najvažnije, jeftino sredstvo za ispitivanje učinkovitosti reklamni tekstovi su kontrolne liste (kontrolne liste pitanja).

Video verzija predavanja " Testiranje učinkovitosti modernog oglašavanja"

(priprema za objavljivanje)

Detaljnije informacije o ovoj temi mogu se pronaći u knjizi A. Nazaykin

Pogreške koje dovode do smanjenja učinkovitosti testa pojavljuju se ako:

Test nije ispravno napisan
Test je pogrešno standardiziran
Zloupotrebljen test

Dizajn testa

Prije svega, potrebno je jasno razumjeti psihološko svojstvo koje će budući test mjeriti. Nijedan test se ne stvara od nule, obično je potrebno puno vremena za njegovu izradu. znanstveni rad na proučavanju tematske građe.

Pred konstruktorom psihološkog testa troškovi težak zadatak- najpotpunije odraziti sve aspekte mjerenog psihološkog svojstva kroz minimalni broj zadataka. Posljednji uvjet jedan je od kriterija učinkovitosti testa. To ne znači da se Cattellov upitnik osobnosti, koji sadrži pola tisuće pitanja, može smatrati neučinkovitim. Uz toliki broj izmjerenih faktora osobnosti (16), toliki broj pitanja je optimalan. Isto vrijedi i za testove za inteligenciju, motivaciju i druga široka mentalna područja. Treba se čuvati upitnika, recimo, o želji za rizikom, koji sadrži 250 pitanja.

Osim ovih zahtjeva, test mora zadovoljiti Ciljna skupina na koje je usmjerena. Zadaci odgovarajuće složenosti i pristupačnosti za različite dobne skupine, za osobe s različitim psihičkim smetnjama, za predstavnike različitih nacionalnih i jezičnih skupina. Ako se test nudi u drugoj jezičnoj grupi ili zemlji, mora se prilagoditi.

Na prilagodbu uključuju ne samo prevođenje zadataka, već i restrukturiranje fraza, pojmova, zamjenu frazeoloških jedinica, poslovica i izreka sličnima njima u određenom jeziku. Značenje pitanja treba prenijeti uzimajući u obzir vjerske stavove grupe.

Također je potrebno uzeti u obzir neke od učinaka uočenih prilikom punjenja ljudima ispitne predmete... Takozvani učinak društvene poželjnosti se pokreće kada se osoba u svojim odgovorima želi predstaviti u najbolje svjetlo... Mnogi testovi su naoružani do zuba." vaga laži“, pitanja-zamke itd. Ali to ne pomaže uvijek – osoba pronalazi ista pitanja, svoje odgovore čuva u sjećanju.

Postoji još jedan trik - zamjena ispitne mete u uputama ako se taj cilj uopće otkrije subjektu. Tada se osoba, odgovarajući na pitanja, dobro pokazuje s jedne strane (lažni cilj) i daje više ili manje pouzdane informacije o drugoj strani (pravi cilj), što se zapravo mjeri ovim testom.

Također postoje zahtjevi za formuliranje pitanja, za redoslijed njihovog postavljanja u test. Opet ovise o ciljnoj skupini kojoj je test namijenjen.

Ispravno osmišljen test se još ne može nazvati razvijenim. Za to se mora standardizirati.

Standardizacija

Standardizacija testa omogućuje usporedbu podataka dobivenih s njim iz razliciti ljudi... Za to je potrebno da svi ti ljudi budu u jednakim uvjetima. U psihološkim terminima, to se naziva "kontrola svih ovisnih varijabli". U idealnom slučaju, jedina nezavisna varijabla na testu bila bi osobnost ispitanika. Kako bi se osigurali jednaki uvjeti, dizajner testa će dati posebne smjernice o tome kako provesti test. Oni uključuju:

Specifičnost poticajnog materijala
Vremenska ograničenja
Upute ispitanicima
Primjeri zadataka
Prihvatljivi odgovori na pitanja (ako su potrebna ikakva ograničenja)

Uz ove naznake, posebno utvrđene stope odgovora (u "sirovim točkama") i njihovo tumačenje uključeni su u dodatak testu.

Uz standardizaciju, test bi trebao biti validiran za njegovu učinkovitost prema kriterijima pouzdanosti i valjanosti. Vrlo često se ovi pojmovi čine zamjenjivim, pa razmotrimo koje značenje svaki od njih ima.

Pouzdanost

Pouzdanost se podrazumijeva kao konzistentnost rezultata dobivenih svakim ponovljenim izvođenjem testa od strane istog ispitanika, s rezultatima njegovog prvog testa. Ne postoji apsolutna pouzdanost testa, greške su dopuštene, ali što su veće, to je niža učinkovitost ispitivanja. Pouzdanost se može provjeriti sljedećim metodama:

test-retest pouzdanost podrazumijeva višestruko izvođenje istog testa i korelacijsko usporedbu rezultata.
zajednička pouzdanost određuje se dijeljenjem testa na dva dijela i usporedbom rezultata izvođenja dvaju dijelova zasebno.
ekvivalentna pouzdanost otkriva se predstavljanjem ispitnog subjekta i njegove alternativne verzije. Dobiveni rezultati se također međusobno uspoređuju.

Valjanost

Psihološki rječnici otkrivaju koncept valjanosti kao stupnja usklađenosti testa s njegovom svrhom da izmjeri ono za što je stvoren; stvarna sposobnost testa da izmjeri psihološku karakteristiku za čiju se dijagnozu tvrdi. Kvantitativno, valjanost testa može se izraziti kroz korelaciju rezultata dobivenih uz njegovu pomoć s drugim pokazateljima, na primjer, s uspjehom odgovarajuće aktivnosti.

Osim toga, valjanost testa može se utvrditi uspoređivanjem njegovih rezultata s onima dobivenim sličnim metodama. Na primjer, razvijeni test verbalne inteligencije može se provesti zajedno s dobro poznatim Amthauerovim testom, a zatim usporediti njihove rezultate. Visoka korelacija rezultata značit će visoku valjanost, što znači da novi test doista mjeri verbalnu inteligenciju, a ne govornu sposobnost, pamćenje, pažnju itd.

Gore je rečeno o pogreškama u fazi korištenja testa. Kršenje uvjeta za njegovu provedbu, preporučenih u prilozima, može dovesti do smanjenja valjanosti. Recimo da radimo test pamćenja riječi i, vidjevši da je ispitanik dovoljno sposoban, povećavamo brzinu čitanja popisa riječi. U ovom slučaju, povećanje brzine bit će dodatna nezavisna varijabla, drugim riječima, prepreka. Kao rezultat toga, umjesto brzine pamćenja, mjerit ćemo otpornost pojedinca na stres.

Procjena valjanosti testa uključuje sljedeće korake:

utvrđivanje prividne valjanosti(važnost lica). Ta se valjanost može vidjeti, kako kažu, "golim okom" - ocjenjuje se cjelokupna usklađenost testa s njegovom svrhom.
definicija konceptualne valjanosti(konstrukcijska valjanost). Stupanj do kojeg je test kojim se mjeri neko svojstvo u skladu s općeprihvaćenim teorijskim konceptima tog svojstva. Ovu valjanost u pravilu procjenjuju stručnjaci.
utvrđivanje empirijske valjanosti(empirijska valjanost). Odabire se kriterij (nezavisna varijabla) s kojim se povezuju rezultati ispitivanja. Primjerice, kriterij za provjeru školske spreme može biti ukupni uspjeh učenika prvog razreda.
utvrđivanje valjanosti sadržaja(važnost sadržaja). Razvijeni test trebao bi sadržavati pitanja za procjenu maksimalno mogućeg broja parametara svojstva koje ovaj test mjeri (gore je spomenuto prvo pravilo za sastavljanje testa - maksimalni broj parametara svojstva kroz minimalni broj zadataka). Ta se valjanost također ocjenjuje stručnom prosudbom.

Usput, takav ispit ne prolaze samo novi testovi. Trenutno su mnogi istraživači zauzeti analizom učinkovitosti već poznatih testova. Nedavne kontroverze na stranicama psihološkog časopisa "Psychological Science in the Public Interest" dovele su u pitanje učinkovitost takvih "majstora" psihodijagnostičkih alata kao što su Rorschachov test mrlja od tinte, TAT (test tematske apercepcije) i projektivni test crteža ljudski lik. Pokazalo se da ove psihodijagnostičke tehnike imaju nisku empirijsku valjanost, nisku pouzdanost test-retest i pogrešno sastavljene normativne pokazatelje.

Navedene metode za procjenu učinkovitosti testa pomažu psihologu ne samo da sam osmisli instrumente za mjerenje određenih osobina ličnosti, već i da odabere najkvalitetnije i najpouzdanije testove od već razvijenih testova.

Psihološki kompleks Effecton Studio

Glavni prioritet u stvaranju kompleksa Effecton Studio bio je uključivanje samo znanstveno utemeljenih i informativnih metoda. Osim toga, pružamo informacijsku podršku za psihološke tehnike našim korisnicima, kao i posjetiteljima web stranice i čitateljima newslettera. Posebnu pozornost pridajemo učinkovitosti i ergonomiji rada - nakon položenih psiholoških testova Effecton Studija, korisniku se pružaju ne samo sirovi rezultati, već i njihova interpretacija, a osiguravaju se i zgodne metode grupnog testiranja i statističke analize.

Razvijene su i mnoge druge značajke s kojima preporučamo da se upoznate preuzimanjem demo verzije s naše web stranice i naručivanjem kompleksa za korištenje u vašoj organizaciji. O kompleksu možete obavijestiti i druge zainteresirane korisnike, u kojem slučaju dobivate 25% vrijednosti transakcije.

Olga Danilova.

Ekskluzivni materijal stranice "www.. Posuđivanje teksta i/ili srodnih materijala moguće je samo uz direktnu i jasno vidljivu poveznicu na izvornik. Sva prava pridržana.

Demo verzija kompleksa

V. V. Odintsova

Koristeći brojne psihodijagnostičke tehnike, rijetko razmišljamo o kvaliteti ovih radnih alata. I uzalud. Uostalom, svaki psiholog koji prakticira zna da nijedan psihološki pregled nije moguć bez dobrih dijagnostičkih alata.

Istodobno, popularne zbirke psiholoških testova, široko objavljene u posljednje vrijeme, nažalost, ne mogu zadovoljiti zahtjeve pravog profesionalca, koji mora biti siguran u dijagnostičke sposobnosti alata koji koristi u svom radu. Zato, problem pronalaženja dobro razvijene i pouzdane dijagnostičke tehnike ostaje relevantan.

Glavna zadaća Human Technologies HR Laboratorija je razvoj kvalitetnih proizvoda. Jedan od uvjeta za stvaranje takvih proizvoda su periodične provjere testnih metoda na njihovu usklađenost s nizom psihometrijskih zahtjeva (valjanost, pouzdanost, reprezentativnost, pouzdanost). Da biste to učinili, nakon što je postavljen dovoljan broj protokola, Statistička analiza metode ispitivanja.

Razmislite o psihometrijskoj analizi (čiji je ukupni uzorak bio 660 ljudi).

Ovaj test, razvijen 90-ih godina, namijenjen je ekspresnoj dijagnostici stupnja ozbiljnosti pet takozvanih „velikih“ čimbenika temperamenta i karaktera i koristi se za proučavanje osobnosti odraslih osoba u svrhu profesionalne selekcije, stručnog savjetovanja, određivanje smjera psihološke pomoći, regrutiranje grupa, samospoznaja itd.

Osnova univerzalnosti "Velikih pet čimbenika" je njihova međusituacionalnost: čimbenici globalne procjene funkcionalno-aktivnosti osobe primjenjivi su na gotovo svaku situaciju društvenog ponašanja i aktivnosti povezane s objektom, u kojoj trajne razlike između ljudi se nalaze.

Upitnik sadrži 75 stavki s po tri opcije odgovora.

VAGA testovi predstavljaju točnu reprodukciju čimbenika Big Five u njihovoj međunarodnoj verziji (s izuzetkom petog faktora, koji je u brojnim zapadnim verzijama B5 označen kao "otvorenost novom iskustvu - ograničena praktičnost"):

ekstraverzija – introverzija
pristanak – samostalnost
organizacija – impulzivnost
emocionalna stabilnost – anksioznost
naučljivost – inercija

1. Provjera valjanosti

Provjerom postojećih ljestvica na tradicionalan način – izračunavanjem korelacija između odgovora na pitanja i ukupnog rezultata na ljestvici – ustanovili smo da su gotovo sve stavke u značajnoj korelaciji sa „svojim“ ljestvicama s prosječnim koeficijentom korelacije od 0,35.

Prilikom provjere smisleno valjanost testa, analiziran je tekst testnih zadataka, smisleno odražavajući odgovarajuće predmetno područje(područje ponašanja) i ima značajnu (pozitivnu ili negativnu) korelaciju s ukupnim rezultatom:

Mjerilo	Uzorci ispitnih predmeta	Koeficijent korelacije
EKSTRAVERZIJA	Važno mi je iznijeti svoje mišljenje drugima	(0,31)
	Volim sudjelovati na svim vrstama natjecanja, natjecanja itd.	(0,41)
	Uživam posjećivati i upoznavati nove ljude.	(0,5)
SPORAZUM	Većini ljudi se ne može vjerovati	(-0,23)
	Moji interesi su mi iznad svega	(-0,22)
	"Tko pomaže ljudima, gubi vrijeme, dobra djela ne možeš postati slavan"	(-0,3)
	“Svatko – za sebe” – to je princip koji vas neće iznevjeriti	(-0,4)
SAMO KONTROLA	Kad legnem u krevet, već sigurno znam što ću raditi sutra.	(0,37)
	Uzimajući knjigu, uvijek je stavim na svoje mjesto	(0,35)
	Prije odgovornih stvari uvijek napravim plan za njihovu provedbu.	(0,37)
STABILNOST	Lako se zacrvenim	(-0,28)
	Ako uhvatim (a) pojavu nepoželjne situacije na poslu, to mi uvijek izaziva bolnu sumnju dok se situacija ne razjasni	(-0,3)
	Na kraju dana obično se toliko umorim da svaka sitnica počne poludjeti.	(-0,32)
	Lako mi je pokvariti raspoloženje	(-0,42)

Analiza gornjih formulacija ukazuje na prilično visoku materijalnu valjanost testa.

2. Provjera pouzdanosti

Pouzdanost testa kao mjernog sredstva određena je malom vjerojatnošću pogrešaka u mjerenju rezultata testa i mjerom u kojoj se rezultati mjerenja reproduciraju kada se test više puta koristi u odnosu na zadanu skupinu ispitanika. Kako bi se procijenio doprinos različitih izvora pogrešci mjerenja, potrebno je koristiti različite metode procjene pouzdanosti. Posebno je zanimljiva procjena interne konzistentnosti testa, kojom se utvrđuje dio pogreške koji je povezan s odabirom zadataka.

Interna konzistentnost testa procijenjena je izračunom Cronbach alfa koeficijenta. Ovaj koeficijent je procjena pouzdanosti koja se temelji na homogenosti ljestvice ili zbroju korelacija između odgovora ispitanika na pitanja unutar istog obrasca testa.

U našem slučaju, Cronbachov alfa koeficijent pouzdanosti izračunat za svaku skalu pokazao je, u cjelini, sasvim pristojnu razinu interne konzistentnosti, tradicionalnu za osobne ekspresne upitnike, u kojima podskale sadrže ograničen broj stavki (manje od 20):

Podsjetimo da strogi psihometrijski zahtjevi za učinkovit test osobnosti odgovaraju vrijednosti alfa koeficijenata iznad 0,8.

U našem slučaju, relativno niska razina vrijednosti Cronbachovih koeficijenata pouzdanosti može se objasniti smislenim volumenom ovih ljestvica: svaka ljestvica ima 15 različitih pitanja, što nam omogućuje da proširimo opseg proučavanih čimbenika, žrtvujući istovremeno vrijeme visoka razina unutarnje dosljednosti.

To je posebno akutno utjecalo na skale faktora "CONSENT" i "TRAINING" prema kojima se alfa koeficijent pokazao ispod 0,6.

3. Provjera reprezentativnosti

U prijelazu s uzorka standardizacije (Sl. 1 - 300 osoba) na uzorak populacije (Sl. 2 - 660 osoba) pojavljuje se stabilnost konfiguracije distribucije testnih točaka, što ukazuje na reprezentativnost metoda ispitivanja:

Sl. 1. Uzorak standardizacije (300 ljudi)

sl. 2. Uzorak stanovništva (660 ljudi)

Osim vizualne sličnosti ovih distribucija, Pearsonov hi-kvadrat test koji smo koristili pokazao je sljedeći stupanj sličnosti distribucija:

Ove vrijednosti hi-kvadrata spadaju u interval nesigurnosti: kada je nemoguće jednoznačno prihvatiti ili nedvosmisleno odbaciti hipotezu o konzistentnosti distribucija.

Ovaj rezultat može biti posljedica glavnog svojstva ekspresnog testa, odnosno malog broja pitanja koja rade na svakoj skali. S obzirom na ovu činjenicu, rezultati testa reprezentativnosti mogu se smatrati zadovoljavajućim.

4. Provjera vjerodostojnosti

Budući da su ispitanici koji su testirani na stranici bili u situaciji klijenta (zainteresirani za pouzdane rezultate), rezultati dobiveni s velikom vjerojatnošću mogu se smatrati pouzdanim.

Međutim, u situaciji stručnosti (kada je treća strana zainteresirana za rezultate testa), podaci mogu biti iskrivljeni intervencijom svjesnih krivotvorina (laži, neiskrenost ispitanika) ili nesvjesnih motivacijskih čimbenika. Kako bi se to izbjeglo, verziji dizajniranoj za takve slučajeve (B5splus) dodana je ljestvica laži (trenutačno se ova verzija testira na našoj web stranici).

Dobiveni rezultati dokaz su visoke kvalitete i učinkovitosti metodologije, što je važno, jer je profesionalna razina stručnjaka često određena alatom koji koristi.

Međutim, treba imati na umu da čak i moćan moderni instrument ne jamči potpuno odsustvo grešaka. Kako biste ih izbjegli, nije dovoljno imati računalo i testni program za njega. Za nadzor testa također je potreban iskusan psiholog. Dakle, prisutnost testova koji su prošli ozbiljnu psihometrijsku prilagodbu uopće ne negira profesionalnost i iskustvo psihologa, koji je pozvan provjeravati vjerodostojnost rezultata testa koristeći paralelne izvore informacija (uključujući vlastito opažanje, razgovor itd.). ).

Relevantno je već dugi niz godina, ovom je pitanju posvećeno mnogo studija. U ovom članku ćemo razmotriti proces implementacije KPI-ja i metodologiju za procjenu kvalitete našeg rada na primjeru stvarnog projekta.

Što su KPI?

Dakle, prvo se okrenimo samom konceptu KPI-ja. KPI (Key Performance Indicator) je pokazatelj uspješnosti u određenoj aktivnosti ili u postizanju određenih ciljeva. Možemo reći da je KPI kvantitativno mjerljiv pokazatelj stvarno postignutih rezultata.

U našem slučaju, KPI na projektu pokazatelj je učinkovitosti cijelog tima za testiranje. Osim pojma KPI, u članku će se koristiti i pojam "metrika", pod kojim podrazumijevamo brojčanu vrijednost za mjerenje ove učinkovitosti.

Zašto su nam potrebni KPI?

Sada razgovarajmo o tome zašto su nam bili potrebni KPI-jevi na projektu i zašto smo ih odlučili implementirati. Ovdje je sve jednostavno: htjeli smo u svakom trenutku vidjeti stanje projekta i poduzeti preventivne mjere kako bismo izbjegli probleme. Zahvaljujući KPI menadžer smjernice testiranja na projektu ne samo da vidi jake i slabe strane projekt i cijeli njegov tim, ali može u dinamici pratiti i posljedice vlastitih upravljačkih odluka (što je ispravno napravljeno, koje su od donesenih odluka bile uspješne ili neuspješne), te ih u budućnosti - ispravljati.

Osim toga, KPI-i mogu uključivati ne samo općeprihvaćene kvantitativne pokazatelje, već i kvalitativne (na primjer, "razinu zadovoljstva kupaca"). Ali razgovarajmo o svemu po redu!

Odakle dobiti KPI?

Svaki projekt je jedinstven na mnogo načina. Nemojte pretpostavljati da će se metrika iz jednog projekta dobro "ukorijeniti" na drugom; treba ih razviti uzimajući u obzir specifičnosti projekta i očekivanja/brige vašeg kupca. Ali pretvaranje očekivanja u metriku zahtijeva vrijeme i strpljenje.

Kako je bilo kod nas

Sada ću, kao što sam obećao, govoriti o našim akcijama na projektu.

Dakle, moj tim je testirao klijentov interni softver, koji se sastoji od nekoliko velikih funkcionalnih blokova, kao i integraciju softvera s back-office sustavima za pohranu.
Odmah ću pojasniti da u članku pod kupcem podrazumijevam svaku osobu koja je zainteresirana za testiranje proizvoda i koja nastoji osigurati da proizvod zadovolji potrebe krajnjih korisnika i ide u komercijalni rad.

Kupac nam je došao s nekim specifičnim očekivanjima od testiranja, sa svojim ciljem. U ovoj fazi, moj zadatak kao voditelja odjela za testiranje na projektu bio je identificirati upravo te ciljeve i očekivanja. Postoji mnogo opcija za takvu analizu - ankete, ispunjavanje kratkih sažetaka, usmena komunikacija. Najvažnije je saznati što kupac želi, što ga brine i što ga “boli”.

Navedimo primjere formulacija naručitelja: "Entiteti ne" stižu "iz jednog programskog modula u drugi, ali su tamo potrebni, puno se za njih veže"; “Ne možemo prenijeti informacije iz starog programa u novu verziju”; "U potpunosti planiramo prijeći iz jednog sustava u drugi, tako da ćemo prilagoditi transfer."

Nakon što smo formirali očekivanja (ili strahove) naših kupaca, moramo ih transformirati u cilj. Lako je pretpostaviti da je svrha našeg testiranja bila provođenje integrirana procjena kvaliteta proizvoda kroz integraciju i funkcionalno testiranje softver kupac.

Sada smo morali provesti proces dekompozicije, odnosno razbijanje globalnog cilja na male rješive zadatke za projektni tim. Inače, u tome mi je pomogao i sam tim! Pogledajmo kako se to dogodilo, ali prvo razjasnimo pojam "razgradnje", stavljajući sve na police.

Raspad

Što je razgradnja? Razgradnja je znanstvena metoda, koji koristi strukturu problema i omogućuje zamjenu rješenja jednog velikog problema rješenjem niza manjih podzadataka, doduše međusobno povezanih, ali jednostavnijih. Princip dekompozicije je da se aplikacija koja se testira (njezin zasebni modul ili funkcija) može smatrati kao sastavljena od relativno neovisnih podsustava, od kojih je svaki mnogo lakši i razumljiviji za testiranje nego cijeli sustav odjednom.

Ako kupac želi primiti integracijsko testiranje, onda moramo dekomponirati integracijsko funkcionalno testiranje proizvoda. Da biste to učinili, potrebno je razumjeti od kojih dijelova se sastoje sustavi korisnika, koliko sustava općenito sudjeluje u razmjeni podataka, koje radnje i nad kojim objektima korisnici sustava mogu izvoditi itd.

U teoriji, sve je prilično jednostavno i jasno: od velikog problema morate dobiti niz malih. Čini se da nije ništa komplicirano, ali u praksi se često susrećemo s činjenicom da jednostavno ne razumijemo kriterije za dekompoziciju problema, pa stoga sve radimo nasumce. Posljedice takvog nesporazuma su neravnomjerno opterećenje ispitivača projekta, netočne procjene troškova rada, pogrešno razumijevanje zadataka i drugačija predodžba o rezultatima. Za bolje razumijevanje ove teme, okrenimo se SMART principu.

SMART princip

Općenito, SMART je mnemonička kratica koju koriste menadžeri na različitim razinama kako bi zapamtili principe postavljanja ciljeva. Svako slovo kratice ima svoje tumačenje:

S specifičan - specifičan. Kada postavljamo zadatak, moramo jasno razumjeti kakav rezultat želimo postići. Rezultat bi trebao biti nedvosmislen i razumljiv svim sudionicima procesa - zaposlenicima tima testiranja, kupcima, menadžerima različitih razina.
M easurable - mjerljiv. Potrebni su nam zadaci koji se mogu izmjeriti. Drugim riječima, mjerljivost pretpostavlja postojanje kriterija – pokazatelja, pokazatelja uspješnosti.
Ostvarivo je dostižno. U ovom slučaju, preimenovao bih definiciju “ostvarljivo” u “dostupno” (dostupno za primjenu od strane zaposlenika s određenom razinom obuke i kvalifikacija). Kompetentan voditelj nikad početniku neće dati iznimno težak zadatak, jer razumije da se početnik jednostavno ne može nositi s njim, a vrijeme utrošeno na rješavanje ne može se vratiti. Uzimajući u obzir osobne karakteristike i kvalitete djelatnika tima za testiranje na projektu, omogućit će vrlo jasno (i što je najvažnije - ravnomjerno i izvedivo) raspodjelu opterećenja, davanje početnicima jednostavnih zadataka, a "zvijezde" i profesionalce - složene zadatke logike u skladu sa svojim snagama i vještinama.
R relevantan - relevantan, smislen. Je li nam dovršetak zadatka doista toliko važan? Je li ovaj zadatak sada neophodan? Što ćemo dobiti ako riješimo ovaj problem? A ako ne odlučimo?
Vezano za vrijeme - vremenski ograničeno. Svaki zadatak mora imati svoj rok u kojem se mora riješiti. Postavljanje vremenskih okvira i granica za dovršetak zadatka omogućuje vam da proces učinite kontroliranim i transparentnim. Voditelj u svakom trenutku može vidjeti napredak zadatka.

Dakle, sada čitatelj ima razumijevanje koji se kriteriji mogu koristiti za razlaganje velikog problema. Možemo dalje.

Nakon što se veliki zadatak podijeli na niz malih, potrebno je analizirati svaki podzadatak. Istaknimo ih. Dakle, u našem projektu se pojavio sljedeći niz radnji:

Testovima pokrivamo sve glavne funkcionalnosti uključene u integraciju;
razvijamo testne entitete i podatke;
testiramo zadatke za poboljšanje funkcionalnosti;
počinjemo s nedostacima pronađenim tijekom testiranja;
provjeravanje izdanja i vrućih popravaka;
Osiguravamo da je na svakoj novoj verziji proizvoda moguće prenijeti dva prioritetna proizvoda iz jednog sustava u drugi.

Osim ovih glavnih podzadataka, identificirao sam još nekoliko dodatnih:

ne želimo gubiti vrijeme objašnjavajući programerima "što je tu greška i kako se može reproducirati", te ćemo stoga stvoriti kompetentne i razumljive nedostatke;
naš rad na testiranju trebao bi biti što transparentniji, tako da ćemo kupcu dati međustatus prema stanju verzije;
želimo da kupac uživa u radu s nama, a sljedeći put se opet obratio nama.

Sada idemo zajedno proći kroz svaki podzadatak i pogledati mjerljive metrike.

Mjerni podaci koji čine KPI-je

Funkcionalna pokrivenost s testovima. Kako to možemo izmjeriti? Odlučili smo se o metrici "% pokrivenosti xx broja modula proizvoda testovima" (za više informacija o tome kako to izračunati, pogledajte članak Natalije Rukol).

Klikom na sliku otvorit će se puna verzija.

Razvoj testnih slučajeva i testnih entiteta. Ovdje smo odlučili raditi s metrikom "broj modula / funkcionalnih blokova proizvoda za koje je razvijeno 100% entiteta".

Testiranje izmjena kupaca. U ovom slučaju, jednostavno smo izbrojali broj testiranih revizija po verziji i prosječno vrijeme koje je timu bilo potrebno za pregled. Te smo pokazatelje prikupili kako bismo procijenili čemu je namijenjena verzija (popravak bugova ili uvođenje nove funkcionalnosti korisnika), a samim tim i ispunjavamo li rokove za implementaciju pojedinih značajki.

"Utvrđivanje nedostataka". Odlučili smo koristiti nekoliko metrika koje bi nam dale informacije o stanju verzije: "broj nedostataka koje je uveo tim", "broj nedostataka prioriteta Blockera po verziji".

"Testna izdanja i vrući popravci" riješili smo metrikom "% testiranih zadataka uključenih u izdanje i/ili hitni popravak" (omjer testiranih zadataka prema ukupnom broju zadataka u verziji), "% provjerenih slučajeva u verzijama" i "% uspjeha u prolaznim slučajevima o verzijama".
Zadnju metriku izračunavamo po formuli:

gdje je P1 - prijeđeni koraci na prvom bloku,
P2 - prijeđeni koraci na drugom bloku,
Pn - prijeđeni koraci na n-tom bloku,
A1 - broj koraka u prvom bloku,
A2 - broj koraka u drugom bloku,
An je broj koraka n-tog bloka,
N je ukupan broj svih blokova proizvoda.

Kako bismo izmjerili problem koji se odnosi na zdravlje prioritetnih proizvoda, posebno smo razvili matricu (u njoj je navedeno radi li ova ili ona vrijednost za proizvod ili ne), a zatim izračunali "% vrijednosti koje rade za proizvod 1 i proizvod 2 na verziji." Računamo po formuli:

gdje je Pp1 broj radnih vrijednosti za proizvod jedan,
Ap1 - sve vrijednosti za proizvod su iste.

Klikom na sliku otvorit će se puna verzija.

Nakon što smo se pozabavili glavnim zadacima, prešli smo na dodatne.

Podsjetim da nismo htjeli trošiti dragocjeno vrijeme na objašnjavanje bugova i komentiranje prijava, ali nam je u isto vrijeme bilo važno da kupac bude zadovoljan našim radom. Stoga smo za prvi podzadatak odlučili upotrijebiti kvantitativne pokazatelje "% odbijenih nedostataka na verziji s razlučivosti Ne mogu reproducirati", a za drugi - "broj zahtjeva korisnika za komentiranje međuizvješća" i kvalitativni pokazatelj "zadovoljstvo kupaca našim radom".
Za procjenu "zadovoljstva kupaca" uveli smo tri razine - "sve je izvrsno", "ima malih komentara/pitanja o radu" i "sve je loše, kupac je nezadovoljan". Ovaj pokazatelj, inače, općenito uvelike pomaže u brzom donošenju odluka unutar projektnog tima. Ako je kupac zbog nečega nezadovoljan ili uzrujan, vodimo raspravu: nastojimo svesti rizike na najmanju moguću mjeru, razumjeti razloge nezadovoljstva, osmisliti rješenje što je prije moguće i prezentirati ga kupcu.

Klikom na sliku otvorit će se puna verzija.

Što nam KPI na kraju daju

Priprema KPI-ja za projekt je skup postupak, ali zanimljiv i koristan, a evo i zašto.
Prikupljanjem gore navedenih metrika mogu dobiti odgovore na pitanja: što je točno moj tim napravio dobro, po kojim pokazateljima smo rasli, jesu li moji upravljačke odluke... U svakom trenutku mogu odgovoriti kupcu na sljedeća pitanja:

kakvo je stanje verzije;
koji su moduli proizvoda najkritičniji i najgluplji;
na koje module treba obratiti posebnu pozornost;
koje metrike rade za prioritetne proizvode;
da li je moguće dati proizvod za industrijsku uporabu.

Nakon implementacije metrike na mom projektu, postalo je lakše pripremati privremeno izvješće za kupca, cijeli projektni tim (a dečki imaju pristup KPI-ju projekta) uložio je sve napore kako bismo unaprijedili naš softver
pokazatelji, svi su postali pažljiviji i fokusiraniji!

Umjesto zaključka

U "Laboratoriju kvalitete" otišli smo malo dalje i ipak odlučili prikupiti bazu metrika koja je primjenjiva na naše projekte. Ne, ne kažem da možete uzeti gotov materijal i raditi s njim, ali svaki menadžer koji je suočen s temom implementacije KPI-ja na svom projektu može se pozvati na ovu bazu podataka, vidjeti metriku iz koje se prikupljaju KPI-ovi na druge projekte i prilagodite ove metrike svojim potrebama. Pripremili smo i interne propise (svojevrsne upute za implementaciju KPI-ja na projektima), uz pomoć kojih ovaj proces teče glatko i bezbolno.

Nemojte se bojati odvojiti vrijeme za pripremu i Implementacija KPI-ja na projektu: ovi troškovi će se u potpunosti isplatiti! Vaš kupac će biti zadovoljan obavljenim radom i izvrsnom kvalitetom proizvoda. Uvijek će vam se obraćati za pomoć!

V posljednjih godina automatizirano testiranje postalo je trend u razvoju softvera, u određenom smislu, njegova implementacija je postala "počast modi". Međutim, implementacija i održavanje automatiziranih testova je vrlo zahtjevan postupak i stoga nije jeftin. Široka uporaba ovog alata najčešće dovodi do značajnih financijskih gubitaka bez ikakvog smislenog rezultata.

Kako možete koristiti prilično jednostavan alat za procjenu moguće učinkovitosti korištenja autotestova na projektu?

Što se definira kao "učinkovitost" automatizacije testiranja?

Najčešći način procjene učinkovitosti (prvenstveno ekonomske) je izračun povrata ulaganja(ROI). Izračunava se vrlo jednostavno, kao omjer dobiti i troškova. Čim vrijednost ROI-a prijeđe jedan, rješenje vraća uložena sredstva i počinje donositi nova.

U slučaju automatizacije, profit znači ušteda na ručnom testiranju... Osim toga, profit u ovom slučaju možda neće biti očit - na primjer, rezultati pronalaska nedostataka u ad-hoc procesu testiranja od strane inženjera, čije je vrijeme oslobođeno zbog automatizacije. Takav profit je prilično teško izračunati, pa možete ili napraviti pretpostavku (na primjer + 10%) ili je izostaviti.

Međutim, uštede nisu uvijek cilj implementacije automatizacije. Jedan primjer je brzina izvođenja testa(kako po brzini izvođenja jednog testa, tako i po učestalosti testiranja). Iz brojnih razloga, brzina testiranja može biti kritična za tvrtku - ako se ulaganje u automatizaciju isplati rezultirajući profit.

Još jedan primjer - iznimka " ljudski faktor» iz procesa testiranja sustava. To je važno kada je točnost i ispravnost operacija kritična za poslovanje. Cijena takve pogreške može biti znatno veća od cijene razvoja i održavanja autotest.

Zašto mjeriti performanse?

Mjerenje učinkovitosti pomaže odgovoriti na pitanja: "Vrijedi li implementirati automatizaciju na projektu?", "Kada će nam implementacija donijeti smislen rezultat?" "Koliko sati ručnog testiranja ćemo zamijeniti?" ?" i tako dalje.

Ovi izračuni mogu pomoći u formuliranju ciljeva (ili mjernih podataka) za tim za automatizaciju testiranja. Na primjer, ušteda X sati mjesečno ručnog testiranja, smanjenje troškova tima za testiranje za Y konvencionalnih jedinica.