Jakiś czas temu zostaliśmy poproszeni o przebadanie aplikacji NaviExpert. Badanie miało charakter eksploracyjny. Jego celem było sprawdzenie, jak użytkownicy oceniają aplikację oraz w jaki sposób korzystają z jej najważniejszych funkcji. Dlaczego w tym celu opuściliśmy laboratorium i wynajęliśmy samochód?
Badania użyteczności aplikacji mogliśmy przeprowadzić w naszym laboratorium. Udałoby się porozmawiać o doświadczeniach, zarejestrować błędy, wypunktować niezrozumiałe i problematyczne elementy. Teoretycznie można by było przeprowadzić badania użyteczności tak, aby w aplikacji pojawiały się komunikaty, instrukcje dźwiękowe i podpowiedzi tras. Efektem byłby szczegółowy raport badawczy z rekomendacjami i komentarzami badanych.
Czasem lepiej wyjść z laboratorium
Takie podejście nie byłoby jednak kompletne. Przecież nawigacji w telefonie rzadko używamy w domu, siedząc na kanapie, chyba że do sprawdzenia odległości pomiędzy dwoma adresami czy miastami.
Jak lepiej sprawdzić reakcje użytkownika na sposób nawigacji, dźwięk, komendy, mapę, zmieniający się tryb dzień/noc, jeśli nie podczas rzeczywistej jazdy? Zamiast pokazywać badanym dwa tryby wyświetlania ekranu, po prostu umówiliśmy badania użyteczności w godzinie zachodu słońca. Dzięki temu mogliśmy obserwować reakcję badanego, któremu podczas jazdy ekran zmieniał się z jaśniejszego na ciemniejszy.
Badania umawialiśmy tak, aby można było przetestować różne funkcje aplikacji w różnych warunkach drogowych, oświetleniowych oraz przy różnym natężeniu ruchu. Testy odbywały się od godziny 6:00 do 21:00. Każdy respondent miał pokonać tę samą trasę, która była dobrana tak, aby w razie korków aplikacja podpowiadała co najmniej dwie inne możliwości dojazdu. Sprawdziliśmy dzięki temu dodatkowe funkcjonalności.
Zalety swobodnej eksploracji
Respondenci mieli też możliwość swobodnego eksplorowania aplikacji NaviExpert. W trakcie badania podążaliśmy za badanymi, zadając dodatkowe pytania o interesujące nas elementy. Scenariusz zakładał przebadanie konkretnych funkcjonalności, jednak respondenci mieli możliwość samodzielnego przejścia przez narzędzie i zaglądania do interesujących ich zakładek. Umożliwiło nam to sprawdzenie, w które miejsca wchodzą badani, w jaki sposób poruszają się po aplikacji, które elementy ich intrygują, które mogą być niezrozumiałe.
Największą nagrodą podczas badania użyteczności jest moment, kiedy badany zapomina, że właśnie jest w trakcie testu użyteczności, że z tyłu jest kamera, a obok siedzi badacz. To moment, kiedy zaczyna się taniec gestów: badany dyskutuje z aplikacją, wyciąga swój telefon i zaczyna porównywać funkcje. Spontaniczne reakcje respondenta to coś, na co czekamy. To wtedy badany wychodzi z poziomu deklaratywności i pokazuje, jak naprawdę używa urządzenia. Angażuje się.
Badania użyteczności to nie tylko sam wywiad w formie pytanie/odpowiedź
To wnikliwa obserwacja zachowań respondenta, jego emocji, grymasów twarzy, wzruszania ramionami, każdego westchnienia czy pogłaskania telefonu. Przeprowadzenie badań w naturalnym środowisku pozwoliło na zaobserwowanie zachowań, których nie moglibyśmy uchwycić w laboratorium badawczym. Nie zwrócilibyśmy uwagi na sposób, w jaki użytkownik dostosowuje ustawienia, testuje i zmienia dźwięk, ustawia telefon w uchwycie. Nie nastąpiłby moment, w którym badany podczas jazdy prosi o zatrzymanie się, żeby zmienić część ustawień, jak wyłączenie widoku punktów POI czy zmiana lektora. Badania użyteczności w samochodzie umożliwiły rejestrację sytuacji zaskakujących, nie do przewidzenia, które w warunkach laboratoryjnych nie miałyby szans zaistnieć.
Respondenci byli zaangażowani w test aplikacji tym mocniej, że instalowali ją na swoich telefonach i w ramach wynagrodzenia otrzymywali do niej darmowy dostęp. Niektórzy badani mieli tak dużo do powiedzenia, tak mocno angażowali się w dyskusje na temat narzędzia, że z ich własnej inicjatywy rozmowa przeciągała się do dwóch, a nawet dwóch i pół godziny. Było to dwukrotnie dłużej, niż początkowo zakładaliśmy.
Utrudnienia w terenie? Są, ale można je przezwyciężyć
Podczas badania poza laboratorium może wystąpić wiele czynników zewnętrznych, na które nie mamy wpływu, a mogą one zakłócić badanie. Tak było choćby na etapie rekrutacji.
Badani musieli mieć prawo jazdy i nie mogli obawiać się jazdy wypożyczonym samochodem. Każdy respondent był zgłaszany do ubezpieczenia, więc w trakcie rekrutacji wymagane było podanie wrażliwych danych jak PESEL, numer dowodu osobistego, adres zamieszkania. Nie wszyscy się na to zgodzili, rezygnując tym samym z udziału w badaniu.
Niektórzy respondenci potrzebowali kilku chwil, aby przyzwyczaić się do jazdy nowym autem. Rundka po parkingu, próby hamowania i ruszania stały się normalnym, rozgrzewkowym elementem badania. Wystąpił też pewien problem z nagrywaniem testu. Przy każdym przejeździe samochodem z NaviExpert włączaliśmy kamerę i dyktafon. Po początkowych nagraniach przekonaliśmy się, że kamera wytrzymuje na jednej baterii półtorej do dwóch godzin. Ponieważ jednak badania się przeciągały, trzeba było wymieniać baterię podczas wywiadu. W konsekwencji zmieniliśmy sposób nagrywania na bardziej stabilny – kamerę podłączaliśmy do laptopa.
Czynnikami niezależnymi od nas były korki i utrudnienia na drodze. Z jednej strony pozwalały przetestować funkcję ich omijania, z drugiej wydłużały czas badania.
Badanie w warunkach naturalnych przyniosło wyjątkowo bogaty materiał pod względem ilościowym i jakościowym. Pozwoliło na bardzo szczegółowe i dokładne przetestowanie aplikacji. Dobrze poznaliśmy użytkowników, ich zachowania, reakcje i opinie. Najlepszym efektem okazała się możliwość przedstawienia klientowi nagrań ze szczerymi i spontanicznymi reakcjami badanych. Czasem jedno 30-sekundowe nagranie ma większą siłę przekonywania niż 50 stron raportu.
