Misją Instytutu jest dzialalność naukowo-badawcza prowadząca do nowych rozwiązań technicznych i organizacyjnych użytecznych w kształtowaniu warunków pracy zgodnych z zasadami bezpieczeństwa pracy i ergonomii oraz ustalanie podstaw naukowych do właściwego ukierunkowywania polityki społeczno-ekonomicznej państwa w tym zakresie.
Kwestionariusz Oceny Oprogramowania składa się z dwóch części głównych. Pierwsza część "opisowa" dotyczy informacji nt. doświadczenia użytkownika w zakresie obsługi programów komputerowych, długości i częstości wykorzystywania innych programów komputerowych oraz wykorzystywanego peryferyjnego osprzętu komputerowego. Druga część (diagnostyczna) dotyczy właściwej oceny oprogramowania.
Diagnostyczna część Kwestionariusza Oceny Oprogramowania składa się z 3 części dotyczących:
1. właściwości programów
2. uciążliwości pracy z oprogramowaniem
3. zadowolenia z pracy z oprogramowaniem
Ad. 1. Właściwości programów
Pierwsza część kwestionariusza składała się z 17 pytań. Na prawie wszystkie pytania odpowiedzi dokonuje się na skali 5-stopniowej umieszczonej pod każdym pytaniem. Jedynie na pytanie 9 (Czy w programie występuje funkcja pomocy / help?) odpowiada się „tak” lub „nie”.
W zakresie oceny właściwości oprogramowania oceniane są takie zmienne, jak:
Pytania z pierwszej części nie tworzą jednorodnej skali, ale sprawdzają niezależne właściwości oprogramowania, i mają charakter ankietowy. Analiza informacji uzyskana przy zastosowaniu tej części kwestionariusza podlega analizie treściowej lub analizie ilościowej dla każdego pytania oddzielnie. Z tego powodu, dla tej części kwestionariusza nie badano poziomu rzetelności, ani nie przeprowadzano analizy czynnikowej.
Dla dwóch pozostałych zmiennych (uciążliwości i zadowolenia) dokonano pomiaru rzetelności oraz wyróżniono czynniki.
Skala uciążliwości składa się z 13 pytań. Na wszystkie pytania odpowiada się przez zaznaczenie jednej odpowiedzi na skali pięciostopniowej zamieszczonej pod pytaniami. W trakcie analizy czynnikowej wyróżniono trzy wskaźniki uciążliwości pracy z oprogramowaniem:
1. uciążliwość spowodowana utratą kontroli
2. uciążliwość spowodowana niewystarczającym wsparciem ze strony programu
3. uciążliwość spowodowana niewystarczającą jakością i czytelnością informacji
Po wyróżnieniu trzech wskaźników uciążliwości pracy z programem komputerowym, sprawdzono wskaźniki rzetelności poprzez zbadanie spójności wewnętrznej czynników (alfa Cronbacha).
Wartości alfa Cronbacha dla wskaźników uciążliwości prezentuje Tabela 1.
Tabela 1. Wartości alfa Cronbacha dla wskaźników uciążliwości
Wskaźniki |
N |
wartości alfa Cronbacha |
uciążliwość spowodowana utratą kontroli |
38 |
0,80 |
uciążliwość spowodowana jakością i czytelnością informacji |
38 |
0,65 |
uciążliwość spowodowana niewystarczającym wsparciem ze strony programu |
42 |
0,68 |
Wskaźniki rzetelności dla poszczególnych podskal przy uwzględnieniu niewielkiej liczebności grupy badanej i małej liczby pozycji w pojedynczych wskaźnikach można uznać za zadawalające.
Ad. 3. Skala zadowolenia
Skala zadowolenia składa się z 8 pytań. Na pytania odpowiada się przez zaznaczenie jednej odpowiedzi na skali pięciostopniowej umieszczonej pod pytaniem. Poprzez analizę czynnikową wyróżniono dwa wskaźniki zadowolenia z pracy z oprogramowaniem:
1. zadowolenie wyrażające się chęcią używania programu lub polecenia go innym
2. zadowolenie z właściwości i jakości programu.
Po wyróżnieniu dwóch wskaźników zadowolenia z pracy z programem komputerowym, sprawdzono wskaźniki rzetelności poprzez zbadanie spójności wewnętrznej czynników (alfa Cronbacha).
Wartości alfa Cronbacha dla wskaźników zadowolenia prezentuje Tabela 2.
Tabela 2. Wartości alfa Cronbacha dla wskaźników zadowolenia
Wskaźniki |
N |
wartości alfa Cronbacha |
zadowolenie z właściwości i jakości programu |
42 |
0,70 |
zadowolenie wyrażające się chęcią zastosowania lub polecenia innym |
42 |
0,74 |
Wskaźniki rzetelności dla obydwu podskal są dość wysokie przy uwzględnieniu, że zawierają one tylko 4 pozycje. Świadczy to o rzetelności tej części kwestionariusza.
Trafność teoretyczną kwestionariusza sprawdzono za pomocą badania wewnętrznej struktury testu. Założono, że pomiędzy poszczególnymi skalami istnieją korelacje:
1. skale uciążliwości – skale zadowolenia = korelacja odwrotna (ujemna)
2. ocena właściwości programów – skale uciążliwości = korelacja odwrotna (ujemna)
3. ocena właściwości programów – skale zadowolenia = korelacja dodatnia
Powyższe założenia sprawdzono za pomocą obliczenia wskaźników korelacji (r Pearsona) pomiędzy poszczególnymi skalami. Wyniki korelacji prezentuje Tabela 3.
Tabela 3. Wyniki korelacji (r Pearsona) pomiędzy poszczególnymi skalami kwestionariusza.
|
SKALE KWESTIONARIUSZA |
r Pearsona |
||||
1 |
2 |
3 |
4 |
5 |
||
1. |
uciążliwość spowodowana utratą kontroli |
|
||||
2. |
uciążliwość spowodowana jakością i czytelnością informacji |
0,19 |
|
|||
3. |
uciążliwość spowodowana niewystarczającym wsparciem ze strony programu |
0,22 |
0,33* |
|
||
4. |
zadowolenie z właściwości i jakości programu |
-0,27 (t) |
-0,64*** |
-0,33* |
|
|
5. |
zadowolenie wyrażające się chęcią zastosowania lub polecenia innym |
-0,21 |
-0,66*** |
-0,33* |
0,56*** |
|
(t) – istotność różnic na poziomie tendencji p< 0,1 * p<0,05 **p<0,01 ***p< 0,001
Jak pokazuje Tabela 3 wszystkie stwierdzone korelacje pomiędzy skalami zadowolenia i uciążliwości mają znak ujemny, co potwierdziło przedstawione wcześniej założenia teoretyczne.
Sprawdzono również wskaźniki korelacji pomiędzy skalami uciążliwości i zadowolenia a wszystkimi właściwościami programu komputerowego.
Założono, że ocena właściwości oprogramowania powinna korelować dodatnio ze skalami zadowolenia (dobre oceny właściwości programów powodują zadowolenie z programu) oraz ujemnie ze skalami uciążliwości (dobre oceny właściwości programów powodują zmniejszenie uciążliwości).
Tabela 4. Wyniki korelacji (r Pearsona) pomiędzy skalami zadowolenia i uciążliwości a pozycjami dotyczącymi właściwości oprogramowania (wpisano tylko korelacje z różnicami istotnymi statystycznie).
POZYCJE DOTYCZĄCE WŁAŚCIWOŚCI OPROGRAMOWANIA |
r Pearsona |
||||
skale zadowolenia |
skale uciążliwości |
||||
1 |
2 |
3 |
4 |
5 |
|
P1. Czy szybko wykonuje się zadania w tym programie? |
|
0,35* |
|
-0,60*** |
|
P2. Czy zdarzają się sytuacje, że nie wiesz co się dzieje z programem? |
0,45** |
0,36* |
-0,47** |
-0,37* |
|
P3. Czy zdarzają się sytuacje, że program wykonał czynność, której nie planowałeś? |
0,49 ** |
0,56*** |
-0,40** |
-0,50** |
|
P4. Czy funkcje programu pozwalają na wykonanie wszystkich planowanych zadań w pracy? |
0,27(t) |
0,38* |
|
-0,31* |
-0,48** |
P5. Czy symbole graficzne są adekwatne do odpowiadających im funkcji ? |
0,37* |
0,60*** |
|
-0,61*** |
|
P6. Czy znaki graficzne są czytelne ? |
0,44** |
0,33* |
|
-0,64***- |
-0,29 (t) |
P7. Czy w programie występują komunikaty, których nie rozumiesz? |
0,32* |
0,31* |
-0,36* |
-0,42** |
-0,44** |
P8. Czy prezentacja informacji jest czytelna ? |
0,40** |
0,37* |
-0,26(t) |
-0,60*** |
|
P9. Czy w programie występuje funkcja pomocy (help)? sk. odp.(0;1) |
|
|
|
|
|
P10. Czy funkcja pomocy pozwala na łatwe znalezienie rozwiązania problemu? |
0,37* |
0,33* |
|
|
-0,61*** |
P11. Czy w trakcie pracy z programem często występują komunikaty o błędach? |
0,41** |
0,27(t) |
|
|
|
P12. Czy komunikaty o błędach są zrozumiałe? |
|
|
|
|
-0,65*** |
P13. Czy elementy interfejsu na monitorze można zaprojektować (umiejscowić) wg własnych preferencji? |
|
|
|
-0,52** |
-0,33* |
P14. Czy często odkrywa Pan(i) możliwości programu, których nie znał(a) Pan(i) wcześniej? (pytanie odrzucone po badaniach rzetelności kwestionariusza) |
|
|
0,28(t) |
|
|
P15. Czy łatwo wykonuje się zadania w tym programie? |
0,50** |
0,61*** |
|
-0,50** |
|
P16. Czy łatwo nauczyć się obsługi programu? |
0,44** |
0,30(t) |
|
-0,33* |
|
P17. Czy łatwo porozumiewać się z programem? |
0,41** |
0,40** |
|
-0,45** |
|
P18. Czy występowały problemy przy instalacji tego programu? |
|
|
|
|
|
(t) – istotność różnic na poziomie tendencji p< 0,1 * p<0,05 **p<0,01 ***p< 0,001
1. zadowolenie z właściwości i jakości programu
2. zadowolenie wyrażające się chęcią zastosowania lub polecenia innym
3. uciążliwość spowodowana utratą kontroli
4. uciążliwość spowodowana jakością i czytelnością informacji
5. uciążliwość spowodowana niewystarczającym wsparciem ze strony programu
Wyniki zaprezentowane w Tabeli 4 potwierdzają wstępne założenia teoretyczne. Wszystkie stwierdzone korelacje pomiędzy właściwościami oprogramowania a skalami zadowolenia mają znak dodatni. Natomiast wszystkie korelacje ze skalami uciążliwości mają znak ujemny, poza korelacją z pytaniem 14, które zostało usunięte w poprawionej wersji kwestionariusza.