Artykuł nr S21, Kategoria: Metodologia, techniki, narzędzia.
Ankieta może wyglądać bez zarzutu, a mimo to sprawiać kłopot osobom, które mają ją wypełnić. Student pyta o „regularne korzystanie” z usługi, lecz jeden respondent rozumie przez to codzienne używanie, a drugi – raz w miesiącu. W kolejnym pytaniu brakuje odpowiedzi pasującej do rzeczywistej sytuacji. Gdzie indziej uczestnik nie potrafi odtworzyć zdarzeń sprzed dwóch lat.
Właśnie takie problemy pomaga wykryć pilotaż ankiety do pracy magisterskiej. Przed rozpoczęciem zasadniczego badania niewielka grupa osób podobnych do przyszłych respondentów wypełnia kwestionariusz w warunkach zbliżonych do planowanego badania. Następnie sprawdza się, co było niezrozumiałe, niewygodne lub niemożliwe do rzetelnego ocenienia. Wynikiem pilotażu ma być lepsze narzędzie i udokumentowana decyzja o jego użyciu, a nie jeszcze jeden zestaw odpowiedzi do dopisania do badanej próby.
Poniżej znajduje się procedura, przykłady i gotowa karta dokumentowania poprawek.
Wyobraźmy sobie, że w Google Forms ustawiono obowiązkowe odpowiedzi, warunki przechodzenia między sekcjami oraz eksport do arkusza. Autor sam wpisuje pięć wymyślonych zestawów odpowiedzi. Wszystko działa. To cenna kontrola techniczna, ale nie wiadomo jeszcze, czy rzeczywista osoba prawidłowo zrozumie pytanie o częstotliwość, odnajdzie właściwą odpowiedź lub wytrwa przy zbyt długim formularzu.
Pilotaż w pełniejszym znaczeniu wymaga kontaktu z osobami należącymi do grupy docelowej i sprawdzenia ankiety w praktyce. W literaturze metodologicznej rozróżnia się również wywiady poznawcze, które pozwalają zajrzeć w sposób rozumienia poszczególnych pytań. Nie są tym samym co formalna walidacja skali psychometrycznej.
Rozróżnienie ma znaczenie praktyczne. Jeśli planujesz dopiero sprawdzenie konstrukcji ankiety przed badaniem, zacznij od zgodności pytań z celami i od kontroli technicznej. Gdy ten etap jest zakończony, przejdź do pilotażu z rzeczywistymi uczestnikami. W przypadku gotowych skal i kwestionariuszy uwzględnij ponadto instrukcję autora i warunki korzystania z narzędzia.
Nie wystarczy zapytać na koniec: „Czy ankieta była w porządku?”. Większość osób może odpowiedzieć twierdząco z uprzejmości albo dlatego, że nie pamięta już konkretnego problemu. Lepszy obraz dają obserwacje i krótkie pytania dotyczące sześciu obszarów.
Czy uczestnicy tak samo rozumieją określenia „często”, „wsparcie”, „aktywność fizyczna”, „samodzielność” albo „dostępność”? W badaniu z pedagogiki „pomoc rodziców przy odrabianiu lekcji” może dla jednej osoby oznaczać wyjaśnianie zadania, a dla innej samo przypomnienie o lekcjach. Pytanie jest wtedy pozornie jasne, lecz odpowiedzi odnoszą się do różnych zdarzeń.
Poproś osobę badaną: „Co dla Pani/Pana oznaczało w tym pytaniu słowo «pomoc»?”. Nie sugeruj odpowiedzi. Jeżeli kilka osób podaje sprzeczne definicje, trzeba doprecyzować treść lub dodać krótkie objaśnienie.
Zdarza się, że respondent rozumie pytanie, lecz nie ma danych, by na nie odpowiedzieć. Pytanie do pielęgniarek o dokładną liczbę nadgodzin w ciągu ostatnich dwunastu miesięcy będzie trudniejsze niż pytanie o ostatni miesiąc, jeśli nie korzystają z ewidencji czasu pracy. Nie oznacza to automatycznie, że roczny okres jest błędny: ważne, czy odpowiada celowi badania i czy dane są dostępne.
W pilotażu odnotuj, kiedy uczestnik mówi „nie pamiętam”, wybiera losową kategorię albo prosi o sprawdzenie dokumentów. Rozważ krótszy okres odniesienia, szersze przedziały lub możliwość zaznaczenia „nie wiem”, o ile nie zniekształci to założeń badania.
Student logistyki bada korzystanie z systemów magazynowych i proponuje trzy odpowiedzi: „codziennie”, „kilka razy w tygodniu”, „nigdy”. Brakuje wariantu dla osób pracujących z systemem raz lub dwa razy w miesiącu. Pilotujący respondent wpisuje komentarz zamiast zaznaczyć odpowiedź.
Sprawdź, czy skala odpowiedzi obejmuje rzeczywiste sytuacje, czy kategorie nie zachodzą na siebie oraz czy pytanie wymaga jednej czy kilku odpowiedzi. Przy pytaniach o strukturę zatrudnienia uwzględnij np. osoby pracujące w więcej niż jednej placówce, jeśli mogą one znaleźć się w próbie.
Samo zaplanowanie „ankieta zajmie pięć minut” nie oznacza, że tyle zajmie naprawdę. Zapisz czas od rozpoczęcia do wysłania formularza. Obserwuj, czy uczestnicy wracają do wcześniejszych pytań, przerywają badanie lub proszą o wyjaśnienia. Przy długich pytaniach otwartych ważne jest także, czy respondent ma warunki, by swobodnie się wypowiedzieć.
Obok czasu zapisz przyczyny dłuższych przerw lub wyjątkowo szybkiego wypełnienia.
Pytania o zdrowie psychiczne, sytuację finansową, konflikty w miejscu pracy czy doświadczenia przemocy mogą skłaniać do odmowy odpowiedzi lub rezygnacji. W pilotażu trzeba ustalić, czy ich zakres jest naprawdę potrzebny, czy język pozostaje neutralny oraz czy respondent rozumie zasady udziału i możliwość pominięcia pytania, jeśli projekt to przewiduje.
Nie należy naciskać na ujawnianie osobistych powodów odmowy. Sam fakt, że pytanie wywołuje dyskomfort, jest informacją projektową. W zależności od tematu warto rozważyć zmianę kolejności, mniej oceniające sformułowanie albo rezygnację z nadmiernie szczegółowych danych.
Pilotaż obejmuje nie tylko treść pytań. Sprawdza się również zaproszenie, kryteria udziału, urządzenie używane do wypełnienia ankiety, instrukcję, zgłoszenia błędów i sposób zakończenia badania. Osoba starsza może otwierać ankietę na telefonie z dużym powiększeniem tekstu; pracownik zmianowy – w krótkiej przerwie. Warunki te mogą mieć wpływ na kompletność odpowiedzi.
Anonimowość nie wynika automatycznie z braku pola „imię i nazwisko”. Znaczenie mają również adresy e-mail, identyfikatory i ustawienia platformy.
Nie istnieje jedna obowiązkowa liczba uczestników odpowiednia dla każdej pracy magisterskiej. Wielkość próby pilotażowej wynika z tego, co zamierzasz sprawdzić. Innej liczby i innego sposobu doboru wymaga jakościowe ustalenie, czy ludzie rozumieją pytania, a innego oszacowanie wskaźnika rzetelności skali.
W poradniku University of Florida IFAS Extension dotyczącym wstępnego testowania kwestionariuszy podkreślono, że dla testu terenowego nie ustalono jednej wymaganej liczebności. Przywołano różne orientacyjne zakresy proponowane przez badaczy, ale nie jako normę dla wszystkich projektów. Decyzję należy powiązać z celami, złożonością badania i dostępnymi zasobami. Źródło: Chaudhary i Israel, „The Savvy Survey #8”.
Przy krótkiej autorskiej ankiecie może wystarczyć mała, celowo dobrana grupa do pierwszego wykrycia poważnych niejasności. Warto, aby znalazły się w niej osoby reprezentujące różne sytuacje istotne dla badania: np. nauczyciele ze szkół małych i dużych, pielęgniarki z różnych zmian lub klienci korzystający z usługi z różną częstotliwością. Nie jest to próba reprezentatywna tylko dlatego, że obejmuje kilka kategorii osób.
Jeśli natomiast celem pilotażu ma być obliczenie współczynnika alfa Cronbacha, zgodności ocen czy innego parametru, liczebność należy zaplanować pod konkretny wskaźnik i przyjęte założenia. O różnicach w wyznaczaniu próby dla ocen rzetelności przypomina Bujang i współautorzy (2024). Sześć poprawnie wypełnionych ankiet nie wystarczy, aby ogłosić skalę „zwalidowaną”.
Dobieraj liczbę i profil uczestników do problemów, które chcesz wykryć, i uzasadnij to w metodologii.
Zachowaj pierwszą wersję kwestionariusza wraz z datą. Oznacz ją choćby „wersja przed pilotażem”. Sporządź krótką listę elementów podlegających ocenie: znaczenie pytań, przedziały odpowiedzi, kolejność, instrukcje, długość oraz dostępność formularza. Jeśli używasz opublikowanej skali, nie modyfikuj swobodnie jej pozycji lub punktacji; sprawdź zasady stosowania i omów ewentualne odstępstwa z promotorem oraz właścicielem praw do narzędzia, gdy jest to potrzebne.
Ustal też kryterium zatrzymania: np. żadna osoba nie może znaleźć się w sytuacji, w której nie da się wskazać prawdziwej odpowiedzi na kluczowe pytanie, a poważne niejasności muszą zostać rozstrzygnięte i sprawdzone ponownie. Kryteria powinny wynikać z celu, nie z chęci uzyskania idealnych wyników.
Nie korzystaj wyłącznie z wygody. Kolega ze studiów, który nie pracuje w badanej branży, może dostrzec literówkę, ale nie oceni, jak rozumieją pytania pracownicy magazynu czy opiekunowie małych dzieci. Rekrutuj osoby spełniające kryteria planowanej próby i – w miarę możliwości – obejmujące ważne różnice w doświadczeniach.
Jeśli przyszłe badanie dotyczy niepełnoletnich lub szczególnie wrażliwych grup, nie rozpoczynaj pilotażu bez ustalenia wymaganych zgód, sposobu informowania i procedur uczelni lub instytucji. Sama zgoda dyrektora szkoły nie zastępuje zgody uczestnika ani nie rozstrzyga wszystkich kwestii dotyczących danych osobowych.
Wyjaśnij, że jest to sprawdzenie narzędzia przed właściwym badaniem; podaj przewidywany czas, zakres zbieranych informacji, sposób ich wykorzystania oraz zasady rezygnacji. Przed zbieraniem danych ustal wymagany sposób uzyskiwania zgody na udział i odpowiednie zasady ochrony danych. Nie zakładaj, że etyczna zgoda na uczestnictwo i prawna podstawa przetwarzania danych to jedno i to samo.
Nie obiecuj anonimowości, jeśli zapisujesz informacje pozwalające zidentyfikować uczestnika. Przechowuj notatki bez zbędnych danych osobowych.
Udostępnij formularz tak samo, jak będzie dostępny w badaniu właściwym. Nie tłumacz w trakcie, co „autor miał na myśli” – wtedy testowałbyś własne wyjaśnienia, a nie treść ankiety. Zapisz czas, ewentualne przerwy, prośby o pomoc oraz numer pytania, przy którym pojawiło się zawahanie.
Jeśli samo badanie docelowe będzie internetowe i samodzielne, nie zamieniaj pilotażu w obowiązkową rozmowę telefoniczną krok po kroku. Omówienie znaczenia pytań może odbyć się dopiero po wysłaniu formularza, jako osobna część testu.
Zamiast ogólnej oceny zastosuj pytania otwarte:
W razie potrzeby wróć do konkretnej pozycji: „Proszę opowiedzieć, jak doszedł Pan do zaznaczonej odpowiedzi”. Tego rodzaju rozmowa nawiązuje do metod wywiadu poznawczego opisywanych przez amerykańskie National Center for Health Statistics. Chodzi o odtworzenie toku rozumowania respondenta, nie o ocenę jego wiedzy.
Wszystkie obserwacje umieść w jednym rejestrze. Oddziel wypowiedź uczestnika od własnej interpretacji. Zdanie „dwie osoby nie wiedziały, czy chodzi o dni robocze, czy kalendarzowe” jest użyteczniejsze niż zapis „pytanie trochę niezrozumiałe”.
Pomocna jest karta pilotażu czterech śladów: obserwacja → znaczenie dla pomiaru → decyzja → ponowny test. Nie każda uwaga wymaga przeredagowania pytania, ale każda ważna decyzja powinna mieć uzasadnienie.
Wszystkie sytuacje w tabeli są wymyślonymi przykładami dydaktycznymi, a nie wynikami przeprowadzonych badań.
Nie przyjmuj automatycznie każdej sugestii. Sprawdź, czy uwaga dotyczy błędu pomiaru, czy preferencji językowej. Odnotuj również decyzje o pozostawieniu sformułowania bez zmian.
Przy istotnym problemie zapisz starą i nową wersję pytania. Jeśli zmiana wpływa na znaczenie mierzonego zjawiska albo na porównywalność odpowiedzi, omów ją z promotorem. Po zmianie zachowaj osobną wersję dokumentu; dzięki temu w metodologii da się uczciwie odtworzyć drogę od projektu do kwestionariusza ostatecznego.
Poprawione pytanie może stworzyć kolejny problem. Po dodaniu opcji „nie dotyczy” część uczestników może wybierać ją zamiast właściwej odpowiedzi. Po skróceniu instrukcji z kolei może zabraknąć ważnego warunku. Dlatego kluczowe poprawki warto sprawdzić w kolejnej, choćby niewielkiej turze z osobami należącymi do grupy docelowej.
Zakończ pilotaż decyzją: ankieta gotowa, ankieta gotowa po drobnej korekcie albo konieczny kolejny pilotaż. To ocena zakresu wykrytych problemów, nie certyfikat naukowej poprawności wszystkich pomiarów.
Schemat pokazuje, kiedy można zakończyć pilotaż, a kiedy trzeba ponownie sprawdzić zmienione pytanie.
Załóżmy, że studentka pedagogiki planuje ankietę dla nauczycieli szkół podstawowych. Chce ustalić, jak często i w jakich formach kontaktują się z rodzicami uczniów. Tworzy 22 pytania i przed zasadniczym badaniem zaprasza osiem osób spełniających kryteria udziału. Liczba ośmiu osób jest wyłącznie założeniem przykładu; nie stanowi zalecenia dla wszystkich prac.
W modelowym przebiegu dwie osoby pytają, czy „kontakt nieformalny” obejmuje rozmowę przed szkołą, trzy zastanawiają się nad znaczeniem odpowiedzi „regularnie”, a jedna zwraca uwagę, że nauczyciel może pracować równocześnie w dwóch placówkach. Dwie ankiety wypełniono na telefonie; jedna osoba musiała kilkakrotnie powiększać tekst. Nie ma potrzeby przedstawiać tych informacji jako wyników badań nad współpracą z rodzicami. Są to obserwacje o działaniu narzędzia.
Po omówieniu uwag studentka zastępuje „regularnie” kategoriami zawierającymi konkretny przedział czasu, dodaje instrukcję dotyczącą pracy w kilku szkołach i wyjaśnia „kontakt nieformalny”. Następnie prosi nowe osoby o sprawdzenie zmienionych pytań. Dopiero gdy nie pojawiają się zasadnicze niejasności, kieruje wersję końcową do zatwierdzenia zgodnie z ustaleniami z promotorem.
Podobne pilotaże można prowadzić w zarządzaniu, dietetyce i administracji. Zawsze oddzielaj wypowiedź uczestnika od interpretacji badacza.
Uwagom warto przypisać stopień pilności, aby nie traktować literówki tak samo jak błędu pomiaru.
To autorska skala porządkowania uwag na potrzeby pracy dyplomowej, a nie urzędowa klasyfikacja problemów ankietowych. Jeśli pojedyncza uwaga wskazuje na poważne naruszenie sensu pytania lub bezpieczeństwa uczestnika, nie wolno jej ignorować tylko dlatego, że zgłosiła ją jedna osoba.
Najważniejsza jest zgodność opisu z tym, co rzeczywiście wykonano. W rozdziale metodologicznym warto zawrzeć:
Przykładowy zapis do uzupełnienia wyłącznie prawdziwymi informacjami:
Przed rozpoczęciem badania zasadniczego przeprowadzono pilotaż kwestionariusza wśród osób spełniających kryteria kwalifikacji do planowanej próby. Celem było sprawdzenie zrozumiałości pytań, dopasowania wariantów odpowiedzi oraz czasu potrzebnego do wypełnienia ankiety. Po zakończeniu formularza uczestników poproszono o wskazanie trudności. Zebrane uwagi zapisano w rejestrze i wykorzystano do przygotowania kolejnej wersji narzędzia. Dane uzyskane w pilotażu potraktowano oddzielnie od danych badania zasadniczego.
Takiego akapitu nie można wkleić do pracy, jeśli w rzeczywistości jedynie samodzielnie przetestowano formularz na fikcyjnych odpowiedziach. W takim przypadku trzeba napisać o kontroli technicznej, a nie o pilotażu z respondentami. Gdy nie dokonano żadnych zmian, również należy to zgodnie z prawdą odnotować, wskazując zakres i ograniczenia przeprowadzonego sprawdzenia.
Najbezpieczniejszym rozwiązaniem przy pracy magisterskiej jest oddzielne przechowywanie i opisanie danych pilotażowych. Jeśli po pilotażu zmieniono pytania, skale odpowiedzi, kolejność wpływającą na kontekst albo kryteria kwalifikacji, łączenie rekordów może prowadzić do porównywania różnych narzędzi.
Wykorzystanie części danych ze wstępnego etapu należy zaplanować przed poznaniem wyników oraz uzasadnić porównywalnością pomiaru, procedur i zgód. Podobnie trzeba ocenić, czy ponowny udział tych samych osób nie wpłynie na ich odpowiedzi.
Każda odpowiedź „nie” wymaga oceny, czy dotyczy drobiazgu, czy ważnego elementu jakości lub bezpieczeństwa badania.
Nie ma jednej reguły obowiązującej wszystkie uczelnie, kierunki i projekty. Wymagania należy sprawdzić u promotora i w dokumentacji uczelni. Pilotaż jest jednak szczególnie wartościowy, gdy powstaje autorski kwestionariusz, pytania są nowe albo grupa badana ma specyficzne doświadczenia i potrzeby.
Pięć rozmów może ujawnić pierwsze poważne problemy ze zrozumieniem pytań. Nie daje jednak gwarancji wykrycia wszystkich usterek i nie stanowi uniwersalnej liczebności do testu terenowego czy oszacowania rzetelności skali. Liczbę uczestników trzeba uzasadnić celem próby.
Znajomi pomogą dostrzec problemy techniczne i językowe. Do pilotażu zaproś jednak osoby odpowiadające profilowi badanych: doświadczenia rodzica dziecka z niepełnosprawnością nie oceni trafnie ktoś, kto ich nie ma.
Tak. Uczestnicy mogą samodzielnie wypełnić formularz, a potem przekazać uwagi w dodatkowym krótkim formularzu, rozmowie lub wiadomości. Ważne, aby umożliwić opisanie konkretnych trudności, a nie ograniczyć ocenę do skali od 1 do 5. Przy danych umożliwiających identyfikację osoby trzeba uwzględnić odpowiednie zasady ich przetwarzania.
Zapisz, jakie obszary sprawdzono i jak zadawano pytania po ankiecie. Brak uwag nie dowodzi, że narzędzie nie ma błędów: uczestnicy mogą nie zauważyć problemu, nie wiedzieć, że wolno go zgłosić, albo chcieć szybko zakończyć udział. Rozważ dodatkowe pytania poznawcze przy najważniejszych pozycjach.
Nie należy samodzielnie przerabiać standaryzowanych pozycji, okresu odniesienia ani zasad punktacji tylko dlatego, że jedna osoba zgłosiła trudność. Należy sprawdzić instrukcję, licencję, dostępną adaptację i skonsultować problem. Modyfikacja może zmienić właściwości pomiarowe narzędzia.
Jest to kwestia projektu badania, nie automatyczne „tak”. Wcześniejszy kontakt z pytaniami może wpłynąć na późniejsze odpowiedzi. Najczęściej łatwiej uzasadnić udział nowych osób, ale ostateczną decyzję trzeba podjąć przed badaniem i opisać w metodologii.
Przygotuj krótką notatkę: cel próby, profil i liczba uczestników, użyta wersja ankiety, najważniejsze problemy, lista zmian oraz rezultat ponownego sprawdzenia. Dołącz aktualny kwestionariusz. Zwięzły rejestr konkretnych ustaleń jest bardziej użyteczny niż ogólne stwierdzenie „ankieta została zweryfikowana”.
Opisane podejście opiera się na zaleceniach instytucji zajmujących się projektowaniem i oceną badań ankietowych:
Są to źródła metodologiczne, nie przepisy narzucające każdemu polskiemu studentowi określoną liczbę respondentów. Ostateczny projekt i sposób opisania pilotażu trzeba dopasować do własnego badania oraz wymagań uczelni.
W pilotażu trudne bywa ustalenie, które poprawki zwiększą jakość pomiaru. W Akademickim Centrum Wsparcia można skonsultować zgodność ankiety z pytaniami badawczymi, plan pilotażu, rejestr problemów i sposób opisania zmian. Prowadzenie badania pozostaje po stronie autora pracy.
Jeśli masz już ankietę oraz temat pracy, prześlij je przez formularz wyceny i opisz, na którym etapie potrzebujesz konsultacji.
Twój adres email nie zostanie opublikowany. Wymagane pola są oznaczone *
Komentarz *
Nazwa *
Adres email *
Witryna internetowa
Zapamiętaj moje dane w tej przeglądarce podczas pisania kolejnych komentarzy.
Dodaj komentarz
