Próbkowanie w statystyce: jak dobrać próbę do pytania

dobór próby badawczej, próbkowanie w statystyce, próba reprezentatywna, dobór losowy, dobór celowy, dobór warstwowy, błąd selekcji, liczebność próby, populacja badania, uogólnianie wyników, ograniczenia metodologiczne, operat losowania

Zła próba potrafi zepsuć dobre badanie już na starcie

Najczęstsza pomyłka: wybór próby zaczyna się od dostępnych osób, nie od pytania

Najbardziej kosztowny błąd przy próbkowaniu w statystyce pojawia się bardzo wcześnie: decyzja o tym, kogo zbadać, zapada zanim zostanie doprecyzowane, na jakie pytanie badanie ma odpowiedzieć. W praktyce wygląda to niewinnie. Ktoś ma szybki dostęp do studentów jednego kierunku, nauczycieli z własnej szkoły, pacjentów jednej placówki albo obserwatorów ze swojej sieci kontaktów i zaczyna od nich. Problem pojawia się później, kiedy wyniki zaczynają być opisywane tak, jakby dotyczyły znacznie szerszej populacji.

To właśnie dlatego dobór próby badawczej nie powinien zaczynać się od pytania: „kogo da się łatwo przebadać?”. Najpierw trzeba ustalić: „o kim chcę naprawdę coś powiedzieć?” oraz „czy ta konkretna grupa daje podstawę do takich wniosków?”. Jeśli badanie dotyczy opinii studentów w Polsce, ankieta zebrana wśród własnych znajomych z jednej uczelni nie jest tylko „mniej idealna”. Ona po prostu odpowiada na inne pytanie niż to deklarowane.

Łatwa dostępność respondentów bywa mylona z trafnością metodologiczną, bo daje szybkie rezultaty, dużą liczbę odpowiedzi i pozornie porządne tabele. Tyle że dużo danych z niewłaściwie dobranej próby nie tworzy automatycznie wiarygodnego obrazu populacji. Można mieć setki obserwacji, a mimo to nie wiedzieć prawie nic o grupie, o której formalnie próbuje się wnioskować.

Trzy poziomy decyzji: pytanie badawcze, populacja, procedura doboru

Przy wyborze próby dobrze oddzielić trzy porządki, które często są mieszane. Pierwszy to pytanie badawcze, czyli to, co ma zostać ustalone: częstość zjawiska, różnice między grupami, zależność między zmiennymi, a może jedynie rozpoznanie problemu. Drugi to populacja badania, czyli zbiór jednostek, do którego mają odnosić się wnioski. Trzeci to procedura doboru próby, czyli konkretny sposób, w jaki jednostki znajdą się w badaniu.

Te trzy elementy muszą do siebie pasować. Jeżeli pytanie jest eksploracyjne, na przykład dotyczy tego, jak użytkownicy opisują trudności z nowym systemem, dobór celowy lub wygodny może być rozsądny. Jeżeli jednak pytanie brzmi: „jaki odsetek pracowników doświadcza tego problemu?”, potrzeba już innego podejścia, bo stawką staje się nie tylko zebranie opinii, lecz także ich rozkład w populacji.

W praktyce wiele sporów metodologicznych nie dotyczy samej metody próbkowania, lecz niedopasowania tych trzech poziomów. Ktoś wybiera wygodną próbę, ale formułuje pytanie tak, jakby miał próbę reprezentatywną. Albo przeciwnie: ma możliwość dobrze przemyślanego doboru celowego, ale usiłuje sztucznie opisać go jako quasi-losowy, bo to brzmi „bardziej naukowo”.

Nie ma jednej najlepszej próby, są próby adekwatne albo nieadekwatne

W dyskusjach o próbkowaniu często pojawia się ukryte założenie, że istnieje jakaś jedna najlepsza metoda, którą po prostu należy zastosować. To złudzenie. Nie ma uniwersalnie najlepszej próby. Są próby lepsze i gorsze względem określonego celu badania, typu pytania, dostępności populacji i zamierzonego zakresu uogólniania.

Dobór losowy zwykle jest mocnym rozwiązaniem, gdy chcemy oszacowywać parametry populacji i mamy realny operat losowania. Dobór warstwowy bywa lepszy, gdy wiadomo z góry, że ważne podgrupy różnią się między sobą i każda musi być odpowiednio widoczna w danych. Dobór celowy może okazać się trafniejszy niż szeroka, ale niekontrolowana próba wygodna, jeśli interesuje nas konkretny typ przypadku lub szczególna kompetencja respondentów. Każde z tych rozwiązań ma sens tylko w określonych warunkach.

Najbardziej użyteczne pytanie nie brzmi więc: „jaka metoda jest najlepsza?”, ale raczej: „jaka metoda najmniej zniekształci odpowiedź na moje konkretne pytanie?”. Taka zmiana perspektywy porządkuje wybór szybciej niż uczenie się katalogu definicji na pamięć.

Duża liczba odpowiedzi nie naprawia złego doboru

To jeden z najbardziej zdradliwych skrótów myślowych: skoro odpowiedzi jest dużo, badanie musi być mocne. Niestety nie. Liczebność próby i sposób jej doboru to nie jest to samo. Jeśli do ankiety odpowiadają głównie osoby szczególnie zaangażowane, niezadowolone, aktywne internetowo albo związane z określonym środowiskiem, to nawet bardzo duża próba może być systematycznie stronnicza.

Dobrym przykładem jest ankieta rozesłana przez media społecznościowe autora badania. Odpowiadają na nią osoby zbliżone wiekowo, edukacyjnie, światopoglądowo albo zawodowo. Przy odpowiedniej skali można uzyskać imponującą liczbę odpowiedzi, lecz struktura próby nadal będzie pochodzić z jednego kanału dostępu i jednego typu aktywności. Taki materiał bywa cenny, ale nie daje swobody w mówieniu o całej populacji.

Jeżeli więc ktoś pyta najpierw: „ile osób potrzebuję?”, a dopiero potem: „jak te osoby trafią do próby?”, kolejność jest odwrócona. W próbkowaniu w statystyce najpierw trzeba rozumieć mechanizm selekcji, potem myśleć o liczebności.

Najpierw odpowiedz na 4 pytania, zanim wybierzesz próbę

1. Co dokładnie chcesz ustalić?

To pytanie wydaje się banalne, ale zwykle właśnie tu zaczynają się późniejsze problemy. „Chcę zbadać opinie”, „chcę sprawdzić zjawisko”, „chcę przeanalizować doświadczenia” brzmią sensownie, ale są zbyt szerokie, by dobrać próbę. Trzeba doprecyzować, czy celem jest rozpoznanie tematu, opis skali zjawiska, porównanie grup, czy testowanie zależności.

Jeśli celem jest eksploracja, czyli zorientowanie się, jakie postawy, trudności lub schematy odpowiedzi w ogóle występują, wtedy bardziej elastyczne próbkowanie może być uzasadnione. Jeżeli jednak pytanie dotyczy rozpowszechnienia zjawiska, np. „jaki odsetek nauczycieli korzysta z danego narzędzia?”, potrzeba takiej próby, która pozwala mówić o strukturze populacji, a nie tylko o doświadczeniach wybranych osób.

Różnica ma praktyczne skutki. To samo narzędzie badawcze może działać dobrze w pilotażu i jednocześnie być niewystarczające do mocnych wniosków opisowych. Właśnie dlatego dobór próby badawczej powinien wynikać z rodzaju odpowiedzi, której oczekujesz od danych, a nie z samego tematu badania.

2. O jakiej populacji chcesz mówić?

Drugie pytanie jest równie ważne: kto dokładnie tworzy populację badania? Nie „nauczyciele”, tylko jacy nauczyciele. Nie „studenci”, tylko których uczelni, kierunków, trybów studiów, roczników. Nie „pacjenci”, tylko z jakiego typu placówek, z jakim rozpoznaniem, w jakim przedziale czasu. Populacja musi być opisana operacyjnie, inaczej nie da się ocenić, czy próba ma z nią sensowny związek.

To miejsce, w którym często bardziej opłaca się zawęzić ambicję badania niż rozciągać deklaracje. Zamiast pisać o „wszystkich nauczycielach”, rozsądniej bywa przyjąć populację: „nauczyciele szkół publicznych danego typu w określonym województwie” albo nawet „nauczyciele szkół publicznych uczestniczący w szkoleniach z danego zakresu”. Taka populacja bywa mniej efektowna w opisie, ale dużo uczciwsza metodologicznie.

Im precyzyjniej nazwiesz populację, tym łatwiej zobaczysz, czy masz do niej realny dostęp. Czasem już na tym etapie okazuje się, że planowana skala badania jest nierealna i trzeba ją dostosować, zanim w ogóle zacznie się myśleć o losowaniu czy liczebności.

3. Jakiego rodzaju wnioski chcesz wyciągać?

Nie każde badanie musi prowadzić do szerokiego uogólniania. To rozróżnienie bywa wyzwalające. Jeśli celem jest poprawa praktyki w jednej instytucji, rozpoznanie doświadczeń konkretnej grupy albo test narzędzia badawczego, próba nie musi być reprezentatywna dla wielkiej populacji krajowej. Musi natomiast być adekwatna do lokalnego celu i poprawnie opisana.

Jeśli jednak planujesz stwierdzenia typu „większość”, „typowy respondent”, „w populacji występuje”, „grupy różnią się” albo „wyniki można uogólnić”, wymagania wobec próby rosną. Trzeba wtedy myśleć nie tylko o samej liczbie jednostek, lecz także o tym, czy ich obecność w badaniu nie jest związana z cechami, które wpływają na wynik.

W praktyce dobrze zadać sobie bardzo konkretne pytanie: czy po zebraniu danych chcesz mówić o tych osobach, które rzeczywiście przebadano, czy o szerszej grupie? Jeśli o szerszej, trzeba zawczasu uzasadnić, dlaczego akurat ta próba pozwala wykonać taki krok.

4. Jakie masz realne ograniczenia dostępu, czasu i budżetu?

Ograniczenia organizacyjne nie są metodologiczną kompromitacją. Są normalną częścią badania. Problem zaczyna się dopiero wtedy, gdy ignoruje się ich wpływ na zakres wnioskowania. Brak pełnej listy populacji, niski odsetek odpowiedzi, krótki czas rekrutacji, mały budżet czy trudny dostęp do respondentów nie przekreślają projektu, ale powinny wpływać na wybór próby i sposób interpretacji.

Jeśli nie masz operatu losowania, nie deklaruj doboru losowego. Jeśli populacja jest trudno dostępna i rzadka, być może sensowniejszy będzie dobór celowy. Jeśli budżet pozwala tylko na jedną uczelnię lub jedno województwo, zawęź populację do tego obszaru zamiast udawać reprezentatywność dla całego kraju. Takie decyzje nie osłabiają badania automatycznie. Często wręcz je ratują, bo czynią je metodologicznie spójnym.

Przydatna jest krótka kontrola przed startem badania:

• Czy problemem jest liczebność? Masz za mało osób do planowanych analiz.
• Czy problemem jest struktura próby? Brakuje ważnych podgrup albo jedna dominuje.
• Czy problemem jest dostęp do populacji? Nie istnieje sensowna droga losowania lub kontaktu.
• Czy problemem są zbyt szerokie ambicje interpretacyjne? Chcesz wnioskować szerzej, niż pozwala próba.

Taka mini-checklista zwykle szybciej porządkuje decyzję niż samo pytanie o „właściwą liczbę respondentów”.

Rodzaj pytania badawczego decyduje o tym, jakiej próby naprawdę potrzebujesz

Badanie eksploracyjne: kiedy użyteczność bywa ważniejsza niż reprezentatywność

W badaniu eksploracyjnym chodzi przede wszystkim o rozpoznanie terenu: jakie warianty zjawiska występują, jak badani o nim mówią, jakie problemy ujawniają się w odpowiedziach, jakie kategorie analityczne mogą się pojawić. W takim układzie próba reprezentatywna nie zawsze jest konieczna, a czasem nawet nie jest pierwszym priorytetem.

Jeśli badanie ma pomóc skonstruować kwestionariusz, przygotować pilotaż albo zidentyfikować najważniejsze wątki problemu, dobór celowy może być bardziej sensowny niż szeroki, lecz powierzchowny nabór. Lepiej porozmawiać z osobami, które rzeczywiście miały kontakt z badanym zjawiskiem, niż zebrać przypadkowe odpowiedzi od ludzi, którzy niewiele mają do powiedzenia na ten temat.

Uwaga jest jednak prosta: użyteczność eksploracyjna nie daje automatycznie prawa do uogólniania. Próba dobra do rozpoznania języka respondentów albo katalogu doświadczeń nie staje się przez to próbą opisową dla całej populacji. To granica, którą trzeba jasno utrzymać.

Badanie opisowe: kiedy struktura próby zaczyna być kluczowa

W badaniu opisowym pytania zwykle brzmią: „jak często?”, „u kogo?”, „jaki odsetek?”, „jak rozkłada się cecha?”. Tu struktura próby zaczyna mieć znaczenie zasadnicze. Jeżeli określone podgrupy są w próbie nadreprezentowane lub niedoreprezentowane, wynik opisowy może zostać istotnie zniekształcony.

Przykładowo, jeśli bada się korzystanie z określonej technologii wśród studentów, a większość odpowiedzi pochodzi z kierunków technicznych, obraz może być zawyżony względem całej populacji studenckiej. Jeśli w badaniu o obciążeniu zawodowym dominują nauczyciele z dużych miast, trudno bezpiecznie opisywać sytuację w małych miejscowościach. To nie są detale techniczne, lecz rdzeń trafności wniosków.

W tego typu badaniach dobór warstwowy lub przynajmniej kontrola składu próby często okazują się ważniejsze niż sama wielkość próby. Lepsza bywa mniejsza, ale sensownie zróżnicowana próba niż większa, lecz skupiona wokół jednego łatwo dostępnego środowiska.

Badanie wyjaśniające: kiedy źle dobrana próba zniekształca zależności

W badaniach wyjaśniających stawką jest coś więcej niż opis. Interesuje nas zależność między zmiennymi, różnice między grupami albo potencjalne mechanizmy działania zjawiska. Tutaj zły dobór próby może prowadzić nie tylko do błędu w oszacowaniu częstości, ale do błędnego odczytania samej relacji między zmiennymi.

Najprostszy przykład: jeśli do badania o wpływie formy zatrudnienia na satysfakcję trafiają głównie osoby z jednej branży albo jednego typu organizacji, to trudno oddzielić efekt zatrudnienia od efektu środowiska pracy. Podobnie w badaniu edukacyjnym: gdy porównuje się wyniki uczniów, a do próby częściej wchodzą szkoły bardziej zaangażowane i lepiej zorganizowane, można „odkryć” zależność, która w dużej mierze jest skutkiem selekcji, a nie badanego czynnika.

Właśnie dlatego przy pytaniach wyjaśniających liczy się nie tylko to, ile osób zbadano, ale jak trafili do próby i czy różne grupy są porównywalne. Dobór losowy pomaga ograniczać część zniekształceń, ale nie rozwiązuje wszystkiego. Z kolei dobór celowy może być sensowny, jeśli badanie dotyczy specyficznych przypadków, jednak wtedy trzeba dużo ostrożniej formułować wnioski o zależnościach. Im mocniejsze ambicje interpretacyjne, tym mniej miejsca na wygodne skróty rekrutacyjne.

W praktyce dobrze sprawdza się proste pytanie kontrolne: czy osoby, które znalazły się w badaniu, mogły wejść do niego właśnie dlatego, że mają cechę powiązaną z wynikiem? Jeśli tak, ryzyko błędu selekcji jest realne. To częsta sytuacja choćby przy ankietach otwartych rozsyłanych w mediach społecznościowych — zgłaszają się częściej osoby bardziej zainteresowane tematem, silniej zmotywowane albo mające bardziej skrajne doświadczenia. Taka próba może być cenna eksploracyjnie, ale do testowania zależności wymaga dużej ostrożności.

Kiedy losowo, warstwowo, celowo albo wygodnie — porównanie bez mitów

Nie istnieje jeden „najlepszy” dobór próby na każdą sytuację. Są raczej rozwiązania lepiej albo gorzej dopasowane do celu, populacji i warunków terenowych. Mit zaczyna się wtedy, gdy losowanie traktuje się jako magiczne słowo, a dobór celowy lub wygodny jako automatyczny błąd. W rzeczywistości każde z tych podejść ma sens w innych warunkach i każde może zostać użyte dobrze albo źle.

Dobór losowy jest najmocniejszy wtedy, gdy chcesz opisywać populację lub ostrożnie uogólniać wyniki, a do tego masz realny dostęp do operatu losowania. Jego przewaga polega na ograniczaniu arbitralności wyboru. Problem pojawia się wtedy, gdy „losowość” istnieje tylko w deklaracji, bo faktycznie badani pochodzą z dostępnej bazy, jednej instytucji albo z osób, które odpowiedziały na zaproszenie. W takiej sytuacji lepiej uczciwie nazwać próbę ograniczoną niż przypisywać jej właściwości, których nie ma.

Dobór warstwowy zwykle wygrywa tam, gdzie populacja jest zróżnicowana, a część podgrup łatwo zginęłaby w prostym naborze. Sprawdza się zwłaszcza wtedy, gdy z góry wiadomo, że płeć, typ instytucji, region, staż albo poziom kształcenia mogą wpływać na wynik i trzeba dopilnować obecności tych kategorii w rozsądnych proporcjach. Jest bardziej wymagający organizacyjnie niż próba wygodna, ale często daje lepszy efekt niż zwiększanie liczby respondentów bez kontroli struktury.

Dobór celowy ma przewagę tam, gdzie liczy się trafienie do osób rzeczywiście niosących informację: ekspertów, uczestników rzadkiego procesu, osób z określonym doświadczeniem, przypadków typowych albo skrajnych. Nie służy przede wszystkim do reprezentowania populacji w sensie statystycznym, tylko do dobrania sensownych informatorów do pytania badawczego. Z kolei dobór wygodny bywa akceptowalny w pilotażu, testowaniu narzędzia, badaniach wstępnych lub projektach lokalnych, ale staje się ryzykowny, gdy zaczyna się na jego podstawie mówić o „ogólnej sytuacji” szerokiej populacji.

Najuczciwsze kryterium wyboru brzmi więc nie „który sposób jest bardziej naukowy?”, lecz „który sposób daje próbę zgodną z tym, co naprawdę chcę stwierdzić?”. Czasem będzie to losowanie, czasem warstwy, czasem dobrze uzasadniony dobór celowy. Najsłabszą opcją nie jest konkretna technika sama w sobie, tylko niedopasowanie techniki do pytania.

Mała próba, zła struktura czy błąd selekcji? Co naprawdę psuje wynik

Te trzy problemy bywają wrzucane do jednego worka, a to prowadzi do złych decyzji naprawczych. Ktoś widzi słaby projekt i odruchowo mówi: „trzeba zwiększyć próbę”. Tymczasem większa liczba respondentów nie naprawi sytuacji, jeśli do badania wchodzą ciągle te same typy osób albo jeśli sama droga rekrutacji faworyzuje określone odpowiedzi.

Kiedy głównym problemem jest liczebność

Za mała próba przeszkadza przede wszystkim wtedy, gdy chcesz porównywać podgrupy, analizować zależności albo opisywać zjawisko z większą dokładnością. Jeśli w badaniu są trzy ważne kategorie respondentów, ale w jednej z nich znalazło się zaledwie kilka osób, to nawet poprawna struktura całej próby nie daje stabilnej podstawy do porównań.

To sytuacja typowa dla projektów, które na papierze wyglądają ambitnie, lecz terenowo nie dowożą liczby przypadków potrzebnych do sensownej analizy. W takim układzie bezpieczniej bywa ograniczyć liczbę pytań analitycznych niż mnożyć tabele z grupami, których nie da się wiarygodnie zestawić.

Kiedy większy problem stanowi struktura niż rozmiar

Próba może być całkiem liczna, a mimo to słaba poznawczo. Dzieje się tak wtedy, gdy nadmiernie skupia się wokół jednej uczelni, jednego regionu, jednego typu placówki albo jednej kategorii wiekowej, choć pytanie badawcze dotyczy populacji bardziej zróżnicowanej. W takim przypadku problem nie brzmi „za mało osób”, tylko „nie te osoby w nie tych proporcjach”.

Dobrym testem jest sprawdzenie, czy kluczowe cechy populacji mają swoje odbicie w próbie. Jeżeli badanie nauczycieli opiera się niemal wyłącznie na szkołach miejskich, a temat dotyczy warunków pracy nauczycieli jako grupy zawodowej, to brak szkół wiejskich lub małomiasteczkowych nie jest detalem. To luka, która może przesunąć cały obraz.

Kiedy najgroźniejszy jest błąd selekcji

Błąd selekcji pojawia się wtedy, gdy sam mechanizm dostania się do badania jest powiązany z badanym zjawiskiem. To bardziej podstępne niż mała liczebność, bo wynik może wyglądać przekonująco: dużo odpowiedzi, estetyczne wykresy, spójne różnice. Problem w tym, że odpowiedzieli głównie ci, którzy mieli powód odpowiedzieć.

Przykład jest prosty. Ankieta o wypaleniu zawodowym rozsyłana przez otwarte grupy internetowe może przyciągać częściej osoby silniej obciążone, bardziej sfrustrowane albo bardziej zainteresowane tematem zdrowia psychicznego. Wtedy zawyżony może być nie tylko poziom deklarowanego wypalenia, ale też część zależności między zmiennymi.

Jeśli więc droga rekrutacji zależy od motywacji, czasu, zaangażowania, dostępu cyfrowego albo osobistego doświadczenia, trzeba zakładać ryzyko selekcji i dostosować do tego język wniosków.

Krótka tabela decyzji: kiedy dane rozwiązanie pomaga, a kiedy daje tylko pozór poprawności

Co zrobić, gdy idealna próba jest poza zasięgiem

To częstsza sytuacja niż brak wiedzy metodologicznej. Problem zwykle nie polega na tym, że badacz nie zna lepszej opcji, lecz na tym, że nie ma operatu losowania, zgód instytucji, czasu na rekrutację albo środków na dotarcie do rozproszonych jednostek. Wtedy sensowna decyzja nie polega na udawaniu ideału, tylko na przebudowie projektu tak, by nadal był obroniony.

Zawężenie populacji bywa lepsze niż słaba reprezentatywność

Jeżeli realnie możesz zbadać studentów dwóch wydziałów, to sensowniejsze jest postawienie pytania o studentów tych właśnie wydziałów niż o „studentów w Polsce”. Metodologicznie to ruch w dobrą stronę, bo dopasowuje zakres wnioskowania do faktycznych danych. Traci się rozmach, ale zyskuje spójność.

To samo dotyczy badań lokalnych, instytucjonalnych i środowiskowych. Ograniczony zasięg nie dyskwalifikuje projektu. Dyskwalifikuje raczej nieadekwatna skala twierdzeń.

Czasem lepiej zmienić cel niż bronić technikę doboru

Jeśli nie da się uzyskać próby pozwalającej na solidny opis populacji, można przesunąć akcent badania. Zamiast pytać „jaki odsetek?” dla całej zbiorowości, lepiej zapytać „jakie wzory odpowiedzi się pojawiają?”, „jakie różnice widać między dostępnymi grupami?” albo „jak badani rozumieją dane zjawisko?”. Nie każde pytanie wymaga tej samej siły uogólniania.

To szczególnie rozsądne przy pracach dyplomowych i projektach pilotażowych. Przesadnie szerokie obietnice interpretacyjne częściej szkodzą niż pomagają.

Kwoty i warstwy jako rozwiązanie pośrednie

Gdy pełne losowanie jest nierealne, ale wiadomo, że pewne cechy muszą znaleźć odbicie w próbie, można sięgnąć po rozwiązania pośrednie. Dobór kwotowy lub warstwowy nie daje wszystkich zalet losowania, ale pozwala ograniczyć najbardziej oczywiste przekłamania strukturalne. To bywa rozsądny kompromis w badaniach społecznych, edukacyjnych i rynkowych.

Warunek jest jeden: cechy kontrolowane muszą wynikać z logiki pytania badawczego, a nie z wygody. Jeśli temat dotyczy dostępu do usług zdrowotnych, sens mają na przykład region, wiek czy typ miejsca zamieszkania. Jeśli badanie dotyczy doświadczeń pracowników, znaczenie może mieć branża, staż lub typ umowy. Sama obecność „jakichś kwot” nie wystarcza, jeśli dobrano je przypadkowo.

Jak opisać wybór próby tak, żeby dało się go obronić

Najczęstszy błąd nie pojawia się nawet na etapie doboru, tylko podczas opisu. Próba została dobrana ograniczenie, lecz w części metodologicznej padają formuły sugerujące więcej, niż naprawdę zrobiono. W efekcie recenzent albo promotor nie kwestionuje samego badania, tylko rozdźwięk między procedurą a deklaracją.

Dobry opis próby odpowiada na cztery konkretne kwestie

• Kogo obejmuje populacja? Nie ogólnie, lecz operacyjnie: jakie osoby, z jakiego zakresu, według jakich kryteriów.
• Jak trafiano do respondentów? Przez losowanie, zaproszenia instytucjonalne, dobór celowy, rekrutację otwartą, sieci kontaktów.
• Dlaczego wybrano właśnie tę drogę? Ze względu na cel badania, dostęp do jednostek, heterogeniczność populacji albo ograniczenia organizacyjne.
• Jakie są granice wnioskowania? Czy wyniki mają charakter eksploracyjny, lokalny, opisowy dla określonej grupy czy ostrożnie porównawczy.

Taki opis nie musi być długi. Musi być precyzyjny. Sformułowanie „zastosowano dobór celowy” samo w sobie mówi mało, jeśli nie wiadomo, według jakiego klucza wybierano osoby i do jakiego typu wniosków ma to prowadzić.

Język ostrożności jest oznaką rzetelności, nie słabości

Jeśli próba była ograniczona do osób łatwo dostępnych, lepiej napisać to wprost niż maskować problem ogólnikami o „reprezentatywnej grupie badanych”. Podobnie, jeśli pewne podgrupy są słabo obecne, trzeba zaznaczyć, że wyniki mogą nie oddawać pełnego zróżnicowania populacji.

To nie obniża automatycznie wartości badania. Przeciwnie: pokazuje, że interpretacja jest proporcjonalna do jakości danych. Najbardziej ryzykowne są nie ograniczenia same w sobie, tylko przemilczanie ich tam, gdzie wpływają na sens wniosków.

Dwie typowe sytuacje, w których lepiej zatrzymać się na chwilę

„Mam dużo odpowiedzi z ankiety online, więc chyba jest dobrze”

Niekoniecznie. Duża liczba odpowiedzi poprawia komfort analizy, ale nie zastępuje kontroli nad tym, kto odpowiedział. Jeśli ankieta rozeszła się głównie w określonych kręgach, to problemem może być selekcja i jednorodność próby, a nie jej wielkość. W takiej sytuacji sensowniejsze bywa ograniczenie zakresu twierdzeń albo oddzielenie części eksploracyjnej od opisowej.

„Nie mam jak losować, więc moje badanie nie ma sensu”

Też niekoniecznie. Brak losowania nie przekreśla projektu, jeśli pytanie badawcze nie wymaga szerokiego uogólnienia albo jeśli populacja jest z natury trudno dostępna. Badanie ekspertów, osób po określonym doświadczeniu medycznym czy uczestników niszowego programu zwykle i tak opiera się na selekcji celowej. Kluczowe jest wtedy dopasowanie pytania do realnej próby, a nie mechaniczne kopiowanie ideału z podręcznika.

Praktyczna reguła bezpieczeństwa przed startem zbierania danych

Jeśli między pytaniem badawczym, zdefiniowaną populacją i sposobem rekrutacji nie da się jednym zdaniem narysować logicznego połączenia, plan badania jest jeszcze niedopracowany. To prosty test, ale zaskakująco skuteczny.

Dobra wersja brzmi mniej więcej tak: badanie dotyczy określonej grupy, dlatego potrzebna jest próba o takich cechach, a z powodu takich ograniczeń wybieramy tę metodę doboru i wnioskujemy tylko do tego zakresu. Słaba wersja brzmi inaczej: badanie dotyczy szerokiej populacji, ale rekrutujemy kogokolwiek uda się pozyskać, a potem zobaczymy, co da się napisać. W tym drugim wariancie problem nie leży w technice statystycznej, lecz w samej logice projektu.

Próba nie musi być idealna, żeby badanie było użyteczne. Musi jednak być dobrana do pytania, a nie do życzeń wobec wyniku.