Jak odróżnić dane administracyjne od danych badawczych w statystyce publicznej

Dlaczego w statystyce publicznej trzeba rozróżniać źródło danych

W polskiej statystyce publicznej reguły postępowania z danymi wynikają z aktualnych przepisów o statystyce publicznej oraz dobrych praktyk krajowych i europejskich (BIP GUS). Podstawą prawną jest ustawa z 29 czerwca 1995 r. o statystyce publicznej, na której opiera się działanie GUS.

Katalog obejmuje: bezpieczeństwo danych statystycznych; zbieranie, rejestrację i redagowanie danych; tworzenie zbiorów wynikowych i baz danych; rejestry statystyczne; publikowanie i udostępnianie danych; składowanie, archiwizowanie i niszczenie danych statystycznych; kontrolę dokumentów z chronionymi danymi statystycznymi.

Pobranie danych z rejestru i wytworzenie ich w badaniu to dwa różne etapy, nie synonimy.

W statystyce publicznej równolegle występują co najmniej dwie rodziny źródeł. Dziennik Urzędowy GUS wymienia „określenie metod pozyskiwania danych statystycznych, w tym w szczególności z systemów informacyjnych administracji publicznej i rejestrów”. W wykazie zadań i obszarów działalności statystyki publicznej (BIP GUS) obok badań statystycznych odrębnie figurują rejestry statystyczne, w tym TERYT i REGON. Rejestr to nie badanie, a dane administracyjne to nie dane badawcze.

Różnica wpływa na interpretację. Dla danej z rejestru pytamy: po co prowadzono rejestr, kto nim dysponuje, w jakim trybie i jak często jest aktualizowany oraz jaki identyfikator wiąże jednostkę z wpisem.

Dla danej z badania: jaką metodę pozyskania danych zastosowano, kto był jednostką sprawozdawczą, jaki był okres sprawozdawczy i czy wartość przeszła redagowanie. Zmiana liczby jednostek w zbiorze może wynikać ze zmiany ewidencji w systemie administracyjnym, a nie ze zmiany populacji — bez ustalenia źródła jest interpretacyjnie nierozstrzygalna.

Dane administracyjne – ślad prowadzi do rejestru lub systemu administracji publicznej

Dane administracyjne pochodzą z rejestrów oraz z publicznych systemów informacyjnych i są w statystyce publicznej wykorzystywane wtórnie. Zagadnieniu poświęcono opracowanie PARP „Wtórne wykorzystanie danych administracyjnych w statystyce publicznej – obecnie i w przyszłości”, gdzie omówiono też podobieństwa i różnice między danymi administracyjnymi a big data.

Kluczowe jest słowo „wtórne”: dane powstały wcześniej, w innym celu i pod innym reżimem niż produkcja statystyki, a statystyka jest ich kolejnym użytkownikiem.

Cechy rozpoznawcze źródła administracyjnego ustalisz bez zaglądania do zawartości zbioru. Po pierwsze, istnieje akt prawny lub decyzja organizacyjna powołująca rejestr albo system informacyjny i określająca cel jego prowadzenia.

Po drugie, można wskazać dysponenta: organ administracji lub inną instytucję publiczną odpowiedzialną za prowadzenie i aktualizację. Po trzecie, jednostkę identyfikuje się w tym zasobie jak w ewidencji (numer, identyfikator wpisu), a nie przez cechy przypisane na potrzeby analizy.

Po czwarte, obowiązuje określony tryb aktualizacji: wpis z urzędu, na wniosek lub w wyniku zdarzenia prawnego. W wykazie zadań i obszarów statystyki publicznej (BIP GUS) jako rejestry występują m.in. TERYT i REGON.

Praktyczna konsekwencja: dane administracyjne mają własną historię zmian, przerwy w ciągłości i definicje pojęć dopasowane do przepisów regulujących dany rejestr. Zakres podmiotowy i przedmiotowy rejestru wynika z funkcji ewidencyjnej, a nie z potrzeb odbiorcy statystyki. Dlatego przed użyciem zbioru trzeba sprawdzić, czy pojęcia z rejestru — np. sposób traktowania jednostki nieaktywnej, zawieszonej lub wykreślonej — przekładają się na pojęcia w zbiorze wynikowym.

Dane badawcze – wytwór procesu badania statystycznego

Dane badawcze powstają w ramach badania statystycznego. Badania statystyczne to odrębny obszar w wykazie zadań statystyki publicznej (BIP GUS), obok Programu badań statystycznych statystyki publicznej, który określa zakres prowadzonych badań. Dziennik Urzędowy GUS podaje, że program obejmuje „określenie metod pozyskiwania danych statystycznych”, w tym z rejestrów i systemów informacyjnych administracji publicznej. Metoda pozyskania danych jest więc elementem projektowania badania, a nie cechą rejestru.

Dane badawcze rozpoznaje się po procesie, który je wytworzył. Wskazują na nie: formularz lub inny instrument badawczy z określonym zakresem pytań, zdefiniowana jednostka sprawozdawcza, okres sprawozdawczy, tryb i termin przekazania danych oraz zakres podmiotowy i przedmiotowy badania. Inaczej niż w rejestrze nie ma tu niezależnego, gotowego zasobu, do którego statystyka tylko sięga — zbiór powstaje w wyniku przeprowadzenia badania.

Dane badawcze nie trafiają też do wyniku w postaci przekazanej przez respondenta. Regulacje GUS przewidują etap redagowania danych (BIP GUS). Oznacza to, że wartość w zbiorze wynikowym może różnić się od wartości z formularza — wskutek kontroli, uzupełnień i uzgodnień. To praktyczna różnica wobec danych administracyjnych, których kształt określa przede wszystkim sposób prowadzenia ewidencji.

Kryteria rozpoznania: źródło, sposób pozyskania, etap wejścia i reżim przetwarzania

Rozpoznanie źródła opiera się na pięciu pytaniach, na które odpowiedź można udokumentować. 1) Czy dane istnieją niezależnie od badania — czy powstałyby także wtedy, gdyby statystyka ich nie potrzebowała? Jeśli tak, źródłem jest rejestr lub system administracji. 2) Kto jest dysponentem danych i na jakiej podstawie prawnej prowadzi zasób? Wskazanie organu i aktu prawnego to sygnał danych administracyjnych.

3. Jaki był pierwotny cel wytworzenia danych: ewidencja, rozliczenie, przyznanie uprawnienia czy opis statystyczny populacji? 4) Czy dane są wykorzystywane wtórnie, czyli pobierane z gotowego zasobu i przetwarzane na potrzeby statystyki? 5) Na jakim etapie dane wchodzą do procesu: jako wsad przed redagowaniem czy jako element zbioru wynikowego?

Reżim przetwarzania obowiązuje niezależnie od odpowiedzi na te pytania, ale przy danych administracyjnych dochodzi dodatkowa warstwa. Regulacje GUS obejmują bezpieczeństwo danych statystycznych oraz kontrolę dokumentacji z chronionymi danymi statystycznymi (BIP GUS). Jeśli dane administracyjne obejmują dane osobowe, mogą mieć zastosowanie odrębne przepisy o ochronie danych osobowych.

Checklista działa na poziomie zmiennej, nie całego pliku: dla każdej kolumny ustal, z którego rejestru lub z którego pytania formularza pochodzi wartość, kto odpowiada za jej aktualizację i jaki etap procesu (zbieranie, rejestracja, redagowanie, zbiór wynikowy) przeszedł ten element. Dopiero tak opisane pochodzenie pozwala zakwalifikować zbiór jako administracyjny, badawczy albo mieszany.

Różnice między danymi administracyjnymi a badawczymi w statystyce publicznej

Checklista rozpoznania źródła danych – dla każdej zmiennej

Rejestry statystyczne i etapy przetwarzania jako punkt odniesienia

Rejestry statystyczne to odrębna pozycja w katalogu regulacji dotyczących danych statystycznych (BIP GUS). W wykazie zadań i obszarów statystyki publicznej (BIP GUS) wymienia się TERYT oraz REGON. To rozdzielenie porządkuje katalog: rejestr statystyczny to nie badanie statystyczne, a etapy przetwarzania danych mają ustaloną kolejność.

Kolejność etapów to prosty punkt odniesienia. Zbieranie, rejestracja i redagowanie poprzedzają tworzenie zbiorów wynikowych i baz danych, potem następuje publikowanie i udostępnianie, a na końcu składowanie, archiwizowanie i niszczenie danych statystycznych (BIP GUS).

Dane administracyjne wchodzą zwykle do procesu jako wsad sprzed redagowania — są już zgromadzone w rejestrze i w tym sensie „gotowe”, ale nieprzystosowane do definicji i klasyfikacji statystycznych. Dane badawcze rodzą się w tym procesie — od początkowych etapów aż po zbiór wynikowy.

To, że dane przeszły przez urząd statystyczny, nie rozstrzyga o źródle. Departament Statystyki Przedsiębiorstw i Rejestrów GUS zbiera i opracowuje na potrzeby innych departamentów podstawowe dane statystyczne dotyczące przedsiębiorstw (Dziennik Urzędowy GUS nr 12/2001). Prace na rejestrach i na danych o przedsiębiorstwach prowadzi się więc obok siebie w jednej strukturze organizacyjnej — miejsce przetwarzania nie jest dowodem źródła, dowodem jest sposób i podstawa powstania danych.

Główne rejestry statystyczne w Polsce

Typowe pomyłki: źródło to nie to samo co format, a wtórne wykorzystanie to nie brak kontroli

Pierwszy błąd to wnioskowanie o źródle z nazwy zbioru. Zbiór „baza administracyjna” może zawierać wartości zredagowane w badaniu, a „baza statystyczna” może w całości powstawać z wtórnego wykorzystania rejestru. Nazwa to etykieta robocza; metadanymi o pochodzeniu są podstawa prawna zasobu, dysponent, jednostka identyfikacyjna i tryb aktualizacji. Rozstrzyga dokumentacja źródła, nie nagłówek pliku.

Drugi błąd to utożsamianie źródła z formatem. CSV, XLSX i XML opisują sposób zapisu, nie sposób powstania danych. Ten sam plik może zawierać wyciąg z rejestru, wynik redagowania danych sprawozdawczych albo mieszankę obu. Format nie mówi, czy dana istnieje niezależnie od badania, kto ją wytworzył ani czy przeszła kontrolę i korektę.

Trzeci błąd to założenie, że wtórne wykorzystanie danych administracyjnych oznacza brak zasad jakości i bezpieczeństwa. Regulacje obejmują bezpieczeństwo danych statystycznych oraz kontrolę dokumentacji z chronionymi danymi statystycznymi (BIP GUS) — reżim działa więc także wtedy, gdy wsadem jest rejestr.

Czwarty błąd jest odwrotnością pierwszego: uznanie danych badawczych za z definicji „lepsze” od administracyjnych. Każde źródło ma inne źródła zakłóceń — w rejestrze wynikają one z celu ewidencji i trybu aktualizacji, w badaniu z odmów odpowiedzi, błędów pomiaru oraz redagowania i uzupełniania braków. Bez wskazania źródła nie wiadomo, gdzie szukać przyczyny rozbieżności między dwoma zbiorami opisującymi tę samą populację.

Zalety i wady danych administracyjnych i badawczych

Krótki algorytm: jak w praktyce zakwalifikować dane

Pytania zadawaj od najbardziej rozstrzygającego. 1) Czy zbiór powstaje w wyniku badania statystycznego realizowanego w ramach Programu badań statystycznych statystyki publicznej, z określoną metodą pozyskiwania danych? Jeśli tak — dane są badawcze. 2) Czy istnieje niezależny od statystyki rejestr lub system informacyjny administracji publicznej, z którego dane się pobiera? Jeśli tak — dane są administracyjne, a ich użycie w statystyce jest wtórne.

Rozstrzygające są trzy kwestie: kto wytworzył dane i w jakim celu, czy istnieją niezależnie od badania oraz na jakim etapie trafiają do zbiorów wynikowych. Pozostałe pytania dokumentują odpowiedź — wskazują dysponenta, podstawę prawną, identyfikator i tryb aktualizacji dla danych administracyjnych albo formularz, jednostkę sprawozdawczą i okres sprawozdawczy dla danych badawczych.

Gdy zbiór łączy oba rodzaje wsadu, klasyfikuj go jako zbiór o pochodzeniu mieszanym i opisz źródło dla każdej zmiennej osobno — przypisanie do kategorii „administracyjne” lub „badawcze” dotyczy konkretnego wsadu, a nie całej bazy. Reżim bezpieczeństwa danych statystycznych oraz kontroli dokumentacji z chronionymi danymi statystycznymi obowiązuje niezależnie od wyniku tego przypisania (BIP GUS).

Krok po kroku: jak zakwalifikować dane w praktyce