Jak sprawnie anonimizować tysiące plików, także wielostronicowych PDF-ów i skanów? Wyjaśniamy, z czym wiąże się masowa anonimizacja dokumentów, jakie stawia wyzwania i jak Mycroft Sweeper PRO pomaga im sprostać.
Zadanie hurtowej anonimizacji może obejmować tysiące plików, z których każdy liczy nawet kilkaset stron. Taka skala może wystąpić przy przygotowywaniu akt postępowań przetargowych do udostępnienia, dokumentacji medycznej do celów badawczych czy dużych zbiorów dokumentów kadrowych do analizy poza organizacją. W takim przypadku nie wystarczy program, który potrafi otworzyć PDF i automatycznie zakryć wszystkie wykryte imiona, nazwiska czy adresy. Trzeba przetworzyć cały zbiór w rozsądnym czasie, zastosować właściwe zasady do różnych dokumentów, śledzić postęp pracy i wygodnie sprawdzić jej efekty.
Na tym polega różnica między anonimizacją pojedynczego pliku a hurtową anonimizacją dokumentów. Przy dużej skali znaczenie ma cały proces - od dodania plików, przez analizę i obsługę wyjątków, po przygotowanie dokumentów wynikowych.
Poszukując odpowiedniego rozwiązania, można spotkać określenia „hurtowa anonimizacja”, „masowa anonimizacja dokumentów” i „zbiorcza anonimizacja”. W tym artykule odnosimy je do przygotowywania większej liczby plików w ramach jednego procesu. „Anonimizacja wsadowa” podkreśla techniczny sposób przetwarzania dokumentów w partiach.
Ważne jest to, co program rzeczywiście potrafi zrobić z takim zbiorem. Powinien odczytać treść, także ze skanów, wskazać dane, zastosować ustalone zasady i pokazać, które pliki są gotowe, a które trzeba sprawdzić. Praca z dokumentami PDF i skanami jest przy tym innym zadaniem niż anonimizacja rekordów w bazie danych.
Informacja, że program obsługuje pliki PDF, nie mówi jeszcze, czy poradzi sobie z kilkusetstronicowym skanem ani co się stanie, gdy takich plików będą tysiące. Liczy się możliwość przetworzenia dużej liczby stron, czas potrzebny na OCR i analizę oraz sposób organizacji pracy, gdy zadanie trwa wiele godzin.
Mycroft Sweeper PRO jest przeznaczony do pracy z dużymi zbiorami dokumentów. Pliki trafiają do kolejki projektu i są przetwarzane kolejno, bez ręcznego otwierania każdego z nich. Program analizuje także zeskanowane PDF-y i obrazy pozbawione warstwy tekstowej. Zachowuje wyniki analizy, dzięki czemu otwarcie dokumentu do weryfikacji nie wymaga ponownego wykonywania OCR.
Czas przetworzenia konkretnego zbioru zależy od długości plików, jakości skanów i możliwości komputera. Dlatego przed uruchomieniem projektu obejmującego tysiące dokumentów warto sprawdzić tempo pracy na reprezentatywnej próbie własnych materiałów.
Anonimizacja nie oznacza usunięcia wszystkich imion, nazwisk i adresów. W rzeczywistych dokumentach zakres anonimizacji jest selektywny. Usunięcie wszystkich danych z danej kategorii może pozbawić dokument informacji, które powinny pozostać widoczne.
Przykładowo:
W umowie o pracę można potrzebować wersji, w której ukryte są dane osobowe pracownika, ale dane pracodawcy pozostają czytelne.
W zaświadczeniu z Krajowego Rejestru Karnego można ukryć adres zamieszkania, imiona rodziców i nazwisko rodowe matki, pozostawiając inne potrzebne informacje.
W publikowanym wyroku można zanonimizować wskazane dane osób, których dotyczy sprawa, pozostawiając imiona i nazwiska sędziów składu orzekającego. Takie rozróżnienie przewidują reguły anonimizacji orzeczeń sądowych Ministra Sprawiedliwości.
O tym, jakie informacje należy ukryć, decyduje organizacja przygotowująca dokument do określonego celu. Program powinien umożliwiać konsekwentne zastosowanie tej decyzji do całego zbioru, a nie jedynie automatycznie usuwać wszystkie wykryte wartości określonego typu.
Podstawą pracy w Mycroft Sweeper PRO są projekty. Każdy projekt jest wydzieloną przestrzenią, do której użytkownik wgrywa dokumenty i ustala zasady ich anonimizacji: jakie informacje program ma wykrywać i usunąć, kiedy plik powinien trafić do weryfikacji oraz jaką metodę zastosować. Może to być na przykład nakładka wskazująca stałe obszary formularza albo szablony, dzięki którym program rozpoznaje rodzaj dokumentu i stosuje przygotowane dla niego zasady. W projekcie korzystającym z szablonów rozpoznawanie odbywa się osobno na każdej stronie, również gdy jeden PDF zawiera skany różnych dokumentów. Więcej o tej funkcji przeczytasz we wpisie o wersji 2.3.0.
W wielu organizacjach regularnie pojawiają się te same druki: wnioski, oświadczenia, zaświadczenia czy formularze. Wiadomo z góry, że anonimizacji wymagają określone rubryki - na przykład adres zamieszkania lub imiona rodziców. Pole powinno zostać zakryte również wtedy, gdy formularz wypełniono odręcznie i wpisanej treści nie uda się poprawnie odczytać.
Jeśli formularze mają stały układ, w Sweeper PRO można wykorzystać nakładkę anonimizującą. Wskazuje ona obszary strony przeznaczone do zakrycia niezależnie od rozpoznanej w nich treści. Przy skanach, na których położenie formularza się różni, sposób dopasowania nakładki ma szczególne znaczenie.
Gdy trzeba rozpoznać rodzaj dokumentu i odnaleźć jego pola mimo zmian układu, można zastosować szablon dokumentu. Nie opiera się on wyłącznie na stałym położeniu rubryk. Może działać także na formularzach wypełnionych odręcznie lub takich, w których wpisanie dłuższej odpowiedzi na komputerze przesunęło kolejne pola. Szablony dla konkretnych dokumentów przygotowujemy dla klientów jako osobną usługę.
Przy tysiącach plików użytkownik musi móc zlecić przetwarzanie, obserwować jego postęp i szybko znaleźć dokumenty wymagające działania. Sama informacja, że „analiza trwa”, nie wystarczy. Potrzebna jest wiedza, które pliki czekają, które są gotowe, które wymagają weryfikacji, a przy których wystąpił błąd.
Sweeper PRO organizuje pracę w projekty. Użytkownik dodaje dokumenty do kolejki i uruchamia przetwarzanie. Statusy i postęp są widoczne dla poszczególnych plików, a wyszukiwanie i sortowanie pomagają odnaleźć odpowiedni dokument w dużym zbiorze.
Praca może być rozłożona na kilka sesji. Program zapisuje stan analizy i weryfikacji, więc użytkownik może wrócić do rozpoczętego zadania. Jeśli przy konkretnym dokumencie trzeba zmienić zaznaczenia, można otworzyć go w edytorze, pozostawić wybrane dane widoczne albo ręcznie wskazać dodatkowy obszar do ukrycia.
Przy hurtowej anonimizacji nie sposób wygodnie zarządzać pracą, jeśli każdy z tysięcy plików wymaga ręcznego otwarcia tylko po to, by ustalić, czy potrzebna jest decyzja człowieka. Zasady weryfikacji trzeba dopasować do rodzaju dokumentów i celu ich przygotowania.
W Sweeper PRO można skierować do przeglądu wszystkie pliki albo tylko te, w których pojawiły się niepewne wykrycia. Możliwa jest również praca bez wcześniejszego przeglądu każdego dokumentu. Pliki wymagające decyzji trafiają do weryfikacji, a statusy pozwalają oddzielić je od dokumentów gotowych i tych, których nie udało się przetworzyć.
Użytkownik może przejrzeć wskazania programu, wprowadzić poprawki i zatwierdzić wynik. Przy dużym zbiorze warto również sprawdzić reprezentatywną próbę gotowych dokumentów, obejmującą różne rodzaje plików i mniej typowe przypadki.
Przy tysiącach plików model rozliczenia ma duże znaczenie. Opłata za każdą stronę lub analizę utrudniałaby oszacowanie kosztu całego zadania, zwłaszcza gdy część dokumentów wymaga ponownej pracy.
Mycroft Sweeper PRO nie nalicza opłat od liczby stron, plików ani innej miary użycia. OCR, analiza i anonimizacja odbywają się lokalnie na komputerze użytkownika, bez konieczności przesyłania treści dokumentów do zewnętrznej usługi chmurowej. Pozwala to planować pracę na dużych zbiorach bez dodatkowego kosztu naliczanego za każdą przetworzoną stronę.
Przed rozpoczęciem pracy na tysiącach plików warto zebrać próbę odzwierciedlającą rzeczywiste zadanie: krótkie i kilkusetstronicowe PDF-y, skany, formularze wypełnione odręcznie oraz dokumenty wymagające różnych zasad anonimizacji. Na tej podstawie można ustalić zakres danych do ukrycia, dobrać ustawienia projektu, sprawdzić tempo przetwarzania i sposób weryfikacji wyników.
Hurtowa anonimizacja jest skuteczna wtedy, gdy program radzi sobie nie tylko z wykrywaniem danych, ale z całą skalą i organizacją pracy. Mycroft Sweeper PRO łączy przetwarzanie dużych zbiorów z projektami, monitorowaniem postępu, selektywnymi zasadami anonimizacji i narzędziami do weryfikacji dokumentów.
Czy można anonimizować wiele PDF-ów bez otwierania każdego osobno?
Tak. W Mycroft Sweeper PRO pliki trafiają do projektu i są przetwarzane kolejno według jego ustawień. Dokumenty kierowane do weryfikacji można następnie sprawdzić w edytorze.
Czy masowa anonimizacja obejmuje skany i wielostronicowe dokumenty?
Tak. OCR umożliwia odczyt treści skanów, a projekt może obejmować wiele plików, także dokumentów liczących setki stron. Czas analizy zależy od materiałów i sprzętu.
Czy każda wykryta dana musi zostać usunięta?
Nie. Zakres określa użytkownik i konfiguracja projektu. Można zachować informacje potrzebne w danym celu oraz zakryć wskazane dane lub pola formularza. Końcowy dokument wymaga oceny odpowiedniej do celu udostępnienia.
Czy wersję PRO można pobrać tak jak Standard?
Demo Standard jest dostępne do samodzielnych testów bez rejestracji. Działanie PRO prezentujemy podczas spotkania, na materiałach demonstracyjnych. Nie trzeba przesyłać nam dokumentów zawierających rzeczywiste dane osobowe.
Przygotowujesz dużą partię dokumentów i chcesz sprawdzić, jak zorganizować jej anonimizację? Skontaktuj się z nami. Podczas prezentacji pokażemy pracę z projektem, regułami i weryfikacją wyników oraz omówimy potrzeby Twojej organizacji.
Jeżeli chcesz najpierw sprawdzić wykrywanie danych i pracę z pojedynczym dokumentem, pobierz bezpłatne demo Mycroft Sweeper Standard bez rejestracji.
