Walidacja nie jest pieczęcią potwierdzającą, że metoda „jest naukowa”. Jest udokumentowanym procesem ustalenia, czy określony sposób badania nadaje się do konkretnego zamierzonego użycia, w jakich warunkach działa, jak często zawodzi i gdzie trzeba odmówić wniosku. Jej najważniejszym produktem nie jest ogólne „zaakceptowano”, lecz mapa zakresu i granic.

Metoda sądowa obejmuje więcej niż instrument albo algorytm. W jej skład wchodzą pobranie lub przyjęcie danych, przygotowanie, urządzenie, materiały odniesienia, ustawienia, oprogramowanie, decyzje człowieka, reguła klasyfikacji, kontrola i język raportu. Spektrometr może przejść test techniczny, a cały proces identyfikacji nadal działać źle z powodu niereprezentatywnej próbki lub źle ustawionej reguły decyzji.

Walidacja, weryfikacja wdrożenia i kontrola rutynowa

Trzy pojęcia odpowiadają na inne pytania:

  • walidacja ustala, czy metoda nadaje się do określonego celu i charakteryzuje jej działanie;
  • weryfikacja wdrożenia potwierdza, że dane laboratorium potrafi osiągnąć wymagane parametry metody już zwalidowanej gdzie indziej;
  • kontrola jakości serii sprawdza, czy konkretny przebieg spełnił kryteria.

Prawidłowy blank w dzisiejszej serii nie wykazuje swoistości metody dla wszystkich interferencji. Walidacja producenta nie dowodzi, że lokalny operator, konfiguracja i matryca odtwarzają deklarowane działanie. Z kolei pełne powtarzanie walidacji podstaw naukowych przy każdym wdrożeniu może marnować materiał bez sprawdzenia najważniejszych lokalnych różnic.

Decyzję o zakresie własnych badań uzasadnia się ryzykiem, dostępnością danych zewnętrznych i podobieństwem wdrożenia. Trzeba wiedzieć, co sprawdzono niezależnie, co przyjęto z publikacji lub dokumentacji producenta i jakie warunki przeniesienia tych danych muszą pozostać spełnione.

Zamierzone użycie jest specyfikacją produktu

Zdanie „metoda identyfikuje substancje” jest zbyt szerokie. Specyfikacja powinna określać:

  1. obiekt i matrycę;
  2. cechę lub wielkość;
  3. zakres ilościowy i jakościowy;
  4. rodzaj wyniku: przesiew, identyfikacja, oznaczenie, porównanie, LR lub rekonstrukcja;
  5. populację i warunki zastosowania;
  6. użytkownika, interfejs oraz stopień automatyzacji;
  7. dopuszczalne kategorie, w tym nierozstrzygnięcie;
  8. minimalną jakość materiału;
  9. konsekwencje błędów;
  10. sposób raportowania.

Ten sam model rozpoznawania twarzy może mieć inne zamierzone użycie jako narzędzie porządkujące materiał, generator kandydatów w bazie i dowodowe porównanie dwóch obrazów. Walidacja pierwszej funkcji nie przechodzi automatycznie na trzecią. Identyfikacja analitu w czystym wzorcu nie waliduje oznaczenia ilościowego w zdegradowanej krwi.

Zakres powinien być zapisany przed budową zbioru testowego. Inaczej łatwo dopasować późniejszą deklarację do próbek, które akurat dały dobre wyniki.

Model całego procesu

Przed eksperymentem tworzy się mapę przejść:

obiekt → próbka lub dane → przygotowanie → pomiar → przetwarzanie → obserwacja → reguła decyzji → wynik → raport.

Dla każdego przejścia wskazuje się wejście, wyjście, parametry, człowieka lub system, możliwą awarię i zapis pozwalający ją wykryć. Pozwala to odróżnić walidację składnika od walidacji końcowej.

Przykładowo algorytm segmentacji może prawidłowo wyznaczać obszar na obrazach referencyjnych, lecz cały system zawodzić po kompresji z urządzeń używanych w praktyce. Parser może prawidłowo dekodować rekordy jednej wersji aplikacji, ale przypisywać niewłaściwe znaczenie czasowi po aktualizacji. Test wzoru matematycznego nie obejmuje błędów importu jednostki ani ręcznego kopiowania wyniku.

Walidacja komponentów jest potrzebna do diagnozy. Walidacja end-to-end odpowiada jednak na pytanie, co otrzyma odbiorca po przejściu rzeczywistego procesu.

Prawda odniesienia

Pomiar trafności wymaga przypadków o wiarygodnie znanym stanie. Zgodność dwóch ekspertów w nieznanej sprawie mierzy zgodność, nie prawdziwość. Jeżeli obaj stosują te same błędne założenia, konsensus utrwala błąd.

Prawda odniesienia może wynikać z:

  • kontrolowanego wytworzenia śladu;
  • certyfikowanego materiału o właściwej cesze;
  • znanej historii urządzenia lub transakcji;
  • konstrukcji mieszaniny ze znanych składników;
  • niezależnej techniki o odpowiedniej rozdzielczości;
  • symulacji, gdy waliduje się poprawność obliczenia, a nie realizm modelu.

Musi odpowiadać poziomowi wniosku. Wiedza, że dwa ślady wykonał ten sam obiekt, może walidować porównanie źródłowe. Nie wystarcza do oceny, czy konkretny człowiek wykonał czynność. Znana zawartość pliku pozwala badać odzyskanie danych, ale nie ustala, czy użytkownik znał treść.

Przypadki rzeczywiste zwiększają realizm, lecz często mają niepewną prawdę. Mogą testować kompletność i obsługę złożoności. Nie powinny być jedynym mianownikiem częstości błędu.

Projekt przestrzeni warunków

Zbiór testowy ma reprezentować deklarowane użycie, nie dostępność materiału. Tworzy się listę czynników, między innymi:

  • ilość i jakość;
  • degradacja, mieszanina i kontaminacja;
  • rodzaj nośnika lub matrycy;
  • producent, sensor, format i wersja;
  • interferencje oraz klasy podobne;
  • operator i laboratorium;
  • zakres czasu, stężenia lub rozmiaru;
  • przypadki ujemne i spoza klasy;
  • sytuacje graniczne;
  • braki danych.

Pełny iloczyn wszystkich poziomów bywa niemożliwy. Stosuje się uzasadnione próbkowanie, plan czynnikowy, warstwy trudności i priorytety ryzyka. Dokumentacja ma pokazać kombinacje obecne i nieobecne. Brak testu nie zmienia się w sukces tylko dlatego, że przestrzeń jest duża.

Szczególnie ważna jest klasa otwarta. Narzędzie nie będzie w praktyce oglądało wyłącznie znanych klas. Musi umieć odrzucić obiekt spoza biblioteki albo skierować go do wyniku nierozstrzygającego. Test bez realistycznych negatywów może wykazać jedynie zdolność wyboru najlepszego kandydata z listy, nie poprawność identyfikacji.

Niezależność danych budowy i oceny

Przypadki testowe nie mogą być wielokrotnie używane do wyboru cech, progów i końcowej oceny. Przeciek informacji obejmuje nie tylko identyczny plik. Może nim być:

  • inny fragment tego samego nagrania;
  • próbka od tego samego dawcy;
  • kilka obrazów jednego obiektu;
  • niemal identyczne pochodne jednego rekordu;
  • strojenie po obejrzeniu błędów testowych;
  • wspólna partia, miejsce lub czas tworzące skrót;
  • etykieta zakodowana w nazwie albo metadanych.

Podział wykonuje się na poziomie rzeczywiście niezależnej jednostki: osoby, obiektu, zdarzenia, urządzenia albo partii, zależnie od problemu. Losowe rozdzielenie pojedynczych klatek może dać doskonały wynik modelu, który zapamiętał scenerię zamiast cechy kryminalistycznej.

Zbiór końcowy powinien pozostać zamrożony. Każde użycie go do poprawienia metody przekształca go w dane rozwojowe i wymaga nowej niezależnej oceny.

Liczebność i niepewność oszacowania

Liczbę prób dobiera się do parametru oraz częstości zdarzenia. Kilkadziesiąt przypadków może wystarczyć do wykrycia dużego obciążenia pomiaru, lecz nie do wykazania bardzo małej częstości fałszywie dodatniej.

Zero błędów nie oznacza zerowego ryzyka. Dla 0/n orientacyjna reguła trzech daje górną granicę około 3/n dla jednostronnego poziomu około 95%. Przy 20 próbach jest to około 15%, przy 1000 — około 0,3%. Reguła jest przybliżeniem i nie zastępuje właściwego modelu, ale dobrze pokazuje, dlaczego mała próba bez błędu nie uzasadnia wielkiej pewności.

Należy raportować licznik, mianownik i przedział. Jeżeli tę samą osobę oceniono setki razy, obserwacje są zagnieżdżone i proste traktowanie ich jako niezależnych zaniża niepewność. Model powinien uwzględniać osoby, obiekty i powtórzenia.

Charakterystyki działania

Zestaw parametrów zależy od zadania.

Metoda ilościowa

Może wymagać oceny selektywności, zakresu, liniowości modelu, obciążenia, precyzji, odtwarzalności, granicy detekcji i oznaczalności, odzysku, efektu matrycy, stabilności, przenoszenia, odporności oraz niepewności pomiaru.

Klasyfikacja

Potrzebuje macierzy pomyłek, czułości, swoistości, FPR, FNR, wartości predykcyjnych przy jawnej częstości, krzywych ROC/DET, kalibracji score, coverage, częstości nierozstrzygnięć i wyników w warstwach trudności.

Porównanie lub LR

Ocenia dyskryminację, kalibrację, zachowanie dla tych samych i różnych źródeł, populacje odniesienia, stabilność wobec parametrów, przypadki blisko spokrewnione lub podobne, zależność cech oraz możliwość interpretacji przy innej propozycji.

Rekonstrukcja

Wymaga błędów parametrów wejściowych, trafności modelu, identyfikowalności, testów syntetycznych i rzeczywistych, analizy wrażliwości, przypadków wieloznacznych oraz sprawdzenia, czy metoda zwraca wiele dopuszczalnych wariantów zamiast wymuszać jeden.

Jedna „dokładność” nie opisuje żadnego z tych produktów kompletnie. Wysoka accuracy przy dominacji klasy ujemnej może ukryć nieskuteczne wykrywanie rzadkiego zdarzenia.

Wynik nierozstrzygający w walidacji

Kategoria odmowy jest elementem metody, a nie odpadem usuwanym przed obliczeniem. Raport powinien pokazywać:

  • wszystkie przypadki;
  • decyzje poprawne i błędne;
  • nierozstrzygnięcia;
  • coverage, czyli odsetek przypadków zakończonych decyzją;
  • trafność wśród rozstrzygniętych;
  • działanie całego systemu w zastosowaniu.

Metoda może obniżać błędy przez odmawianie większości trudnych przypadków. Może to być pożądane operacyjnie, jeśli zachowuje użyteczne coverage i prawidłowo rozpoznaje granice. Nie wolno jednak porównywać jej z systemem zawsze decydującym wyłącznie na podstawie trafności po usunięciu odmów.

Reguła nierozstrzygnięcia musi powstać przed testem i być stosowana bez znajomości prawdy. Przeklasyfikowanie błędnych przypadków po ujawnieniu odpowiedzi sztucznie poprawia wynik.

Walidacja decyzji człowieka

Jeżeli człowiek wybiera cechy, poprawia segmentację, ustala jakość albo nadaje końcową kategorię, jest częścią systemu. Badanie wyłącznie urządzenia nie charakteryzuje praktyki.

Projekt powinien uwzględniać:

  • wielu wykonawców i ich poziomy doświadczenia;
  • realistyczny interfejs;
  • czas, kolejkę i przerwania;
  • informację kontekstową rzeczywiście dostępną;
  • możliwość konsultacji zgodną z procedurą;
  • osobne decyzje przed uzgodnieniem;
  • powtórzenia pozwalające ocenić zgodność tej samej osoby;
  • prawdę odniesienia i pełny rozkład trudności.

Zgodność między ekspertami mierzy odtwarzalność decyzji. Trafność wymaga prawdy. Konsensus po naradzie nie może zastąpić pierwotnych odpowiedzi, bo usuwa dane o granicach metody.

Oprogramowanie i model aktualizowany

Deterministyczny program też podlega walidacji. Testy jednostkowe potwierdzają implementację określonych reguł. Walidacja naukowa sprawdza, czy reguły odpowiadają rzeczywistości i zamierzonemu użyciu.

Rejestr obejmuje:

  • wersję kodu, modelu i konfiguracji;
  • zależności oraz środowisko;
  • źródło i wersję baz;
  • testy przypadków typowych, granicznych i błędnych;
  • pliki wzorcowe z oczekiwanym wynikiem;
  • wpływ aktualizacji parsera, biblioteki lub progu;
  • możliwość odtworzenia poprzedniej sprawy;
  • procedurę awarii usługi zewnętrznej.

Model AI wymaga dodatkowo oceny danych spoza rozkładu, podgrup, kalibracji, zmiany sensora, odmowy decyzji i wpływu sugestii na operatora. „Człowiek w pętli” nie jest dowodem bezpieczeństwa, jeśli człowiek nie ma danych i warunków do realnej kontroli.

Decyzja o przydatności

Po eksperymencie nie trzeba wybierać wyłącznie między pełnym dopuszczeniem i odrzuceniem. Metodę można zaakceptować:

  • dla węższego zakresu;
  • tylko w określonych matrycach;
  • z obowiązkowym potwierdzeniem;
  • z progiem jakości i kategorią odmowy;
  • bez raportowania liczbowej siły;
  • z niezależną kontrolą krytycznej decyzji;
  • po uzupełnieniu kompetencji;
  • wyłącznie jako narzędzie poszukiwawcze.

Decyzja zawiera kryteria wejścia, wyjścia, odstępstwa i zatrzymania. Pilność sprawy nie poszerza zakresu naukowego. Jeżeli użycie poza zakresem jest eksperymentalnie uzasadnione, trzeba je nazwać, ocenić osobno i nie przedstawiać jako rutynowo zwalidowane.

Rewalidacja i monitoring po wdrożeniu

Walidacja trwa przez cykl życia. Wyzwalaczem przeglądu jest między innymi:

  • nowa matryca, klasa albo zakres;
  • zmiana pobierania lub przygotowania;
  • nowy aparat, sensor, odczynnik lub lokal;
  • aktualizacja kodu, modelu, biblioteki albo bazy;
  • zmiana progu lub kategorii raportu;
  • interferencja wykryta w sprawie;
  • seria rozbieżności lub niezgodność;
  • nowa publikacja podważająca założenie;
  • zmiana populacji zastosowania.

Ocena wpływu wskazuje, które wcześniejsze dane pozostają adekwatne i jaki test uzupełniający jest potrzebny. Nie każda poprawka wymaga powtórzenia całego programu, ale zdanie „bez wpływu” wymaga technicznego uzasadnienia.

Monitoring obejmuje rozkład jakości spraw, nierozstrzygnięcia, powtórzenia, wyniki kontroli, rozbieżności, korekty raportów i przypadki poza zakresem. Dane rutynowe nie mają zawsze znanej prawdy, lecz ujawniają zmianę populacji i nowe tryby awarii.

Pakiet walidacyjny

Kompletny rekord powinien zawierać:

  1. zamierzone użycie i właściciela metody;
  2. mapę procesu i analizę ryzyka;
  3. protokół zatwierdzony przed badaniem;
  4. opis próbek, prawdy i proweniencji;
  5. dane surowe oraz metadane warunków;
  6. wszystkie wyniki, także nieważne i nierozstrzygające;
  7. kod, konfiguracje i wersje;
  8. analizę statystyczną z niepewnością;
  9. odstępstwa od protokołu;
  10. ograniczenia oraz luki;
  11. decyzję o zakresie i reguły użycia;
  12. plan kontroli, monitoringu i rewalidacji;
  13. niezależny przegląd.

Sam raport podsumowujący bez danych i definicji jednostek nie pozwala ocenić wyniku. Reprodukcja nie musi oznaczać publicznego ujawnienia danych wrażliwych, ale kompetentny kontrolujący powinien móc przejść od twierdzenia do obserwacji i obliczenia.

Audyt metody

  • Jakie dokładnie twierdzenie ma wspierać metoda?
  • Czy testowany zakres odpowiada raportowanemu?
  • Co jest niezależną jednostką i mianownikiem?
  • Jak ustalono prawdę odniesienia?
  • Czy przypadki budowy i testu są rozdzielone genealogicznie?
  • Czy zbiór zawiera klasę otwartą, negatywy i granice?
  • Jak opisano trudność i brakujące kombinacje?
  • Czy wynik nierozstrzygający pozostał w mianowniku?
  • Czy człowiek, interfejs i kontekst weszły do testu?
  • Czy podano przedziały i niepewność parametrów?
  • Czy metoda umie odmówić poza zakresem?
  • Co wyzwala rewalidację?
  • Czy konkretna sprawa mieści się w populacji walidacyjnej?

Granica jest najważniejszym wynikiem

Dobra walidacja nie obiecuje nieomylności. Pokazuje, przy jakiej jakości, matrycy, populacji, wersji i regule decyzji obserwowane działanie uzasadnia użycie. Umożliwia odróżnienie wyniku mocnego od granicznego oraz błędu metody od błędu wdrożenia.

Najgorszym wykorzystaniem walidacji jest zamiana jej w rytualny załącznik. Najlepszym — wpisanie jej wyników do kryteriów przyjęcia próbki, konfiguracji, odmowy, raportu, kontroli i aktualizacji. Wtedy granice z eksperymentu rzeczywiście sterują sprawą.

Literatura i źródła