Projekt publiczny / 2026 / Python · SQL · AI
SentinelDane pod kontrolą.
Samonaprawiająca się platforma danych. Wykrywa anomalie, ustala przyczynę z pomocą agenta AI i stosuje dozwolone, weryfikowane naprawy.
Wyniki według opisu projektu, uzyskane na danych syntetycznych. Scenariusz ewaluacyjny stanowi bramkę jakości w CI.
01 / Kontekst
Wykrycie to dopiero początek
Pliki od partnerów mogą zawierać puste pola, zmienione nazwy kolumn, duplikaty lub inne jednostki raportowania. Problem często wychodzi na jaw dopiero w raporcie biznesowym.
Najwięcej pracy wymaga ustalenie, co się zmieniło i jak to naprawić. Sentinel automatyzuje ten etap.
02 / Rozwiązanie
Od sygnału do sprawdzonej naprawy
System mierzy każdy przebieg i porównuje go z historią. Anomalia otwiera incydent, agent analizuje dowody, a egzekutor sprawdza propozycje działań.
Po naprawie dane są przebudowywane i ponownie kontrolowane. Incydent zostaje zamknięty jako naprawiony tylko po przejściu kontroli.
03 / Architektura
Jak to działa
Pipeline Bronze / Silver / Gold
Bronze zachowuje dane źródłowe. Silver typuje je, mapuje kolumny, usuwa duplikaty i odkłada błędne wiersze. Gold udostępnia agregaty biznesowe.
Pomiar każdego przebiegu
Metryki obejmują liczbę wierszy, puste wartości, duplikaty, sumy i średnie.
Dwie warstwy wykrywania
Reguły jakości wykrywają znane awarie. Porównanie statystyczne z historią uwzględnia dzień tygodnia i wychwytuje mniej oczywiste zmiany.
Diagnoza z dowodami
Agent korzysta z pięciu narzędzi wyłącznie do odczytu. Zwraca przyczynę, poziom pewności, uzasadnienie i propozycje działań.
Naprawa i ponowna kontrola
Egzekutor wykonuje dozwolone akcje, przebudowuje dane i sprawdza rezultat.
04 / Uprawnienia
Autonomia z granicami
- AI nie ma prawa zapisu. Proponuje akcje z zamkniętej listy ośmiu działań.
- Korekty zmieniające raportowane liczby wymagają zatwierdzenia człowieka.
- Naprawy zmieniają konfigurację i można je cofnąć.
- Każdy incydent zachowuje historię decyzji i uzasadnień.
- Przy niedostępności modelu działa deterministyczny silnik reguł.
05 / Technologie
Stack projektu
- Dane
- Python, SQL, DuckDB, pandas
- AI i ML
- Claude API (tool use), scikit-learn (IsolationForest)
- Backend
- FastAPI, Pydantic
- Jakość
- pytest, mypy, ruff
- Wdrożenie
- Docker, GitHub Actions, Terraform (Azure)
06 / Wnioski
Sprawdzać także samą ocenę jakości
Pierwsze demo zgłosiło fałszywy alarm przy zwykłym wzroście sprzedaży. Metryki podwójnie liczyły też odrzucone wiersze, przez co błędne dane wyglądały na zdrowe.
Oba błędy zostały poprawione i zabezpieczone testami. System oceniający własne działanie potrzebuje niezależnej weryfikacji tej oceny.
07 / Dalszy rozwój
Zakres i ograniczenia
Projekt działa na danych syntetycznych, w jednym procesie i z jedną awarią dziennie.
Kierunek wersji produkcyjnej obejmuje Databricks lub Synapse, model działający we własnej chmurze oraz przypięcie wersji zależności.