Czy AI lepiej sortuje zgłoszenia niż proste reguły?
Can AI classify support tickets better than simple rules?
Porównanie modelu AI i metody regułowej w klasyfikacji kategorii, pilności oraz zespołu obsługującego. Eksperyment na syntetycznym zbiorze ujawnił różnicę w pełnej zgodności, ale również błędy ważne z perspektywy bezpieczeństwa procesu.
A comparison of an AI model and a rule-based method for classifying category, urgency and handling team. The synthetic-data experiment found a difference in full agreement, while also exposing errors relevant to process safety.
Streszczenie
Abstract
Na 50 syntetycznych zgłoszeniach model AI osiągnął 76% pełnej zgodności (38/50), a metoda regułowa 2% (1/50). W obu wariantach nie odnotowano krytycznego niedoszacowania pilności. Analiza błędów ujawniła jednak przypadki nieprawidłowego przypisania zespołu, z których dwa nie zostały oznaczone do weryfikacji. Wynik uzasadnia niezależny test, nie wdrożenie bez walidacji.
On 50 synthetic tickets, the AI model achieved 76% full agreement (38/50), compared with 2% (1/50) for the rule-based method. Neither approach recorded a critical urgency underestimate. Error analysis nevertheless found incorrect team assignments, including two cases not flagged for review. The result justifies an independent test, not deployment without validation.
Pytanie badawcze
Research question
Czy model AI może trafniej niż aktualny zestaw reguł przypisywać zgłoszeniom trzy pola: kategorię, pilność i zespół obsługujący?
Can an AI model assign three ticket fields—category, urgency and handling team—more accurately than the current rule set?
Pełną zgodność liczono tylko wtedy, gdy wszystkie trzy pola zgadzały się z etykietami referencyjnymi. To metryka łączna: nie opisuje osobno skuteczności każdego pola.
Full agreement was counted only when all three fields matched the reference labels. This is a combined metric; it does not report each field's performance separately.
Materiał i metoda
Materials and method
Test objął 50 syntetycznych zgłoszeń oznaczonych H001–H050. Porównano metodę regułową z modelem composer-2.5. Oceniono predykcje dla wszystkich 50 przypadków, zachowując wyniki obu podejść jako oddzielne raporty.
The test covered 50 synthetic tickets identified as H001–H050. The rule-based method was compared with composer-2.5. Predictions were evaluated for all 50 cases, with results for both approaches retained as separate reports.
- Przygotowano syntetyczny zbiór zgłoszeń i etykiety referencyjne.
- A synthetic ticket set and reference labels were prepared.
- Przeprowadzono klasyfikację przy użyciu dwóch porównywanych podejść.
- Classification was run using the two approaches under comparison.
- Pełną zgodność przyznawano wyłącznie za jednoczesne dopasowanie wszystkich trzech pól.
- Full agreement was awarded only when all three fields matched simultaneously.
Przebiegi AI zakończyły się bez zarejestrowanych błędów wykonania i błędów formatu odpowiedzi. Test nie stanowi porównania wszystkich modeli ani pełnej oceny systemu produkcyjnego.
AI runs completed without recorded execution or response-format errors. This test does not compare all models or constitute a full production-system evaluation.
Wyniki
Results
| Metryka | Metric | Reguły | Rules | AI |
|---|---|---|---|---|
| Pełna zgodność: kategoria + pilność + zespół | Full agreement: category + urgency + team | 1/50 (2%) | 38/50 (76%) | |
| Krytyczne niedoszacowania pilności | Critical urgency underestimates | 0 | 0 | |
| Błędy wykonania / formatu AI | AI execution / format errors | — | 0 / 0 |
Tabela 1. Wyniki dla testowanego zbioru i bieżącej konfiguracji metod.
Table 1. Results for the tested dataset and current method configurations.
W tym eksperymencie AI częściej osiągało pełną zgodność z wzorcem. Brak krytycznych zaniżeń pilności w próbie 50 zgłoszeń nie gwarantuje jednak bezpieczeństwa w innych zbiorach ani w rzeczywistym procesie.
In this experiment, AI more often achieved full agreement with the reference. However, the absence of critical urgency underestimates in a sample of 50 tickets does not guarantee safety on other datasets or in a real process.
Analiza błędów
Error analysis
Przypadki opisane w raporcie pokazują, że klasyfikacja może zawieść przy wielu wątkach, bardzo krótkiej wiadomości albo ocenie pilności. Ponieważ zespół wynika z kategorii, błędna kategoria może prowadzić do błędnego routingu.
The cases described in the report show that classification can fail on multi-topic tickets, very short messages or urgency assessment. Because the team is derived from the category, a wrong category can lead to incorrect routing.
| ID | Zaobserwowany błąd | Observed error | Status weryfikacji | Review status |
|---|---|---|---|---|
| H017 | Administracja zamiast płatności i finansów. | Administration instead of payments and finance. | Nie oznaczonoNot flagged | |
| H021 | Wielowątkowe zgłoszenie: uwaga skierowana na zamówienie/paletę zamiast płatności i finansów. | Multi-topic ticket: focus on order/pallet instead of payments and finance. | Nie oznaczonoNot flagged | |
| H022 | Obsługa klienta zamiast płatności i finansów. | Customer service instead of payments and finance. | OznaczonoFlagged | |
| H049 | „Wolne.” przypisano do obsługi klienta zamiast administracji. | “Wolne.” assigned to customer service instead of administration. | OznaczonoFlagged | |
| H050 | Pilność podniesiona do wysokiej zamiast niskiej. | Urgency raised to high instead of low. | OznaczonoFlagged |
Flaga needs_review=true ogranicza ryzyko tylko wtedy, gdy system downstream rzeczywiście zatrzymuje automatyczne przekazanie i kieruje przypadek do człowieka. Dwa opisane błędne przypisania zespołu nie zostały oznaczone do weryfikacji.
The needs_review=true flag reduces risk only if the downstream system actually stops automatic routing and sends the case to a human. Two described wrong team assignments were not flagged for review.
Ograniczenia
Limitations
- Dane syntetyczne. Mogą nie odzwierciedlać języka, niejednoznaczności i rozkładu prawdziwych zgłoszeń.
- Synthetic data. May not reflect the language, ambiguity and distribution of real tickets.
- Mała próba. 50 przypadków nie wystarcza do szerokich wniosków o niezawodności.
- Small sample. 50 cases are insufficient for broad reliability conclusions.
- Etykiety referencyjne. Wynik mierzy zgodność z przyjętym wzorcem, nie uniwersalną poprawność.
- Reference labels. The result measures agreement with the chosen reference, not universal correctness.
- Nieustalony koszt pieniężny. Nie można na tej podstawie wiarygodnie wyliczyć ROI ani oszczędności.
- Monetary cost not established. Reliable ROI or savings cannot be calculated from this test.
- Brak walidacji biznesowej. Nie mierzono czasu obsługi, kosztów operacyjnych ani satysfakcji klientów.
- No business validation. Handling time, operating costs and customer satisfaction were not measured.
Dalsze badanie
Further evaluation
Obecny zbiór testowy należy pozostawić zamrożony. Kolejny test powinien wykorzystać nowy, niezależny zbiór — najlepiej realistyczne, zanonimizowane zgłoszenia z etykietami zweryfikowanymi przez człowieka.
The current test set should remain frozen. The next test should use a new, independent dataset—ideally realistic, anonymized tickets with human-verified labels.
Przed testem należy ustalić metryki, zasady obsługi przypadków wymagających weryfikacji, warunki bezpiecznego routingu oraz sposób pomiaru kosztu pieniężnego. Dostrajanie na tych samych 50 zgłoszeniach nie byłoby niezależną walidacją.
Before testing, define metrics, review handling, safe-routing criteria and how monetary cost will be measured. Tuning on the same 50 tickets would not constitute independent validation.
Wniosek
Conclusion
Wynik uzasadnia dalsze badanie, nie wdrożenie bez walidacji.
The result justifies further testing, not deployment without validation.
Na syntetycznym zbiorze AI osiągnęło większą pełną zgodność niż porównywany zestaw reguł. Do oceny przydatności biznesowej potrzebna jest niezależna walidacja na realistycznych danych oraz sprawdzenie, czy błędne i niepewne decyzje są bezpiecznie zatrzymywane.
On the synthetic dataset, AI achieved higher full agreement than the rule-based baseline. Assessing business usefulness requires independent validation on realistic data and verification that wrong or uncertain decisions are safely stopped.
Parametry przebiegu
Run parameters
| Model | Model | composer-2.5 | |
| Czas łączny AI | Total AI runtime | 299 132 ms (~4 min 59 s) | |
| Tokeny raportowane łącznie | Total tokens reported | 223 896 | |
| Koszt pieniężny | Monetary cost | Nieustalony | Not established |
Liczba tokenów i czas wykonania nie są kosztem pieniężnym.
Token count and runtime are not monetary cost.
Masz proces, który warto sprawdzić?
Have a process worth testing?
Możemy zacząć od zdefiniowania problemu, kryteriów oceny i ograniczeń, a następnie sprawdzić, czy właściwym rozwiązaniem są reguły, AI czy połączenie obu podejść.
We can start by defining the problem, evaluation criteria and constraints, then assess whether rules, AI or a combination is the right approach.
Kontakt: info@iziagent.pl
Contact: info@iziagent.pl