W każdym dostatecznie złożonym systemie informatycznym dochodzimy w pewnym momencie do miejsca, w którym musimy sobie odpowiedzieć na pytanie: a co jeśli coś pójdzie nie tak. Jeśli mamy szczęście, to może się okazać, że rozwiązania, które wybraliśmy, dostarczają nam gotowe narzędzia do radzenia sobie w sytuacjach wyjątkowych. Może też się okazać, że nie mieliśmy tyle szczęścia i wybraliśmy Kafkę… W niniejszym wpisie znajdziesz odpowiedź na to, dlaczego w Kafce nie ma DLQ (ang. Dead Letter Queue) oraz jak sobie poradzić w sytuacji, gdy potrzebujesz takiego mechanizmu w swoim systemie.

Systemy zbudowane na bazie Apache Kafka korzystają na ogół z więcej niż jednego topika. Często też eventy w ramach pojedynczego procesu pokonują drogę pomiędzy różnymi topikami - w niektórych przypadkach ogranicza się to jedynie do przepływu pomiędzy topikami w niezmienionej formie, ale równie często rekordy na kolejnych topikach ulegają modyfikacji, np. dodawane są dane, które będą potrzebne w kolejnych krokach procesu. Event tracking pozwala na prześledzenie oraz wizualizację drogi danego eventu, czy też procesu, przez topiki na Kafce.

Niespełna dwa lata temu w artykule Kafka Companion pisałem o narzędziu, które stworzyliśmy rozwijając system oparty o event sourcing na Kafce. Kafka Companiona już nie ma, ale jest to dobra informacja, gdyż jego miejsce zajął Kouncil. Nowa wersja narzędzia oferuje wszystkie funkcje, które posiadał poprzednik i jednocześnie wprowadza nowe. Oprócz rzucającego się w oczy całkowitego redesignu aplikacji pojawiły się nowe funkcjonalności, które w szczegółach zostaną opisane w kolejnych wpisach na tym blogu.