D

zisiaj stworzymy sobie małe wejście do szyny danych wzbogacającej o metadane adres IP klienta. Prototyp o nazwie Interceptor, który zademonstruje użyje JA3 do fingerprintingu botów, skanerów, szkodliwego oprogramowania oraz innych programów, które korzystają w komunikacji z protokołu HTTPS. Zacznijmy od JA3. Firma Salesforce otworzyła tę metodę fingerprintigu klientów TLS w 2017 roku. Podstawowa koncepcja pobierania “cyfrowych odcisków palców” od klientów TLS pochodzi z badań Lee Brotherstona (w 2015 roku wygłosił on prezentację na ten temat). Jak wiemy TLS i jego poprzednik SSL, są używane do szyfrowania komunikacji dla popularnych aplikacji, aby zapewnić bezpieczeństwo danych. Aby zainicjować sesję TLS klient wysyła pakiet: TLS Client Hello po potrójnym uścisku dłoni TCP. Pakiet ten i sposób, w jaki jest generowany, zależy od metod i innych pakietów / bibliotek oprogramowania użytych podczas budowania danej aplikacji klienckiej.
[ czytaj całość… ]

W

poprzedniej części zebraliśmy i przygotowaliśmy do wstępnej obróbki zbiór danych pochodzący z skracarek URL. W tej części zajmiemy się jego umieszczeniem w silniku wyszukiwania, który umożliwi nam bardzo szybkie pozyskiwanie interesujących nas informacji. Jak wcześniej wspomnieliśmy na naszej maszynie wirtualnej uruchomiony jest system Ubuntu 18.04 LTS. Sama maszyna ma 2 CPU / 4 GB RAM oraz 100 GB dysku z czego 57 GB jest już zajęte przez ściągnięte, skompresowane dane. W tej części artykułu interesuje nas stworzenie następnego przepływu danych:

[/data/archive/*/*/*.txt] --> [logstash] --> [elasticsearch] --> [kibana]

[ czytaj całość… ]

J

eśli chcemy odbyć krótką rozmowę o wydajności producenta kafki (w kontekście: logstash → kafka ← logstash → elasticsearch) musimy porozmawiać o dwóch rzeczach. Po pierwsze: opóźnieniu – ile czasu upłynęło od czasu wywołania metody send(), dopóki komunikat nie pojawi się na brokerze. Po drugie: przepustowości – ile wiadomości może wysłać producent do brokera na sekundę. Dlaczego musimy obawiać się o te dwie wartości? Jeśli procesowanie wiadomości zajmuje nam 10 milisekund (opóźnienie) to wyraźnie przepustowość jest ograniczona do 100 wiadomości na sekundę. Patrząc na to w ten sposób można dojść do wniosku, że im wyższe opóźnienie tym większa przepustowość. Jednak związek między opóźnieniem, a przepustowością nie jest tak trywialny.
[ czytaj całość… ]

W

2015 roku, dane 13 milionów użytkowników programu MacKeeper wyciekły, z powodu przechowywania ich w otwartej bazie MongoDB. Wówczas, sam autor wyszukiwarki shodan.io przeprowadził badanie i wykrył, że publicznie dostępnych jest około 600 TB danych. Po publikacji wyników badania w lipcu ubiegłego roku, już w grudniu okazało się, że ilość publicznie dostępnych baz NoSQL wzrosła o 5 tysięcy, a ilość danych osiągnęła wolumen 685 TB. Świat devopsów, zamiast wyciągnąć z zaistniałej sytuacji, jeszcze bardziej pogrążył się w koszmarze nieautoryzowanego dostępu do danych.
[ czytaj całość… ]