P

ocztę e-mail kiedyś wysyłało się i odbierało w terminalu. Do dzisiaj czasami korzystam z takich programów jak mutt, czy alpine. Cała taka korespondencja jest wysyłana i odbierane przez serwer SMTP (ang. Simple Mail Transfer Protocol) Postfix. Problem w tym, że w standardowej konfiguracji odbiorca naszych wiadomości będzie w stanie zobaczyć ID naszego użytkownika w systemie:

Received: from stardust.nfsec.pl (unknown [17.197.105.219])
  by firewall.hes.trendmicro.eu (TrendMicro Hosted Email Security) with ESMTPS id 22E82
  for <abuse_the@int3rn3t.pl>; Sun, 10 Feb 2019 11:47:27 +0000 (UTC)
Received: by stardust.nfsec.pl (StarDustMX, from userid 666)
  id DD41460069; Sun, 10 Feb 2019 12:47:26 +0100 (CET)
Received: from localhost (localhost [127.0.0.1])
  by stardust.nfsec.pl (StarDustMX) with ESMTP id D60FD60068
  for <abuse_the@int3rn3t.pl>; Sun, 10 Feb 2019 12:47:26 +0100 (CET)

To samo tyczy się adresów IP komputerów w sieci wewnętrznej LAN, które mogą korzystać z takiego centralnego serwera pocztowego, czy też przypadku ukrywania się za CloudFlare, kiedy to musi zostać stworzony oddzielny serwer e-mail, aby oryginalny adres IP serwera web pozostał w ukryciu.
[ czytaj całość… ]

J

eśli chcemy odbyć krótką rozmowę o wydajności producenta kafki (w kontekście: logstash → kafka ← logstash → elasticsearch) musimy porozmawiać o dwóch rzeczach. Po pierwsze: opóźnieniu – ile czasu upłynęło od czasu wywołania metody send(), dopóki komunikat nie pojawi się na brokerze. Po drugie: przepustowości – ile wiadomości może wysłać producent do brokera na sekundę. Dlaczego musimy obawiać się o te dwie wartości? Jeśli procesowanie wiadomości zajmuje nam 10 milisekund (opóźnienie) to wyraźnie przepustowość jest ograniczona do 100 wiadomości na sekundę. Patrząc na to w ten sposób można dojść do wniosku, że im wyższe opóźnienie tym większa przepustowość. Jednak związek między opóźnieniem, a przepustowością nie jest tak trywialny.
[ czytaj całość… ]

W

przeciwieństwie do wielu podstawowych narzędzi systemów Unix i Linux, nazwa polecenia rm nie jest starsza niż sam Unix. W poprzednikach Uniksa – Compatible Time Sharing System (CTSS) i Multics, polecenie używane do usuwania plików nazywało się delete (w Multics opcjonalnie mogło zostać skrócone do dl). W systemie Unix nazwa rm została prawdopodobnie użyta, aby odzwierciedlić filozofię zmiany z usuwania plików na usuwanie wpisów, które prowadziły do ich pozycji.
[ czytaj całość… ]

A

ny-IP w Linuksie to możliwość odbierania pakietów i nawiązywania połączeń przychodzących na adresy IP, które nie są jeszcze skonfigurowane na hoście. Umożliwia to skonfigurowanie serwera, aby odpowiadał w określonym zakresie adresacji sieciowej jakby była ona lokalną – bez konieczności konfigurowania adresów na interfejsie. Dla przykładu: chcemy, aby nasza maszyna odpowiadała dla całej adresacji 192.168.0.0/24 bez konieczności konfiguracji każdego adresu IP na interfejsie/sach.
[ czytaj całość… ]

W

edług “Wprowadzenia do systemów rozproszonych” charakterystyczne opóźnienie pomiędzy węzłami ( serwerami / agentami / procesami / aktorami ) wynika z: operacji wewnątrz samych węzłów, które są “szybkie“; operacji pomiędzy węzłami, które są “wolne” – co jest szybkie, a co wolne zależne jest od tego, co wykonuje sam system. Za przykład posłuży nam klaster, który komplet danych utrzymuje po części na każdym węźle wchodzącym w jego skład. Czyli klient odpytując klaster o część interesujących go danych może odpytać o nie dowolny węzeł, ale musi poczekać aż jego odpowiedź zostanie złożona z danych zwróconych przez każdego uczestnika w klastrze. Tak na przykład działa shardowanie danych w Elasticsearch.
[ czytaj całość… ]

J

eśli jesteś administratorem sieci i klient zgłasza Ci pewne problemy z łącznością do drugiej sieci. Aby odkryć przyczynę problemu musisz znać konkretny adres IP punktu odniesienia w docelowej sieci. Każdy prawdopodobnie ma własną metodę podejścia do tego problemu. Zazwyczaj trzeba przejść przez podsieci, wyszukać adresy IP, a następnie zweryfikować możliwe straty pakietów do nich. Firma CDN77 stworzyła unikalną bazę adresów IP, które odpowiadają na ping w internecie. W celu znalezienia żądanego adresu IP dowolnej podsieci wystarczy wpisać jej adres lub numer ASN (ang. Autonomous System Number). Otrzymamy wówczas następujące informacje: listę podsieci, adresy IP odpowiadające na ping oraz czasy opóźnienia RTT (ang. Round-Trip Delay Time). Dzięki temu możemy zaoszczędzić trochę czasu na identyfikacji tego typu problemów.

Więcej informacji: IP-Radar

Poniżej znajduje się aktualizacja wcześniejszej listy:

1. CloudFlare:
– 1.1.1.1
2. Quad9:
– 9.9.9.9
3. Google:
– 8.8.8.8, 8.8.4.4
4. CleanBrowsing:
– 185.228.168.168, 185.228.168.169
5. OpenDNS:
– 208.67.220.220, 208.67.222.222
6. Norton ConnectSafe:
– 199.85.126.10, 199.85.127.10
7. Comodo Secure DNS:
– 8.26.56.26, 8.20.247.20
8. DNS.Watch:
– 84.200.69.80, 84.200.70.40
9. VeriSign Public DNS:
– 64.4.64.6, 64.6.65.6
10. Yandex DNS:
– 77.88.8.88, 77.88.8.2

Więcej informacji: DNS Resolvers Performance compared, Jak znaleźć najszybszy publiczny serwer DNS w Polsce?

J

eśli planujemy użycie wbudowanego lub zewnętrznego kontrolera dysków warto upewnić się, że jest on wyposażony w pamięć podręczną. Ma to szczególne znaczenie w przypadku wykorzystania tradycyjnych dysków magnetycznych. Dlaczego? Ponieważ wykorzystując pamięć cache kontrolera, jak i dysków możemy znacznie przyśpieszyć opóźnienia operacji zapisu (obrazek #1 – włączenie pamięci cache). Na zaprezentowanym przykładzie włączono pamięć cache dla kontrolera Perc H730 mini za pomocą MegaCLI:

setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -EnDskCache -LAll -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -Cached -Immediate -Lall -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -WB -Immediate -Lall -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -ADRA -Immediate -Lall -aAll;

Jeśli nasze serwery stanowią klaster, który utrzymuje replikację danych pomiędzy różnymi węzłami – możemy także skonfigurować kontroler, aby podtrzymywał politykę wykorzystania pamięci cache nawet w przypadku utraty sprawności baterii BBU (ang. battery backup unit). Lepiej monitorować jej status i wymienić ją w dogodnym technicznie czasie niż niespodziewanie zaobserwować spadek wydajności jednego z serwerów.

Więcej informacji: Zarządzanie kontrolerem RAID firmy LSI poprzez MegaCli, Konserwacja battery backup unit (BBU/BBM) kontrolera RAID

W

raz z użyciem w systemie Ubuntu 14.04 LTS jądra z dystrybucji 16.04, czyli Xenial (4.4.0) do obsługi procesorów z rodziny Intel (Sandy Bridge lub nowsze) używany jest sterownik intel_pstate. Na temat jego pracy istnieje wiele opracowań. Czasami wypada lepiej, a czasami gorzej. Wszystko zależy od bardzo wielu czynników np. konfiguracji sprzętu, wykorzystanego oprogramowania, charakterystyki obciążania maszyn zadaniami itd. Dlatego przed nadzieją na szybki zysk wydajności, jak zawsze należy wykonać testy na swoim środowisku zamiast ślepo ufać obcym opracowaniom. Na przykład dla serwerów ElasticSearch oraz PrestoDB bardziej opłacalnym wariantem okazało się trzymanie procesora na stałej częstotliwości (intel_pstate=disable) niż pozwalanie mu na wchodzenie na niższe wartości (zarówno wariant powersafe, jak i performance). Przełożyło się to na zmniejszenie czasów odpowiedzi (obrazek #1 – Elastic) oraz spadek obciążenia maszyn (obrazek #2 – Presto).

Więcej informacji: Intel CPUs: P-state, C-state, Turbo Boost, CPU frequency, Why does the CPU frequency fluctuate when using the performance governor?

J

edną z kluczowych spraw przy zarządzaniu danymi jest możliwość monitorowania ich stanu. Zazwyczaj oznacza to monitorowanie ich metadanych. Na szczęście standard POSIX daje nam taką możliwość za pomocą:

• właścicielstwa pliku (identyfikator użytkownika i grupy),
• uprawnienia do pliku (wszyscy, grupa, użytkownik),
• czasów pliku ( atime, ctime, mtime),
• rozmiaru pliku,
• nazwy pliku,
• prawdą: czy obiekt jest plikiem, czy katalogiem?

[ czytaj całość… ]