P

odczas raportowania zużycia blokowej pamięci masowej na klastrze Hadoop uruchamiane jest polecenie systemu Linux: du -sk /dysk/pula-bloków. Może to powodować bardzo dużo żądań I/O oraz zwiększone obciążenie na dyskach, które posiadają bardzo wiele plików i są aktualnie utylizowane przez zadania chodzące na klastrze. Nie jest to najbardziej efektywny sposób odpytywania o zajęte miejsce szczególnie kiedy w tym czasie zasoby te powinny być przyznane na inne zadania. W wielu przypadkach może dojść do zakleszczania kiedy przetwarzanie i raportowanie jest opóźnione ze względu nałożenie się czasów wykonania tych operacji na siebie. W przypadku systemu Linux można bardzo prosto podmienić polecenie du na df – jednak w samym oprogramowaniu dystrybucji Hadoop bez aktualizacji do wyższej wersji nie jest to możliwe.
[ czytaj całość… ]

J

eśli planujemy użycie wbudowanego lub zewnętrznego kontrolera dysków warto upewnić się, że jest on wyposażony w pamięć podręczną. Ma to szczególne znaczenie w przypadku wykorzystania tradycyjnych dysków magnetycznych. Dlaczego? Ponieważ wykorzystując pamięć cache kontrolera, jak i dysków możemy znacznie przyśpieszyć opóźnienia operacji zapisu (obrazek #1 – włączenie pamięci cache). Na zaprezentowanym przykładzie włączono pamięć cache dla kontrolera Perc H730 mini za pomocą MegaCLI:

setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -EnDskCache -LAll -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -Cached -Immediate -Lall -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -WB -Immediate -Lall -aAll;
setarch x86_64 --uname-2.6 MegaCli64 -LDSetProp -ADRA -Immediate -Lall -aAll;

Jeśli nasze serwery stanowią klaster, który utrzymuje replikację danych pomiędzy różnymi węzłami – możemy także skonfigurować kontroler, aby podtrzymywał politykę wykorzystania pamięci cache nawet w przypadku utraty sprawności baterii BBU (ang. battery backup unit). Lepiej monitorować jej status i wymienić ją w dogodnym technicznie czasie niż niespodziewanie zaobserwować spadek wydajności jednego z serwerów.

Więcej informacji: Zarządzanie kontrolerem RAID firmy LSI poprzez MegaCli, Konserwacja battery backup unit (BBU/BBM) kontrolera RAID

W

większości przypadków systemy Linuksowe dobrze radzą sobie z obsługą pamięci. Istnieje zawsze ryzyko, że niektóre programy wymkną się spod kontroli i przydzielą sobie więcej pamięci niż jest normalnie możliwe i wejdą w strefę pliku wymiany. W takich sytuacjach można zaobserwować znaczne spowolnienie systemu (chyba, że używamy dysków SSD dla swap), a sprawdzenie dostępnej pamięci będzie prawdopodobnie pierwszą rzeczą jakiej należy się przyjrzeć.
[ czytaj całość… ]

Z

ałóżmy, że posiadamy serwer cache, na którym jest uruchomiony serwer varnish, ale niestety jest on wyposażony w małą ilość pamięci RAM, w której nie zmieszczą się wszystkie statyczne obiekty (obrazki, pliki js, css) dla tylu domen dla ilu jest aktualnie prowadzony ruch sieciowy. Jednak serwer wyposażony jest dodatkowo w dysk SSD, który można wykorzystać jako dodatkowy storage dla cache serwera varnish.
[ czytaj całość… ]

P

amięć cache w systemie Linux jest bardzo przydatna – potrafi wykorzystać nieużywaną pamięć RAM (nie zabierając żadnych zasobów od uruchomionych aplikacji), aby zwiększyć szybkość dostępu do obiektów znajdujących się na dysku. Prosty przykład:
[ czytaj całość… ]