P

odczas raportowania zużycia blokowej pamięci masowej na klastrze Hadoop uruchamiane jest polecenie systemu Linux: du -sk /dysk/pula-bloków. Może to powodować bardzo dużo żądań I/O oraz zwiększone obciążenie na dyskach, które posiadają bardzo wiele plików i są aktualnie utylizowane przez zadania chodzące na klastrze. Nie jest to najbardziej efektywny sposób odpytywania o zajęte miejsce szczególnie kiedy w tym czasie zasoby te powinny być przyznane na inne zadania. W wielu przypadkach może dojść do zakleszczania kiedy przetwarzanie i raportowanie jest opóźnione ze względu nałożenie się czasów wykonania tych operacji na siebie. W przypadku systemu Linux można bardzo prosto podmienić polecenie du na df – jednak w samym oprogramowaniu dystrybucji Hadoop bez aktualizacji do wyższej wersji nie jest to możliwe.
[ czytaj całość… ]

W

poprzedniej części – dzięki zmiennej środowiskowej udało nam się przyśpieszyć działanie polecenia grep. Dzisiaj zajmiemy się poleceniem: ls. Jeśli polecenie to zajmuje dłuższy czas dla wylistowania bardzo dużej liczby plików – szczególnie jeśli są one umieszczone na sklastrowanych systemach plików typu Lustre możemy sprawdzić, czy ustawienie zmiennej dla niewyświetlania kolorów podczas listowania przyśpieszy operację:

export LS_COLORS='ex=00:su=00:sg=00:ca=00:'

Czyli prosimy ls o niekolorowanie na listingu plików z bitem setuid/setgid, flagą wykonywalności lub możliwościami opartymi na plikach. Analogicznie możemy przyśpieszyć w określonych warunkach (zależy po jakiej treści sortujemy) sortowanie bardzo dużych plików poprzez ustawienie:

export LC_COLLATE=C
export LANG=C

Tylko musimy liczyć się z faktem, że zmieni się zachowanie sortowania, ponieważ program sort uwzględnia te zmienne przy decydowaniu o jego kolejności. Np. LC_COLLATE o wartości en_US.UTF-8 spowoduje, że małe litery zostaną posortowane przed wielkimi literami.

Więcej informacji: When setting an environment variable gives you a 40x speedup

K

onfiguracja SSH oprócz: zezwolenia wybranych użytkowników; wyłączenia / podkręcenia niektórych funkcji; zastanawiania się czy hasłem, czy kluczem i którym portem – przede wszystkim powinna się skupić na rodzajach algorytmów, które oferują nam bezpieczną, szyfrowaną transmisję. Od strony manualnej możemy skorzystać z dobrego przewodnika Mozilli lub zaprząc do tego automat, który podpowie nam, jakie algorytmy są już przestarzałe i nie powinny być już oferowane od strony serwera w naszej wersji:
[ czytaj całość… ]

C

iekawy trick zaprezentowany przez Brendan’a Gregg’a z firmy Joyent w przemówieniu na konferencji LISA 13 pt. Blazing Performance with Flame Graphs. Wyniki testu mogą zależeć od wielkości testowanego pliku i rodzaju szukanej fazy:

# export | grep LANG
declare -x LANG="pl_PL.UTF-8"
# du -h access.log.1
436M	access.log.1
# time grep -i 500 access.log.1 > /dev/null
real	0m38.765s
user	0m31.506s
sys	0m0.420s
# echo 3 > /proc/sys/vm/drop_caches
# time LANG=C grep -i 500 access.log.1 > /dev/null
real	0m21.762s
user	0m0.636s
sys	0m0.268s

Więcej informacji: Make grep 50x faster

W

edług protalu webhosting.pl od wersji 3.2 jądra Linuksa został zwiększony rozmiar okna ograniczenia przesyłu (ang. the initial congestion window) z 3 do 10. Sam Saffron po wykonaniu kilku testów udowodnił, że tuning mechanizmu Slow-start pozwala na przyśpieszenie ładowania strony WWW (jeśli zastosujemy zmiany na maszynie pełniącej rolę web serwera) nawet do 25% – bez żadnej ingerencji w warstwę aplikacji. Podobne testy przeprowadzili technicy wyszukiwarki Cheméo uzyskując w własnych warunkach 20% przyśpieszenie. Czy osoby pragnące wprowadzić podobne zmiany skazane są na oczekiwanie, aż popularne dystrybucje zaczną używać jądra w wersji 3.2 – jak np. Ubuntu 12.04?
[ czytaj całość… ]

W

iększość współdzielonych konfiguracji hostingowych zezwala na używanie plików .htaccess w określonych ścieżkach, gdzie przetrzymywane są strony klientów. Tyczy się to również konfiguracji przewidzianych dla dedykowanych projektów. Jak wynika z obserwacji Dawida Golunskiego przeniesienie konfiguracji z plików .htaccess (i tym samym ominięcia konieczności ich używania) do plików konfiguracyjnych hostów wirtualnych może przynieść zwiększenie wydajności serwera WWW do około 6.6% (w zależności od środowiska testowego i produkcyjnego wartość ta może być mniejsza lub większa).
[ czytaj całość… ]

P

odczas startowania systemu przy użyciu bootloadera jakim jest LILO, po wybraniu przez użytkownika jądra Linuksa z menu kontekstowego widzimy “magiczne kropki” sugerujące, że coś jest ładowane w trybie postępowym. Oczywiście możemy darować sobie kropki i przejść od razu do sedna sprawy.
[ czytaj całość… ]

P

reload jest „adaptacyjnym demonem, który wczytuje programy z wyprzedzeniem”. Choć jego idea powstała kilka lat temu – działaniem porównywalny jest on z programem SuperFetch z systemu Vista. Poprzez działanie w tle obserwuje, które programy w systemie są najczęściej uruchamiane wprowadzając je do swojej pamięci cache. Po nauczeniu się programów umożliwia wczytanie ich do pamięci z wyprzedzeniem, co umożliwia szybsze ich uruchomienie. W ten sposób preload umożliwia wykorzystanie nieużywanej pamięci RAM oraz poprawę wydajności naszego systemu.
[ czytaj całość… ]

P

ytanie jest następujące: Używam serwera plików, który jest obsługiwany przez system Linux, a na nim posiadam partycję (/dev/sdb2) na systemie plików EXT3. Jak mogę zwiększyć wydajność mojego serwera? Dodam tylko, że posiadam na nim dużo plików i katalogów o dużej zajętości.
[ czytaj całość… ]