NFsec Logo

Przyśpieszanie odczytu zajętości dysków na Hadoop < 2.8.X

25/03/2020 (2 tygodnie temu) w Administracja Możliwość komentowania Przyśpieszanie odczytu zajętości dysków na Hadoop < 2.8.X została wyłączona

P

odczas raportowania zużycia blokowej pamięci masowej na klastrze Hadoop uruchamiane jest polecenie systemu Linux: du -sk /dysk/pula-bloków. Może to powodować bardzo dużo żądań I/O oraz zwiększone obciążenie na dyskach, które posiadają bardzo wiele plików i są aktualnie utylizowane przez zadania chodzące na klastrze. Nie jest to najbardziej efektywny sposób odpytywania o zajęte miejsce szczególnie kiedy w tym czasie zasoby te powinny być przyznane na inne zadania. W wielu przypadkach może dojść do zakleszczania kiedy przetwarzanie i raportowanie jest opóźnione ze względu nałożenie się czasów wykonania tych operacji na siebie. W przypadku systemu Linux można bardzo prosto podmienić polecenie du na df – jednak w samym oprogramowaniu dystrybucji Hadoop bez aktualizacji do wyższej wersji nie jest to możliwe.
[ czytaj całość… ]

Tropienie pożeracza dysku

21/07/2009 w Hacks & Scripts Możliwość komentowania Tropienie pożeracza dysku została wyłączona

P

rzedstawiony hack jest tłumaczeniem „Playing Hunt the Disk Hog” z książki „Linux Servers Hacks” autorstwa Rob’a Flickenger’a udostępnionym on-line (Hack #15) na stronie http://hacks.oreilly.com. Do tłumaczenia zostało dodane także parę informacji od tłumacza.
[ czytaj całość… ]