NFsec Logo

Przyśpieszanie odczytu zajętości dysków na Hadoop < 2.8.X

25/03/2020 (6 dni temu) w Administracja Możliwość komentowania Przyśpieszanie odczytu zajętości dysków na Hadoop < 2.8.X została wyłączona

P

odczas raportowania zużycia blokowej pamięci masowej na klastrze Hadoop uruchamiane jest polecenie systemu Linux: du -sk /dysk/pula-bloków. Może to powodować bardzo dużo żądań I/O oraz zwiększone obciążenie na dyskach, które posiadają bardzo wiele plików i są aktualnie utylizowane przez zadania chodzące na klastrze. Nie jest to najbardziej efektywny sposób odpytywania o zajęte miejsce szczególnie kiedy w tym czasie zasoby te powinny być przyznane na inne zadania. W wielu przypadkach może dojść do zakleszczania kiedy przetwarzanie i raportowanie jest opóźnione ze względu nałożenie się czasów wykonania tych operacji na siebie. W przypadku systemu Linux można bardzo prosto podmienić polecenie du na df – jednak w samym oprogramowaniu dystrybucji Hadoop bez aktualizacji do wyższej wersji nie jest to możliwe.
[ czytaj całość… ]

Kroniki Shodana: Klastry Hadoop

20/07/2017 w Pen Test Możliwość komentowania Kroniki Shodana: Klastry Hadoop została wyłączona

W

naszej serii o różnych, popularnych rozwiązaniach wśród środowisk DevOps mamy już Elasticsearch oraz Mesos/Marathon. Natomiast jeśli skupimy się stricte na ilości ujawnianych danych okazuje się, że prawdziwie miażdżącą siłą w tej kategorii jest Hadoop/HDFS. Nawet taki gigant, jak MongoDB nie jest mu w stanie dotrzymać kroku. Pod koniec maja tego roku na około (i tylko) 4500 instancjach rozproszonego systemu plików HDFS udostępnionych zostało blisko 5 PB danych. Najwięcej z nich znajduje się na terenie USA oraz Chin, gdzie za ich hosting odpowiedzialne są takie firmy, jak Amazon oraz Alibaba (obrazek #1 – mapa rozproszenia instalacji HDFS – źródło).
[ czytaj całość… ]