Z

a pomocą HTTPsrvREAPER (uruchomionego w pięciu wątkach) oraz pracującego dzień i noc Raspberry Pi udało się przeskanować przeanalizować w czasie od sierpnia 2014 r. do kwietnia 2015 r. sieci z zakresu: 1.0.0.0/8 – 5.0.0.0/8. Razem powstało 1.312.618 wpisów zawierających informacje o używanej (bądź nie – Undefined) wersji oprogramowania serwera httpd przez dany adres IP.

Wszystkie logi poszczególnych podsieci zostały zebrane w jeden plik from1to5.log.jsons i zaimportowane do silnika bazy danych rethinkdb:

darkstar:~$ rethinkdb import -f from1to5.log.jsons --table httpservers.from1to5 --force
1312618 rows imported in 1 table
  Done (230 seconds)

Następnie prostym skryptem korzystającym z API tej bazy zostały policzone wszystkie unikalne wystąpienia poszczególnych nagłówków “Server” i wrzucone do osobnej tabeli stats:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import rethinkdb as r
import json

net = r.connect(db='httpservers')
servers = r.table('5th').pluck('Server').distinct().run(net)
# clean = r.table("stats").delete().run(net)

# print len(servers)

for s in servers:
    srv = unicode(s['Server'])
    cnt = r.table('5th').filter({"Server": srv}).count().run(net)
    print "Server: " + srv + " in count " + str(cnt)
    r.table('stats').insert({ "Server": srv, "Number": cnt }).run(net)

Według zapytania .distinct w bazie znalazło się 7331 unikalnych nagłówków HTTP, które wystarczyło posortować po największej liczbie wystąpień danego serwera:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import rethinkdb as r
import json

net = r.connect(db='httpservers')

stats = r.table('stats').order_by(index=r.desc('Number')).run(net)

a wyniki przedstawić w formie tabeli: