Statistik?

Alle Fragen, die rund um Fail2Ban (Konfiguration, Fehler, Filter...) sind.
Antworten
nuhll
Beiträge: 8
Registriert: 8. Mär 2016, 18:55

Statistik?

Beitrag von nuhll » 11. Mär 2016, 14:28

Hi,
mich würde mal interessieren ....

wie viele Server habt ihr?
wie hoch ist die Auslastung?
wie viel Traffic habt ihr?

Wie finanziert ihr das hier?

Benutzeravatar
Martin
Beiträge: 397
Registriert: 14. Sep 2010, 11:54
Kontaktdaten:

Re: Statistik?

Beitrag von Martin » 11. Mär 2016, 15:44

Hi Nuhll,

meinst du blocklist.de selbst oder andere User?

Also blocklist.de entstand gegen 2004/2006 und hatte eigentlich damals nur eine Statistik-Seite gehabt und normale ARF-Mails versendet, wobei es keinen Header gab und kein Spam war.
Dann ist die erste Version der Webseite gestartet und es kam dann immer mehr dazu.
Dann haben wir zusammen mit dem Eco, abusix und einigen Providern x-arf gebaut um auch alles andere ausser spam automatisch handeln zu können.
nuhll hat geschrieben:wie viele Server habt ihr?
Aktuell kommt ein großer Webserver zum Einsatz, der nur die api, Webseite und Blog bereitstellt (ohne mysql).
Ein MySQL-Server, der entsprechend nur Zugriffe von den internen IPs/Systemen zulässt und wo nur der Percona-MySQL-Server drauf läuft, sonst nichts.
Ein Backup-Webserver, welcher aktuell defekt ist und ich gerade neu baue.
Zwei MX-Loadbalancer, welche an die dahinter liegenden Parsing-Server die Mails weiterleiten. Da sind je nach Auslastung zwischen 4 und 12 Server im Einsatz (Cloud-VPS).
Zwei Mail-Server/Storage-Server, die auch RBL-Dienste mit zur Verfügung stellen.
Und einen kleinen vps in den USA, der nur die RBL zur Verfügung stellt.

nuhll hat geschrieben:wie hoch ist die Auslastung?
Dies ist unterschiedlich. Wenn viel rein kommt ist die load meist um den dreh von 2, wenn Backups laufen oder die Grafiken generiert werden, dann auch mal bei 10-20.
Die Reporting-Server haben meist eine load von unter 3. Wenn die höher geht, schalte ich weitere Server dazu, da es sonst sich hoch schaukelt und dann die Load schnell mal bei 100/200 ist und der Reporting-Server abschmiert.
nuhll hat geschrieben:wie viel Traffic habt ihr?
Im Durchschnitt so 3TB im Monat. Wenn es neue Sicherheitslücken/Runs gab, dann geht es auch auf 6TB hoch, dies schwankt aber sehr stark.
nuhll hat geschrieben:Wie finanziert ihr das hier?
Aktuell ich privat. Es kosten alle Server zusammen dank Sponsoring knapp 300€ im Monat.
Durch die Google-Werbung kommt etwa alle 3 Monate 100€ rein. Ohne das Sponsoring von meinem Arbeitgeber (Provider) würde es gut 800€ im Monat kosten.
Ab und zu kommt mal eine kleine Spende von 10-20Euro rein und einmal im Jahr 100€.
Mfg Martin
http://www.blocklist.de/de/ Fail2Ban Reporting Service

nuhll
Beiträge: 8
Registriert: 8. Mär 2016, 18:55

Re: Statistik?

Beitrag von nuhll » 11. Mär 2016, 20:06

Krass, hätte nicht gedacht das dass so arbeitsintensiv ist.

Größte Projekt was ich damals hatte war ein Forum mit bis zu 1000 benutzern gleichzeitig, dort hatte ich dann 1x MySQL 1x Nginx (load balancer) und 1x Apache. Waren aber net alle Ausgelastet.Waren aber auch Root Server, weiß net wie das bei euch ist.

Selbst 3 TB ist schon ne Hausnummer...

Benutzeravatar
Martin
Beiträge: 397
Registriert: 14. Sep 2010, 11:54
Kontaktdaten:

Re: Statistik?

Beitrag von Martin » 11. Mär 2016, 20:22

Seit ein paar Jahren, ist es "eigentlich" stabil und es gibt nur noch wenige Sachen zum einbauen.
Es gibt so im Durchschnitt pro Woche 10 Support-Mails, wo es um Nat's und Proxy-Server oder anderes geht.

Ja, die Haupt-Server sind auch alle Root-Server P60. Die Reporting-Server zum parsen, sind vps (Cloud), da es billiger und schneller kommt, lieber ein paar kleine zu clonen, als dauerhaft dafür eine riesen große Maschine zu betreiben.
Und das hat den Vorteil, wenn auf einmal plötzlich ein großer Anstieg kommt, die Systeme dann nicht ausfallen, weil z.B. 2.000 Mails auf einer Maschine geparst werden muss. Die Load steigt zwar, aber das verteilt sich dann gleichmäßig und man kann einfach neue Server auftauen/clonen und hat so mehr Ressourcen in ein paar Minuten dazu geschaltet.

Aktuell sind bei blocklist.de über 3.031 User registriert und dahinter sind grob 8.000 Server, welche an uns reporten.
Bei einigen Usern, reporten mehr Server mit der gleichen Adresse/Profil, weshalb es bei blocklist 1 Server ist, aber in Wahrheit die Daten von 100 Servern kommen.
Mfg Martin
http://www.blocklist.de/de/ Fail2Ban Reporting Service

Antworten