Blocklist.de & NGINX

[VBTECH]

Hi,

ich habe ein Script für den Einbau der Spamhaus-Listen (DROP, EDROP) in NGINX gefunden (https://github.com/perusio/nginx-spamhaus-drop).

Das funktioniert für die beiden genannten Listen auch perfekt, nur ist es mir bisher nicht gelungen, auch die gesperrten IPs von Blocklist.de einzubinden. NGINX startet dann nicht mehr neu , sondern verlangt ein ";" bzw. "or" am Ende.

Versucht hab ich es wie folgt:

## The lists URIs and respective filenames.
DROP_URI=http://www.spamhaus.org/drop/drop.txt
DROP_FILENAME=$(basename $DROP_URI)
EDROP_URI=http://www.spamhaus.org/drop/edrop.txt
EDROP_FILENAME=$(basename $EDROP_URI)
BLOCKLIST_URI= http://lists.blocklist.de/lists/all.txt
BLOCKLIST_FILENAME=$(basename $BLOCKLIST_URI)

## If the file doesn't exist create it and process the lists.
if [ ! -f $OUTPUT_FILE ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
process_lists $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"

## Grab the drop files if the Expire date of the current list has
## passed already.
if [ "$(get_list_expire_date $DROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended drop list.
if [ "$(get_list_expire_date $EDROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended blocklist.
if [ "$(get_list_expire_date $BLOCKLIST_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"
fi

Hat jemand eine Idee, dass NGINX nicht meckert. Was muss ich noch einfügen?

[VBTECH]

PS.: Den Autor des Scripts hab ich angeschrieben, leider antwortet er nicht ...

[Martin]

Hi,

wie lautet denn die genaue Fehlermeldung?

[VBTECH]

Hi,

zunächst importiert er die Listen

#File drop.txt adding 583 networks
File edrop.txt adding 22 networks
File ftp.txt adding 123 networks
File /etc/nginx/drop_list.conf written.

ftp.txt ist die Blocklist für die FTP-Angriffe (hier mal testweise ausgewählt)

dann NGINX restart ergibt:

nginx: [emerg] unexpected end of file, expecting ";" or "}" in /etc/nginx/drop_list.conf:738
nginx: configuration file /etc/nginx/nginx.conf test failed

Zeile 738 ist das Ende der importierten Liste von Blocklist.de

GEO in NGINX verlangt, dass am Ende der IP eine "1" steht, gefolgt von ";", z.B. so

5.34.242.0/24 1; # SBL154880

[VBTECH]

Hat niemand eine Idee, was man ändern/ergänzen müsste?

Bin (leider) kein IT-Techniker, bekomm es also nicht selbst hin . . .

Das original des Scripts sieht so aus (meine Änderungen, im Beitrag oben drüber); Am Ende müsste für nginx geo

IP 1; rauskommen



#!/bin/bash

### Simple shell script to create a list of IPs suitable for the Nginx
### geo module http://nginx.org/en/docs/http/ngx_http_geo_module.html
### based on the Spamhaus DROP and EDROP lists. See
### http://www.spamhaus.org/drop.

SCRIPTNAME=${0##*/}
CURL=$(command -v curl) || exit 0

## The lists URIs and respective filenames.
DROP_URI=http://www.spamhaus.org/drop/drop.txt
DROP_FILENAME=$(basename $DROP_URI)
EDROP_URI=http://www.spamhaus.org/drop/edrop.txt
EDROP_FILENAME=$(basename $EDROP_URI)

function print_usage() {
echo "Usage: $SCRIPTNAME [output file]"
}

## Get the drop list using cURL.
## $1: the list URI.
function get_drop_list() {
$CURL -s -O $1
}

## Get the expire date in UNIX epoch format.
## $1: the list file.
function get_list_expire_date() {
echo $(date --date="$(sed -n 's/^.*Expires:\(.*\)$/\1/p' $1)" '+%s')
}

## Get the list date.
## $1: the list file.
function get_list_date() {
echo $(date --date="$(sed -n 's/^.*Last-Modified:\(.*\)$/\1/p' $1)" '+%s')
}

## Format the list according to Nginx geo module format.
## $1: the list file.
function format_geo_ips() {
sed -e '/^;/d' -e 's/;/1; #/g' $1
}

## Get the list headers. Last-Modified and Expires date.
## $1: the list file.
function print_list_headers() {
sed -n 's/^; \(.*\)$/# \1/p' $1
}

## Process each list.
## $1: output filename.
## $2: list filename.
## $3: list URI.
function process_lists() {
get_drop_list $3
## Write the DROP/EDROP list file for Nginx geo.
if [ "$4" = "append" ]; then
print_list_headers $2 >> $1
else
print_list_headers $2 > $1
fi
format_geo_ips $2 >> $1
}

## Echo the number of added lines to a particular file.
## #1: drop list file.
function print_added_lines() {
echo $(wc -l $1) | awk '{print "File " $2 " adding " $1 - 3 " networks"}'
}

## Check the number of arguments.
if [ $# -gt 1 ]; then
print_usage
exit 1
fi

## Get the output filename.
OUTPUT_FILE=${1-/etc/nginx/drop_list.conf}
WRITTEN_FILE="no"

## If the file doesn't exist create it and process the lists.
if [ ! -f $OUTPUT_FILE ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
WRITTEN_FILE="yes"
fi

## Grab the drop files if the Expire date of the current list has
## passed already.
if [ "$(get_list_expire_date $DROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended drop list.
if [ "$(get_list_expire_date $EDROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
WRITTEN_FILE="yes"
fi

## Write a message about the writing of the file.
if [ "$WRITTEN_FILE" = "yes" ]; then
echo "File $OUTPUT_FILE written."
fi

[Virus2500@me.com]

Hallo,

ich schicke vorraus ich kenne nginx nicht. Aber wenn es nur darum geht das die IPs von der all.txt auch noch ein 1; nach jeder IP stehen haben muesste das so klappen

Code: Alles auswählen

#!/bin/bash

### Simple shell script to create a list of IPs suitable for the Nginx
### geo module http://nginx.org/en/docs/http/ngx_http_geo_module.html
### based on the Spamhaus DROP and EDROP lists. See
### http://www.spamhaus.org/drop.

SCRIPTNAME=${0##*/}
CURL=$(command -v curl) || exit 0

## The lists URIs and respective filenames.
DROP_URI=http://www.spamhaus.org/drop/drop.txt
DROP_FILENAME=$(basename $DROP_URI)
EDROP_URI=http://www.spamhaus.org/drop/edrop.txt
EDROP_FILENAME=$(basename $EDROP_URI)
BLOCKLIST_URI=http://lists.blocklist.de/lists/all.txt
BLOCKLIST_FILENAME=$(basename $BLOCKLIST_URI)

function print_usage() {
echo "Usage: $SCRIPTNAME [output file]"
}

## Get the drop list using cURL.
## $1: the list URI.
function get_drop_list() {
$CURL -s -O $1
}

## Get the expire date in UNIX epoch format.
## $1: the list file.
function get_list_expire_date() {
echo $(date --date="$(sed -n 's/^.*Expires:\(.*\)$/\1/p' $1)" '+%s')
}

## Get the list date.
## $1: the list file.
function get_list_date() {
echo $(date --date="$(sed -n 's/^.*Last-Modified:\(.*\)$/\1/p' $1)" '+%s')
}

## Format the list according to Nginx geo module format.
## $1: the list file.
function format_geo_ips() {
sed -e '/^;/d' -e 's/;/1; #/g' $1
}

function format_nogeo_ips() {
sed ':a;N;$!ba;s/\n/ 1;\n/g' $1
}
## Get the list headers. Last-Modified and Expires date.
## $1: the list file.
function print_list_headers() {
sed -n 's/^; \(.*\)$/# \1/p' $1
}

## Process each list.
## $1: output filename.
## $2: list filename.
## $3: list URI.
function process_lists() {
get_drop_list $3
## Write the DROP/EDROP list file for Nginx geo.
if [ "$4" = "append" ]; then
print_list_headers $2 >> $1
else
print_list_headers $2 > $1
fi
format_geo_ips $2 >> $1
}

function process_lists_blocklistDe() {
get_drop_list $3
## Write the DROP/EDROP list file for Nginx geo.
if [ "$4" = "append" ]; then
print_list_headers $2 >> $1
else
print_list_headers $2 > $1
fi
format_nogeo_ips $2 >> $1
}

## Echo the number of added lines to a particular file.
## #1: drop list file.
function print_added_lines() {
echo $(wc -l $1) | awk '{print "File " $2 " adding " $1 - 3 " networks"}'
}

## Check the number of arguments.
if [ $# -gt 1 ]; then
print_usage
exit 1
fi

## Get the output filename.
OUTPUT_FILE=${1-/etc/nginx/drop_list.conf}
WRITTEN_FILE="no"

## If the file doesn't exist create it and process the lists.
if [ ! -f $OUTPUT_FILE ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
process_lists $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"
fi

## Grab the drop files if the Expire date of the current list has
## passed already.
if [ "$(get_list_expire_date $DROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended drop list.
if [ "$(get_list_expire_date $EDROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended blocklist.
if [ "$(get_list_expire_date $BLOCKLIST_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists_blocklistDe $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"
fi

## Write a message about the writing of the file.
if [ "$WRITTEN_FILE" = "yes" ]; then
echo "File $OUTPUT_FILE written."
fi

erstellt bei mir unter /etc/nginx/drop_list.conf ein file wo unter anderem auch die eintraege der all.txt stehen (halt ohne #SBL....)

[VBTECH]

Hi,

zunächst Danke!

Habs mit ftp.txt, imap.txt und all.txt getestet und bekomme leider folgende (identische) Fehlermeldungen:

# bash nginx-drop-fetch
sed: kann imap.txt nicht lesen: Datei oder Verzeichnis nicht gefunden
File imap.txt adding 838 networks
File /etc/nginx/drop_list.conf written.

# nginx restart
nginx: [emerg] invalid number of the geo parameters in /etc/nginx/drop_list.conf:1476
nginx: configuration file /etc/nginx/nginx.conf test failed

Ein Blick in die drop_lis.conf zeigt folgendes:

Die Listen von blocklist.de werden (im Block) jeweils 2x eingelesen, zuerst einmal ohne "1;" und danach einmal mit "1;" am Ende der Zeile.
Bei den IPs (im Block) mit "1;" am Ende fehlt zwischendurch mal plötzlich "1;" am Ende. Nach Vergleich mit dem Original, z.B. der all.txt von Blocklist.de, scheinen da IPv6-Adressen drin zu stehen, die das Script nicht verarbeiten kann
Die letzte IP des Blocks mit "1;" am Ende wird ohne "1;" dargestellt.

[Virus2500@me.com]

Hello,

aendere doch bitte mal in der function_format_nogeo_ips
sed ':a;N;$!ba;s/\n/ 1;\n/g' $1
auf
sed -e 's/$/ 1;/g' $1

Du müsstest allerdings die /etc/nginx/drop_list mal leeren und auch die all.txt, edrop.txt und drop.txt löschen und nochmal starten.

Selbst dann gibt es allerdings noch immer ein Problem weil die edrop und drop liste ein ablaufdatum haben. Die all.txt von blocklist aber nicht und irgendwo checkt das script es dann nicht und schreibt die IPs von blocklist immer wieder neu rein. Sprich bei jedem run des scripts kommt die Liste wieder rein. Mit Bash scripten hab ich zu wenig erfahrung um das umgehen zu können.

Wenn es darum geht das die IPs von blocklist gar keinen Zugriff haben kann ich dir mein Perl script anbieten (ich weiß eigenwerbung stinkt ).
https://github.com/virus2500/blocklist-with-ipset
Das arbeitet mit Perl, iptables und ipset.

Wenn du es aber direkt mit nginx blocken willst steh ich wohl leider jetzt auch an...

[VBTECH]

Also ich habs probiert:

Er schreibt jetzt die IPs von z.B. ftp..txt alle mit "1;" am Ende, allerdings 2x in die Datei.

erst oim Block ohne "1;" und dann mit "1;"

Du musst ein wenig zurück gegehnin der Datei, dann siehst du es.

Da muss irgendwo was doppelt im Script sein . . . ich find es aber nicht

[Virus2500@me.com]

hmm. also entweder hab ich was vergessen zu erwähnen oder... Bei mir ist es nicht doppelt (oder ich bin blind)

Code: Alles auswählen

root@home:/home/myUsername/nginx# rm all.txt
root@home:/home/myUsername/nginx# rm edrop.txt
root@home:/home/myUsername/nginx# rm drop.txt
root@home:/home/myUsername/nginx# echo > /etc/nginx/drop_list.conf
root@home:/home/myUsername/nginx# ./blocklist.sh
sed: can't read drop.txt: No such file or directory
File drop.txt adding 606 networks
sed: can't read edrop.txt: No such file or directory
File edrop.txt adding 22 networks
sed: can't read all.txt: No such file or directory
File all.txt adding 22128 networks
File /etc/nginx/drop_list.conf written.

Dabei kommt bei mir das raus: https://www.dropbox.com/sh/wbsjnfc6jgrl ... FGA1Eppqja

Vermutlich hab ich irgendwas gemacht und vergessen zu erwähnen... Hier nochmal das ganze Script.

Code: Alles auswählen

#!/bin/bash

### Simple shell script to create a list of IPs suitable for the Nginx
### geo module http://nginx.org/en/docs/http/ngx_http_geo_module.html
### based on the Spamhaus DROP and EDROP lists. See
### http://www.spamhaus.org/drop.

SCRIPTNAME=${0##*/}
CURL=$(command -v curl) || exit 0

## The lists URIs and respective filenames.
DROP_URI=http://www.spamhaus.org/drop/drop.txt
DROP_FILENAME=$(basename $DROP_URI)
EDROP_URI=http://www.spamhaus.org/drop/edrop.txt
EDROP_FILENAME=$(basename $EDROP_URI)
BLOCKLIST_URI=http://lists.blocklist.de/lists/all.txt
BLOCKLIST_FILENAME=$(basename $BLOCKLIST_URI)

function print_usage() {
echo "Usage: $SCRIPTNAME [output file]"
}

## Get the drop list using cURL.
## $1: the list URI.
function get_drop_list() {
$CURL -s -O $1
}

## Get the expire date in UNIX epoch format.
## $1: the list file.
function get_list_expire_date() {
echo $(date --date="$(sed -n 's/^.*Expires:\(.*\)$/\1/p' $1)" '+%s')
}

## Get the list date.
## $1: the list file.
function get_list_date() {
echo $(date --date="$(sed -n 's/^.*Last-Modified:\(.*\)$/\1/p' $1)" '+%s')
}

## Format the list according to Nginx geo module format.
## $1: the list file.
function format_geo_ips() {
sed -e '/^;/d' -e 's/;/1; #/g' $1
}

function format_nogeo_ips() {
#sed ':a;N;$!ba;s/\n/ 1;\n/g' $1
sed -e 's/$/ 1;/g' $1
}

## Get the list headers. Last-Modified and Expires date.
## $1: the list file.
function print_list_headers() {
sed -n 's/^; \(.*\)$/# \1/p' $1
}

## Process each list.
## $1: output filename.
## $2: list filename.
## $3: list URI.
function process_lists() {
get_drop_list $3
## Write the DROP/EDROP list file for Nginx geo.
if [ "$4" = "append" ]; then
print_list_headers $2 >> $1
else
print_list_headers $2 > $1
fi
format_geo_ips $2 >> $1
}

function process_lists_blocklistDe() {
get_drop_list $3
## Write the DROP/EDROP list file for Nginx geo.
format_nogeo_ips $2 >> $1
}

## Echo the number of added lines to a particular file.
## #1: drop list file.
function print_added_lines() {
echo $(wc -l $1) | awk '{print "File " $2 " adding " $1 - 3 " networks"}'
}

## Check the number of arguments.
if [ $# -gt 1 ]; then
print_usage
exit 1
fi

## Get the output filename.
OUTPUT_FILE=${1-/etc/nginx/drop_list.conf}
WRITTEN_FILE="no"

## If the file doesn't exist create it and process the lists.
if [ ! -f $OUTPUT_FILE ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
process_lists $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"
fi

## Grab the drop files if the Expire date of the current list has
## passed already.
if [ "$(get_list_expire_date $DROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $DROP_FILENAME $DROP_URI
print_added_lines $DROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended drop list.
if [ "$(get_list_expire_date $EDROP_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists $OUTPUT_FILE $EDROP_FILENAME $EDROP_URI "append"
print_added_lines $EDROP_FILENAME
WRITTEN_FILE="yes"
fi

## Ditto for the extended blocklist.
if [ "$(get_list_expire_date $BLOCKLIST_FILENAME)" -lt "$(date '+%s')" ]; then
process_lists_blocklistDe $OUTPUT_FILE $BLOCKLIST_FILENAME $BLOCKLIST_URI "append"
print_added_lines $BLOCKLIST_FILENAME
WRITTEN_FILE="yes"
fi

## Write a message about the writing of the file.
if [ "$WRITTEN_FILE" = "yes" ]; then
echo "File $OUTPUT_FILE written."
fi

[VBTECH]

Hi,

ich habs getest (vorher alle alten Dateien zu dem Script gelöscht) und wieder sind die IPs von blocklist.de doppelt drin und zwar unmittelbar nach den IPs von Spamhaus (EDROP) und ohne "; 1":

208.38.131.0/24 1; # SBL178294
208.38.135.0/24 1; # SBL178295
212.95.144.0/22 1; # SBL198435
1.163.161.184
1.164.88.178
1.165.169.77

Danach kommen die IPs von blocklist.de erneut, aber in dieser Form:

46.227.71.217 1;
46.227.71.218 1;
46.227.71.219 1;
46.227.71.220 1;
46.227.71.221 1;



Ich versteh es nicht mehr ...

[Virus2500@me.com]

Hast du es nochmal mit dem ganzen Script probiert was ich in viewtopic.php?f=11&t=210&p=734#p731 gepostet habe? Vielleicht hab ich wirklich irgendwas anders als du?!

Ansonsten versteh ich auch nicht wo der Unterschied wäre?!

[VBTECH]

Hi,

ja, ich habe das sogar rauskopiert und auf dem Server einkopiert! Ich versteh es nicht, was da los ist, schon beim Erstellen von drop.list sihet man, dass die Blocklist.de IPs doppelt geladen werden.

Gibt es hier noch jemanden der uns weiterhelfen kann ....????

[Martin]

Hi,

auf der Shell könnte man mit:
cat drop.list | sort | uniq > datei-einzeln.list
sortiert und doppelte IPs aussortiert werden.