Çaylak Penguen Blog

Nginx ile istenmeyen web robotlarını engellemek gerekli.

Vps servera oldukça fazla sayıda istek geldiği için haliyle sistemin kaynak tüketimi fazla oluyor.

 Nginx yapılandırma dosyamıza ekliyoruz. 

Amaç ilgili kötü web botlarına 403 kodu döndürmek.

nano /etc/nginx/sites-enable/098-contoso.com.conf

 # ------------- Kotu botlara izin yok --------------

if ($http_user_agent ~* .NET|facebookexternalhit|Barkrowler|claudebot|DotBot|bingbot|SemrushBot) {
   return 403;
}


if ($http_referer ~ "(opensiteexplorer\.org|semrush\.com|semrush\.com|ubermetrics-technologies\.com)") {
set $prohibited "1";
}
if ($prohibited) {
       return 403;
}

# ------------- Kotu botlara izin yok --------------

 

Nginx web serveri yeniden başlatalım.

nginx -s reload

şimdi kontrol edelim  kötü botlar sitemizi nasıl görüyor.

caylak@rihanna:~$ curl -A "ClaudeBot" -I https://www.contoso.com
HTTP/2 403
server: nginx/1.18.0 (Ubuntu)
date: Tue, 16 Jul 2024 19:10:51 GMT
content-type: text/html
content-length: 162

caylak@rihanna:~$ 

Kod deposu

https://git.truvalinux.org.tr/caylakpenguen/nginx-badbot

Umarım faydalı olur.

Görüş ve eleştilerinizi beklerim.

#!/bin/bash
# caylakpenguen
# Paz 24 May 2020 17:18:38 +03 
# Disk Doluluk Kontrolu....
# Disk dolulugu belirli seviyeyi gectiginde
# ilgili kisiye bildirim gonderir.
#cron gorevi icin girdi. 15 dakikada bir calisir.
# */15 * * * * /opt/disk.sh

#Tarih
TARIH=$(date '+%F-%H-%M')
## Sistem Kok Bolumu
DISKADI="/dev/sda1"

## Kime Eposta Gonderilecek...
KIME="admin@local.lan"

#data dosyasi...
MAILFILE="/tmp/eposta.txt"
DISKUSE="/tmp/diskdf.txt"
# % de olarak hesaplanir.
SINIR="90"

kontrol(){

df -h | grep "$DISKADI" | awk '{ print $5}' > $DISKUSE

DURUM=$(cat $DISKUSE | cut -f1 -d%)

if [ $DURUM -ge $SINIR ]; then
        echo "UYARI! Disk Kullanimi % $SINIR" > $MAILFILE
        echo "" >> $MAILFILE
        echo "Sistem Disk doluluk orani. % $DURUM " >> $MAILFILE
	echo "Sistem Diskinizi kontrol ediniz." >> $MAILFILE
        echo "" >> $MAILFILE
        echo "iyi calismalar..." >> $MAILFILE
	echo "$(hostname)" >> $MAILFILE
	echo "Tarih:  $TARIH ." >> $MAILFILE
        mail -s "UYARI! Disk Kullanimi 90%" $KIME < $MAILFILE
	rm -f $MAILFILE $DISKUSE
	
fi
}

#
kontrol