Çaylak Penguen Blog

Nginx ile istenmeyen web robotlarını engellemek gerekli.

Vps servera oldukça fazla sayıda istek geldiği için haliyle sistemin kaynak tüketimi fazla oluyor.

 Nginx yapılandırma dosyamıza ekliyoruz. 

Amaç ilgili kötü web botlarına 403 kodu döndürmek.

nano /etc/nginx/sites-enable/098-contoso.com.conf

 # ------------- Kotu botlara izin yok --------------

if ($http_user_agent ~* .NET|facebookexternalhit|Barkrowler|claudebot|DotBot|bingbot|SemrushBot) {
   return 403;
}


if ($http_referer ~ "(opensiteexplorer\.org|semrush\.com|semrush\.com|ubermetrics-technologies\.com)") {
set $prohibited "1";
}
if ($prohibited) {
       return 403;
}

# ------------- Kotu botlara izin yok --------------

 

Nginx web serveri yeniden başlatalım.

nginx -s reload

şimdi kontrol edelim  kötü botlar sitemizi nasıl görüyor.

caylak@rihanna:~$ curl -A "ClaudeBot" -I https://www.contoso.com
HTTP/2 403
server: nginx/1.18.0 (Ubuntu)
date: Tue, 16 Jul 2024 19:10:51 GMT
content-type: text/html
content-length: 162

caylak@rihanna:~$ 

Kod deposu

https://git.truvalinux.org.tr/caylakpenguen/nginx-badbot

Umarım faydalı olur.

Görüş ve eleştilerinizi beklerim.

 Diyelimki elimizde 1 tane public ipv4 ip adresi ve 5 tane https olarak çalışması gerekli olan web serveriniz var.

sunucuların bir kısmı Linux bir kısmı windows server olabilir tabiki :)


5 site için ayrı ayrı ipv4 adresi tahsis etmek yerine Nginx i proxy olarak kullanarak tüm serverleri yayına alabilirsiniz. 

Serverleriniz için daha güvenli bir ortama kavuşursunuz. Aşağıdaki diyagramdaki gibi yalıtılmış bir ortam oluşur.

ubuntu üzerinde sadece nginx kurmak yeterli olacaktır.

 mevcut ipv4 adresimizi nginx sunucuya tahsis etmeliyiz.

hadi başlayalim.
 
sudo apt-get install nginx -y

önce default ayarı silelim.

sudo rm /etc/nginx/sites-enabled/default


Vhost dosyamızı oluşturalım.

sudo nano /etc/nginx/sites-available/demo.com.conf


# default olarak 80 üzerinden gelen istekleri https portuna yönlendir.

#-----8< ---- 8< ------ 8< ------ 8< ------
server {
   listen 80;
   server_name example.demo.com;
   return 301 https://example.demo.com$request_uri;
 }


server {
   listen 443 ssl;
   server_name example.demo.com;
   ssl_certificate  /path/to/your/certificate;
   ssl_certificate_key  /path/to/your/certificate/key;
   ssl_prefer_server_ciphers on;

   location / {
        proxy_pass https://10.20.30.40:8091;

        proxy_set_header        Host $host;
        proxy_set_header        X-Real-IP $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header        X-Forwarded-Proto $scheme;
    }
}
#-----8< ---- 8< ------ 8< ------ 8< ------

siteyi aktif hale getirelim

sudo ln -s /etc/nginx/sites-available/demo.com.conf /etc/nginx/sites-enabled/demo.com.conf

Nginx yapılandırmasını test edelim.

sudo nginx -t

Herşey yolunda ise nginx i yeniden başlatalım.

sudo nginx -s reload

eğer yönetim için görsel arayüz isterseniz ve oldukça fazla alan adınız varsa

 nginxproxymanager kullanmanızı tavsiye ederim.

 https://nginxproxymanager.com/

nginxproxymanager Docker ile kullanılabilmektedir.

Kolay gelsin :)