robots.txt dosyasına aldırmayan botlarla karşı önlem


robots.txt dosyasına aldırmayan botlarla karşı önlem

Günümüzde değerler okadar çarpıtılıp doğrular eğri , eğriler doğru hale geldiki şaşırmamak mümkün değil , insanlar birilerinin hayatları boyunca çalışarak elde ettikleri yada biriktirdikleri , paraları ,

bilgileri … ele geçirmek için neredeyse ruhlarını şeytana satacaklar (belkide yapmışlardır bile) dinlerde böylesi zamanlar için Deccal den bahsedilir , günümüzde milyonlarca deccal var , Eğer bir web sayfanız var ve yıllardır bu sayfaya bilgi girişi yapıyorsanız kendini uyanık sanan kafası basmayan birileri ya sağdan soldan birkaç kod edinerek yada 3 kuruş verip birilerine bot yazdırarak sitenizdeki verileri çekmeye çalışabilir , son zamanlarda Googlenin aldığı tedbirler ve bu konudaki bazı düzenlemelerle bu işler azalsada sırf arşiv yapmak için bile içeriğinizi çalmak isteyenler olabilir bu konuda çeşitli tedbirler mevcut bunlarden belkide en etkilisi resimli anlatımlara filigran eklemektir , böylece bot ile içeriğiniz çalınsa bile filigranları tek tek silmekle kimse uğraşmak istemez , aynen de yayımlayamaz (google ye şikayetle indexten silinirler , bulunduğu server ile temasa geçilip yasal yaptırımlar uygulanabilir… , tek tek resimleri değiştirse bile yazı içeriğini yeniden derlemesi gerek ki Hırsızımız bunları yapana kadar özgün başlıklar açarak webde çok daha iyi yerlere gelebilir ilaveten reklam geliri de olacaktır , Görüldüğü gibi artık eskisi gibi çalıp yayımlama devri neredeyse bitti , çünkü deneyenler cezasız bırakılmıyor , her ne sebeple olursa olsun web sitenizdeki bilgilerin sizden izinsiz kopyalanması rahatsız edici bir olaydır ve bunu engellemek isteyebilirsiniz işte bu yazımızdada izinsiz botlara karşı .htaccess ile önlem almaya çalışacağız

web bots

Yasaklamak istediğimiz botu öncelikle robots.txt dosyası ile yasaklamayı deneyelim:

User-agent: spbot
Disallow: /

User-agent: OpenLinkProfiler
Disallow: /

User-agent: niki-bot
Disallow: /

User-agent: Ruby
Disallow: /

User-agent: linkdexbot
Disallow: /

User-agent: proximic
Disallow: /

Üstteki kodlarda spbot,proximic … gibi botlara sitemi ziyaret etme diyorum , elbette içeriğinizi çalmak isteyen birinin elindeki bot robots.txt dosyasına aldırmayabilir , böylesi bir durumda Buradaki yöntemler denenebilir böylece robots.txt dosyasına aldırmayan botlar IP banına maruz kalacaklardır , Bunu aşmak için de kafa yoranlar olmuş ve geçenlerde sordum.net içeriğine her bir başlığı ayrı bir IP ile çalmaya çalışan bir bot ile saldırdılar , bu tür bir BOT a karşı IP banı işe yaramayacaktır çünkü binlerce IP değiştiriyor.

.htaccess dosyası , Apache Web Server yazılımı kullanan serverların yapılandırma dosyasıdır , Apache Web Server tarafından yüklenen bir dizine .htaccess dosyası konumlandırılırsa otomatik olarak Apache tarafından tanınıp içerisindeki kodlar uygulanacaktır , böylece bu dosya yardımı ile ilave fonksiyon ve özellikler kullanılabilir.

robots.txt kuralların aldırmayan bir bot ile karşılaşıldığında Cpanelinizden Latest Visitors Stats (Son ziyaretçi istatistiği) kısmında yeralan User Agent başlığından bu botun kullandığı user agent i bulacağız varsayalım üstteki robots.txt dosyasında linkdexbot ve proximic robots.txt kurallarına uymuyorlar ve biz bunları durdurmak istiyoruz bu durumda .htaccess dosyamıza aşağıdaki kodları yapıştırırsak her iki BOT ta hata sayfamıza yönleneceklerdir

RewriteCond %{HTTP_USER_AGENT} "proximic|linkdexbot" [NC]
RewriteCond %{REQUEST_URI} !^/hata/
RewriteRule ^(.*)$ http://www.sordum.net/hata/$1 [R=301,L]

Sordum.net yerine kendi domain isminizi kullanmanız gerekmektedir , bu üsteki kod ile mesela burada bahsedilen işletim sistemi yada tarayıcı da yasaklayabilirsiniz hemde javascript kodlarının disable edilmesi tehlikesi olmadan , kısaca oldukça etkili bir yöntemdir.
İçerik çalmaya çalışanlara da bir çift lafım var nasıl olsa hamurlarında olmadığından anlamayacaklardır;
“Başarılı bir insan olmaya çalışmayın, değerli bir insan olmaya bakın. Başarılı bir insan, hayattan verdiğinden fazlasını alır. Değerli bir insan ise, hayattan aldığından fazlasını verir…” Albert Einstein.



Yorum Ekle

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

CAPTCHA