Arama motorları bir web sitesi üzerine gördüğü tüm sayfaları hatta bazı durumlarda görmediği sayfaları bile indexlemektedirler. Web sitesi sahipleri olarak, her içeriğimizin arama motorlarına açık olmasını istemeyebiliriz. Bu gibi durumlarda sitenin imajını zedelememek için o içeriğin arama motoru sonuçlarından kaldırılması gerekir.
Hangi Durumlarda İçerik Temizlenebilir
- Önceden varolan ancak sonradan silinmiş içerik
Bu durum, sitemizde daha önce yayınladığımız içeriğin güncelleğini yitirmesi veya sattığımız ürünün satışının çekilmesi halinde yaşanabilecek olası bir durumdur.
- Sitemizde yer almayan sayfalara verilmiş harici linkler
Bu durum ise, aslında sitede yer almayan bir sayfanın olduğu kabul edilerek, başka siteler tarafından verilen linklerdir.
- Sitenin başka bir adrese taşınması sonucu, eski sitedeki indexlerin silinerek yeni siteye aktarılması gerekir.
Hangi durumlarda sitemizde olmayan bir içeriğe link verilebilir
- Daha önceden varolan bir içerik silindiyse, o içeriğe verilen link silinmemiş olabilir.
- Kodlama hataları veya yanlış anlama sebebiyle link verilebilir.
- Ref kodlarını ekleyerek reklam amacıyla bilinçli olarak link verilebilir.
- Gizli içerik
Gizli içerik durumu, bir sitedeki ürün veya bilgilerin sadece istenilen üye veya kişilere açık olması durumunda, arama motorları tarafından o içeriğe gelebilecek ziyaretleri engellemek için bu tür sayfaların indexleri temizlenmektedir.
İçerik Temizleme Seçenekleri
- Bir sitenin tamamen arama motorlarından temizlenmesi
- Bir sitenin tüm sonuçlarının başka bir siteye aktarılması
- Bu durum site başka adrese taşındığı zaman tercih edilmektedir.
- Bir siteye ait belirli içeriğinin temizlenmesi
- Sitemizde olmayan sayfaların arama motorlarına var mış gibi gösterilmesi, sitelerin daha fazla index sayısına sahip olması düşüncesini göz önünde bulundurarak spam şüphesi oluşturmaktadır. Bu sebeple varolmayan indexler, sitelerin SEO çalışmalarının önüne geçer hatta sitelerin arama motorları tarafından filtreye sokularak cezalandırılmasına sebep olabilir.
- Aynı zamanda arama motorlarında bulunan geçersiz indexler, sitenin imajına gölge düşürmektedir. Ziyaretçiler aradıkları bir bilgi veya ürün üzerinden sizin sitenizde olmayan bir sayfaya ulaştıklarında kandırıldıklarını düşünebilmektedirler.
- Bunların dışında, admin panel girişi veya siteye ait resmi belge ve bilgilerin arama motoru üzerinden gelebilecek her türlü kullanıcıya gizli olması gerekir.
- Google Search Console
- Robots.txt
- Meta Kodu
- Htaccess
Neden İstenmeyen İndexlerin Silinmesi Gerekir?
Hangi Yöntemler ile İndex Silinir
Google Search Console Yapılandırması
Google Search Console, arama motorlarının website sahiplerine arama ve tarama durumları hakkında bilgilendirme ve düzenleme imkanı tanımaktadır.
Bu yazıda, Dünyaca en çok kullanılan arama motoru olan Google üzerinden anlatım yapılacaktır.
Web sitemizi Google Search Console'a kayıt ettikten sonra, Site Yapılandırma Bölümünde, Tarayıcı Erişimi bölümüne geçip Robots.txt oluşturun sekmesi ile sitemizin tüm içeriğinin Google tarafından görülmesini veya 2. Seçenek ile Tüm sitenin Google arama sonuçlarından kaldırılmasını sağlayabilirsiniz.
Eğer tüm site içeriği yerine sitedeki tekil linklerin kaldırılmasını istiyorsanız, Tarayıcı Erişiminden URL’yi kaldır sekmesinden, kaldırmak istediğimiz URL'leri girip Google tarafından değerlendirilmesini istiyoruz.
Robots.txt Düzenlemesi
Google Search Console üzerinden Robots.txt yi düzenleyerek tüm site içeriği üzerinde müdahale yapabiliyoruz. Ancak Robots.txt dosyasını elle düzenleyerek kaldırılmasını istediğiniz sayfa, dizin, kategori ve tüm site içeriğini arama motorlarından silebilirsiniz.
Tüm Siteyi Silmek için
User-agent: *
Disallow: /
Sadece istenilen Sayfa, Dizin veya Kategori için
User-agent: *
Disallow: / https://www.seohocasi.com/yanlis-url
Disallow: / https://www.seohocasi.com/yanlis-kategori
Disallow: / https://www.seohocasi.com/?ref
Google Resim Aramaları için
Sadece İstenilen Resim
User-Agent: Googlebot-Image
Disallow: /images/seo.jpg
Sitedeki Tüm Resimler
User-Agent: Googlebot-Image
Disallow: /
Meta Kodu Ekleme
Tüm site içeriğinin veya sadece istenilen içeriklerin indexlerini silmek için meta robots kodu kullanılabilmektedir.
Aşağıda yer alan kodu sadece istenilen sayfalara yerleştirerek o sayfaların indexlerini veya tüm sayfalara yerleştirerek site içeriğinin tüm indexini, bir sonraki arama motoru botunun ziyaretiyle arama motoru sonuçlarından kaldırılmasını sağlayabilirsiniz.
<meta content="noindex, nofollow">
Tüm arama motorlarından ziyade bazı arama motorlarının indexlerini silmek isterseniz, aşağıdaki örnekteki gibi sadece o botun adı girilmelidir.
<meta content="noindex, nofollow ">
Bunların dışında arama motorlarının sitenizi belleklemesini engellemek veya bellekteki sayfaların silinmesini sağlamak için aşağıdaki kodu eklemeniz gerekir.
<meta content="noarchive">
Htaccess Düzenlemesi
Site adresinin değiştirilmesi sonucunda eski siteye ait indexlerin yeni siteye yönlendirilmesi ile, hem arama motoru üzerinden gelecek ziyaretleri yeni siteye kayıpsız yönlendirmek hem de bu yönlendirme ile eski indexlerin de yeni site indexi olarak değiştirilmesini sağlamak için htaccess düzenlemesi kullanılmaktadır.
Htaccess ile 301 yönlendirmesi yaparak siteyi komple başka bir adrese yönlendirebilir.
Açılmayan sayfalar için 404 sayfası oluşturarak 404 sayfalarının indexlenmesi diğer yöntemleri ile engellenebilir.
Eski bir ürün veya bilgi sayfasının yeni bir ürün sayfasına yönlendirilmesini sağlayabiliriz.
Redirect permanent http://www.eskisite.com/ http://www.yenisite.com/
