Google bot yani robotları belirli aralıklarla web sitelerini ziyaret ederek olabildiğince çok web sayfalarınızı tarar ve web sitesi sahiplerinin web sitelerini aramalarda listelemelerine yardımcı olur. Sadece Google değil Yahoo ve Bing gibi arama motorlarıda aynı mantıkla çalışır. Google’da yapılan arama ile indexlenen sayfanın içeriğinin uyuşması durumunda web siteniz arama sonuçlarında listelenir. Yeni açılan siteler veya sayfalar ancak indexlendikten sonra Google ve diğer arama motorlarında görünmeye başlar. Google ne kadar sıklıkla web sitenize gelip indexleme yapıyorsa bu sitenizin değerini ve sürekli yeni içerik ürettiğini gösterir.
Arama Motoru Botları
İlk ve en belirgin tür iyi bot trafiği arama motoru botları olmak zorunda. Bu botlar olabildiğince çok web’i tarar ve web sitesi sahiplerinin web sitelerini Google, Yahoo ve Bing gibi arama motorlarında listelemelerine yardımcı olur. İstekleri otomatik olabilir ve bot trafiği olarak listelenebilir, ancak bu botlar kesinlikle iyi botlardır.
şeklindeki adresi kendinize uyarlayarak kullanabilirsiniz. Bu sayfada en üstte yazan “Bu, https://bursawebyazilim.com/ için Google’ın önbelleğidir. Bu, sayfanın 14 Kas 2019 23:30:30 GMT tarihine ait anlık görüntüsüdür. Aradan geçen süre zarfında geçerli sayfa değişmiş olabilir. Daha fazla bilgi.” şeklindeki ifadedeki tarih google botunun gelme tarihidir. Aynı zamanda açılan web sitesi Google tarafından kaydedilen sayfadır.
Googlebot tüm dosyalarıma erişebilir mi?
Web sitenizdeki robots.txt dosyası, botların web sitenizdeki hangi dosyalara erişip erişmeyeceği konusunda yol göstericidir. Arama motorlarının indexlemesini istemediğiniz dosyalrı robot.txt dosyasında belirterek bu dosyalara erişim istemediğinizi belirtebilirsiniz.
Örnek: Bütün robotlar, site üzerindeki aşağıdaki cgi-bin klasörün içeriğini indekslememeli;
User-agent: * Disallow: /cgi-bin/
Sitenizdeki engellenen tüm sayfaları Dizin Kapsamı Durumu raporunda görebilirsiniz veya URL Denetleme aracını kullanarak ta belirli bir sayfa için test yapabilrisiniz
Google bot çağırma
Google bot çağırmak için en etkili yöntem pinglemedir. Böylelikle Google botlarının dikkatini çekmiş olursunuz. Dikkat etmeniz gereken husus ise pinleme işlemini sitenizde güncelleme olduğunda kullanmak ve sık yapmamaktır. Pinkleme için kullanabileceğiniz pek çok site bulunmaktadır, benim tavsiyem ise bulklink.org
Eğer tek bir sayfanızı indexlemesini istiyorsanız Google Search Console ekranından “URL Denetimi” sonrasında ise “DİZİNE EKLENMESİNİ İSTE” diyebilirsiniz. İşem tammalandığında URL’nin ve bağlantılı sayfalar için Google’ın dizinine gönderildiğini bildirecektir. Böylelikle en kısa zamanda web sayfanızın google dizinine eklenmesini sağlamış olursunuz.
Siteme Google Botu Neden Gelmiyor
Hazırladınız web sitesinin botlar tarafından düzenli ziyaret edilmesini istiyorsanız düzenli olarak içerik üretmeniz gerekir. Böylece arama motorlarına sitenizi ziyaret etmeleri için bir sebep oluşturursunuz. Arama motoru her geldiğinde aynı site içeriği ile karşılaştığında gelme sıklığı azalacaktır.
Googlebot’un tarama süresini değiştirme
Google, bir site için en uygun tarama süresini kendi belirler. Google botları gereksiz yere sitenizi ziyaret ettiğinde sitenin yavaşlamasına ve bant genişliğinde aşırı yoğunluğa yol açmaktadır. Googlebot’un web sitenize çok fazla taradığını ve sitenizde sorun oluşturduğunu düşünüyorsanız, web siteniz için tarama sürelerini kendiniz belirleyebilirsiniz. Bunun için aşağıdaki linki kullanabilirsiniz.