Googlebot Nedir? Ne İşe Yarar? Sitenize Nasıl Çağrılır?

Googlebot – Web Tarayıcısı – Örümcek

Googlebot Nedir? Öncelikle kafa karışıklığını azaltmak adına başlıktaki tüm terimlerin SEO açısından bakıldığında aynı anlama geldiklerini bilmenizde fayda var. Googlebot, Google tarafından kullanılan ve web sayfalarını bağlantılar yoluyla tarayan, bu sitelerdeki yeni ve güncellenmiş içerikleri bulup okuyan, ayrıca hataları analiz edip sonunda bunları Google indexine eklenmesi konusunda öneride bulunan bir yazılımdır. Özet olarak ise Googlebot, Google’ın web siteleri hakkında bilgileri toplayan arama motoru botudur.

Google’ın arama sonuçları Google Veritabanı’ndan gelmektedir ve arama sonuçlarında hangi sitenin çıkması gerektiği, kaçıncı sırada çıkması gerektiği gibi konulara karar veren yani Google’ın beyni farklı bir yapay zeka algoritmasıdır. Bu sebeple Googlebot ile Google algoritmasını karıştırmamak gerekir. Googleb Bot’un görevi kesintisiz şekilde tüm dünyadaki web sitelerini gezmektir.

GoogleBot Nasıl Çalışır?

Googlebot, nereye nasıl gideceğini belirlemek için daha önceki tarama verileri, site haritalarını ve veritabanlarını kullanır. Siteniz çok sık güncellenen veya Google News kayıtlı bir site değilse sitenizi ziyaretinde bulduğu yeni bağlantıları daha sonra ziyaret edilecek sayfa listesine ekleyerek yoluna devam eder. Eğer daha önceki bağlatılarda değişiklik veya kopukluk bulursa (kırık link) bunu da anında yapmaz ve dizin güncellemesi yapılacaklar listesine ekler. Örneğin bir sayfanız 404 hatası verse bile bir süre daha arama sonuçlarında çıkmasının sebebi bundandır. Bu gibi daha sonra yapılacak işlemlerin tümünü Google Search Console (Google Arama Konsolu) sayfasından sizde takip edebilirsiniz. Search Console hakkında aşağıda biraz daha bilgi vereceğim.

Google Botları

Google farklı ürünleri için farklı botlar kullanmaktadır. Örneğin, AdSense ve AdsBot reklam kalitelerini kontrol etmek için kullanılan farklı bir bottur. Aynı şekilde görseller ve videolar içinde botlar mevcuttur. Bizim için en önemli Google Botları aşağıdakilerdir;

Bot Adı Yönlendiren / Kullanıcı Temsilcisi Googlebot (desktop) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot (mobile) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot Video Googlebot-Video/1.0 Googlebot Images Googlebot-Image/1.0 Googlebot News Googlebot-News

GoogleBot Çağırma

Google Bot’un sitenizi ne sıklıkta ziyaret ettiğini ve orada ne yaptığını öğrenmek için, günlük log dosyalarınızı inceleyebilir veya Google Arama Konsolunun Tara bölümününden kolayca bu işi gerçekleştirebilirsiniz. Log dosyalarını incelemek zahmetli bir iştir. Üstelik spam yapmak yada en kötüsü sitenizdeki açıkları arayıp hacklemek isteyen kişiler siteler Googlebot şeklinde erişmeye çalışmaktadır. Burada en kesin çözüm IP adresi olmasına rağmen Google botlarının kullandığı IP adreslerini açıklamadığı ve belli aralıklar ile değiştirdiği için Google’ın anlattığı şekilde Googlebot doğrulaması yapmak olabilir.

GoogleBot’u Yönetme ve Sınırlama

Aslında bir çok bot Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebot’un sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile Google Bot’a hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü  yanlış bir şekilde yaparsanız, Googlebot’un tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir. Bu konuyu sizlere farklı bir makalede detaylı bir şekilde anlatacağım.

Arama Konsolu (Search Console)

Arama Konsolu, sitenizin durumunu ve Google gözünde güvenilirliğini kontrol etmek için en önemli araçlardan biridir. Bu aracı kullanarak Googlebot’un sitenizi nasıl gördüğünü görebilir, hatalarınızı düzelterek sitenizin itibarını artırabilirsiniz. Düzeltmeniz gereken tarama hataları varsa Arama Konsolu buları size bir liste halinde sunar. Düzeltmelerden sonra veya yeni bir sayfa ekledikten sonra Arama Konsolu’ndan, Googlebot’tan sitenizi yeniden taramasını isteyebilirsiniz.

Google Bot İçin Optimize Edin!

Googlebot’un sitenizi daha hızlı taramasını sağlamak, tarayıcının sitenize düzgün şekilde erişmesini engelleyen teknik sorunları kaldırmak teknik bir işlem olsada bunu mutlaka yapmak/yaptırmak zorundasınız. Eğer Google organik aramalarda sitenizin belli bir yere gelmesini hedefliyorsanız öncelikle siteniz ve Google arasındaki bağlantının, anlaşmanın çok iyi olması şarttır. Sitenizi anlayamayan bir Google Bot’tan ne bekleyebilirsiniz ki? Ayrıca unutmayın ki Google sizi değil siz Google’ı anlayıp derdinizi onun dilinde (Googleca) anlatmak zorundasınız.

Googlebot Ziyaret Sıklığı

Google Bot, sitenizi ziyaret eden küçük robottur. Siteniz için teknik olarak sağlam bir altyapı kurduysanız ve kendinizi ona doğru şekilde anlatabildiyseniz sık sık ziyaretinize gelir. Gerçek hayatta en sık görüştüğünüz kişiler en iyi anlaştığınız kişiler değil mi? Buda aynı mantık zaten! Düzenli ve istikrarlı bir şekilde taze içerik eklerseniz onu daha da sık görürsünüz. Bazen, sitenize büyük çaplı değişiklikler yaptığınızda sizde Googlebot’u çağırabilirsiniz. Aranız iyiyse sizi kırmaz ve en kısa sürede gelip yaptığınız değişiklikleri işleme aldırır.