URL’ler ve Google Botları Hakkında Bilmediğiniz 10 Şaşırtıcı Gerçek

URL’ler ve Google botları… Web’in temel taşları. Ama bu görünüşte basit unsurların arkasında, çoğumuzun farkında olmadığı bir dizi ilginç ve bazen şaşırtıcı gerçek yatıyor. İşte belki de ilk kez duyacağınız bazı detaylar:

URL’ler Hakkında Az Bilinen Gerçekler

1. “Boşluk” Asla Boş Değildir: Tarayıcı adres çubuğuna bir URL yazarken boşluk bıraksanız bile (ornek site), bu boşluklar otomatik olarak %20‘ye dönüştürülür veya genellikle + işaretiyle temsil edilir (ornek+site). URL’ler boşluk karakterini doğrudan kullanamaz. Bu dönüşüm, sunucuya bilginin doğru iletilmesi için şarttır.
2. Büyük/Küçük Harf Duyarlılığı Karışık Bir Konu: Genel kanının aksine, domain adı (alan adı) kısmı (www.OrnekSite.com) her zaman büyük/küçük harf duyarsızdır. www.orneksite.com, www.ORNEKSITE.COM, www.OrNekSiTe.CoM hepsi aynı siteye gider. Ancak! Yol (path) ve dosya adı kısmı (/Klasor/Dosya.html) sunucunun işletim sistemine bağlıdır. Linux/Unix sunucular genellikle büyük/küçük harfe duyarlıyken, Windows sunucular genellikle duyarsızdır. Bu nedenle, bağlantılarınızda tutarlılık önemlidir.
3. URL Uzunluğu Sınırı Efsanesi: “Google, 2048 karakterden uzun URL’leri indekslemez” efsanesi yanlıştır. Google, teknik olarak çok daha uzun URL’leri (binlerce karakter) tarayabilir ve indeksleyebilir. Ancak, pratikte çok uzun URL’ler:
   • Kullanıcı deneyimini kötüleştirir (korkutucu ve paylaşılması zor).
   • Spam gibi algılanma riski taşır (özellikle çok fazla parametre içeriyorsa).
   • Tarama bütçesinin verimsiz kullanılmasına yol açabilir.
   • Gerçek Sınır: Tarayıcıların kendileri sınır koyar. Örneğin, Internet Explorer eski sürümlerde 2083 karakter gibi bir sınır vardı. Modern tarayıcılar çok daha fazlasını kabul eder, ancak akıllıca olan, URL’leri mümkün olduğunca kısa ve anlamlı tutmaktır.
4. Unicode Karakterlerin Gizli Kimliği: Punycode: Türkçe karakterler (ç, ğ, ö, ş, ü, ı) veya Çince, Kiril harfleri içeren alan adları (IDN – Internationalized Domain Name) aslında tarayıcının arka planda xn-- ile başlayan bir koda dönüştürülür. Buna Punycode denir. Örneğin, türkiye.com aslında xn--trkiye-6ya.com şeklinde çözülür. Google botları bu Punycode formatını anlar ve işler.
5. “#”(Hash) Sadece Sayfa İçi Değil: # işareti (fragment identifier) geleneksel olarak sayfa içindeki bir bölüme (#baslik) gitmek için kullanılır ve bu kısım sunucuya gönderilmez, sadece tarayıcı tarafında çalışır. Ancak, tek sayfa uygulamalarının (SPA – Single Page Application) yükselişiyle, # (hashbang olarak da bilinen #!) veya daha modern History API (pushState) kullanılarak, sunucuya iletilmeden dinamik içerik yüklemek ve URL’yi değiştirmek mümkün hale geldi. Google botları, bu tür SPA’ları anlamak için oldukça gelişmiş JavaScript işleme yeteneklerine sahiptir.

Google Botları Hakkında Az Bilinen Gerçekler

6. Tek Bir “Googlebot” Yoktur, Bir Ordu Vardır: “Googlebot” genel bir terimdir. Google, farklı görevler için özelleşmiş yüzlerce farklı bot kullanır. En bilinenleri:
   • Googlebot Desktop: Masaüstü tarama için.
   • Googlebot Smartphone: Mobil tarama için.
   • Googlebot-Image: Resimleri tarar ve indeksler.
   • Googlebot-Video: Videoları tarar ve indeksler.
   • Googlebot-News: Haber içeriğini tarar.
   • Mediapartners-Google: AdSense için.
   • AdsBot-Google: Reklam kalitesini ve uyumluluğunu kontrol eder.
   • FeedFetcher-Google: RSS/Atom beslemelerini çeker.
   • APIs-Google: API entegrasyonları için.
7. JavaScript’i “Görmek” İçin İki Tarama Dalgası: Google botu bir sayfayı ilk ziyaret ettiğinde (ilk dalga), temel HTML’yi hızlıca alır. Ancak, modern sitelerde kritik içerik genellikle JavaScript ile dinamik olarak yüklenir. Google, bu içeriği görmek için sayfayı ikinci bir dalgada, bir sanal tarayıcı (Chrome tabanlı) kullanarak yeniden ziyaret eder ve JavaScript’i çalıştırır. Bu, JavaScript ağır sitelerde içeriğin indekslenmesinin gecikebileceği anlamına gelir. “Önceden oluşturma” (SSR – Server-Side Rendering) veya “statik site oluşturucular” bu gecikmeyi azaltmak için kullanılır.
8. Googlebot’un “IP Adresi” Diye Bir Şey Yok (Artık): Googlebot’un eskiden bilinen sabit IP adresleri vardı. Ancak günümüzde Googlebot trafiği, Google’ın bulut altyapısından (Google Cloud) gelen çok çeşitli ve dinamik IP adreslerinden gelir. Bir IP’nin gerçekten Googlebot’a ait olup olmadığını doğrulamanın tek güvenilir yolu, o IP adresini DNS’de ters arama (reverse DNS lookup) yapmak ve googlebot.com veya google.com altında olduğunu (something.googlebot.com) kontrol etmektir.
9. Hız Sınırlaması “Crawl Budget” (Tarama Bütçesi) Gerçeği: Google’ın bir siteyi tarama kapasitesi sınırsız değildir. Her sitenin bir “tarama bütçesi” vardır. Bu, Google’ın belirli bir sürede (günlük/haftalık) o siteye ayırdığı maksimum tarama isteği sayısıdır. Bu bütçe, sitenin popülerliğine, tazeliğine, teknik sağlığına (hız, 404 hataları vb.) ve sunucu kaynaklarına bağlıdır. Çok fazla ölü bağlantı (404), çok yavaş yüklenen sayfalar veya sonsuz döngüye giren URL yapıları, tarama bütçenizin boşa harcanmasına ve önemli sayfaların taranamamasına neden olabilir.
10. Botlar “Görünmez” İçeriği (Bazen) Görebilir: Kullanıcıların göremediği içerik (CSS ile gizlenmiş – display: none, visibility: hidden), genellikle Google tarafından okunur ve indekslenebilir. Ancak, bu içeriğin spam amaçlı (anahtar kelime doldurma) kullanılıp kullanılmadığına dikkat edilir. Eğer içerik kullanıcı deneyimini geliştirmek için (örneğin, mobil menüler, açılır sekmeler) meşru bir şekilde gizlenmişse, genellikle sorun olmaz. Önemli Not: robots.txt veya noindex meta etiketi ile engellenmiş içerikler, botlar tarafından genellikle tamamen okunmaz.

Değerlendirme

URL’ler ve Google botları, dijital dünyanın sessiz işçileridir. Onları ne kadar iyi anlarsak, web sitemizi kullanıcılar ve arama motorları için o kadar erişilebilir, anlaşılır ve değerli hale getirebiliriz. Bu “bilinmeyen” gerçekler, teknik SEO’nun derinliklerine inmek ve sitenizin performansını en üst düzeye çıkarmak için sağlam bir temel sağlar. Unutmayın, optimizasyon her zaman kullanıcı deneyimini merkeze alan, temiz ve anlamlı bir yapı oluşturmakla başlar.