Web sitesi sahipleri, içeriklerinin Google Arama'da bulunmasını isterken aynı içeriğin üretken yapay zekâ sistemlerinde nasıl kullanılacağı konusunda daha fazla kontrol talep ediyor. Bu noktada robots.txt dosyasında iki isimle karşılaşmak mümkün: Googlebot ve Google-Extended.
Bu iki tanım aynı görevi yerine getirmez. Googlebot, Google Arama'nın web sayfalarını keşfetmek ve dizine eklemek için kullandığı tarayıcıdır. Google-Extended ise web yayıncılarının, Google tarafından taranan içeriklerinin belirli Gemini model eğitimi ve grounding kullanımlarında değerlendirilip değerlendirilemeyeceğini yönetmesine yarayan bağımsız bir ürün belirtecidir.
En kısa hâliyle:
Googlebot, Google Arama görünürlüğünü; Google-Extended ise Google Arama dışındaki belirli Gemini eğitim ve grounding kullanımlarını kontrol eder.
Ancak önemli bir ayrıntı vardır: Google-Extended, sunucu kayıtlarında görebileceğiniz ayrı bir tarayıcı değildir. Kendi HTTP user-agent dizesine sahip olmayan, robots.txt içinde kontrol amacıyla kullanılan bir ürün belirtecidir.
Bu rehberde Googlebot ile Google-Extended arasındaki farkı, AI Overviews ve AI Mode üzerindeki etkilerini, doğru robots.txt örneklerini ve farklı yayıncı senaryolarında hangi ayarın tercih edilebileceğini ele alacağız.
Googlebot Nedir?
Googlebot, Google Arama tarafından kullanılan web tarayıcılarının genel adıdır. İnternetteki bağlantıları takip eder, erişmesine izin verilen sayfaları indirir, sayfayı işler ve elde edilen bilgilerin Google dizinine alınmak üzere değerlendirilmesini sağlar.
Googlebot'un iki temel türü bulunur:
- Googlebot Smartphone: Sayfayı mobil cihaz kullanan bir ziyaretçi gibi tarar.
- Googlebot Desktop: Sayfayı masaüstü tarayıcı kullanan bir ziyaretçi gibi tarar.
Google mobil öncelikli dizine ekleme kullandığı için çoğu web sitesine yapılan Googlebot isteklerinin büyük bölümü mobil tarayıcıdan gelir. Her iki türün HTTP user-agent bilgisi farklı olsa da robots.txt içinde ikisi de Googlebot ürün belirtecine uyar. Smartphone ve Desktop sürümlerine robots.txt üzerinden ayrı kurallar tanımlanamaz.
Google'ın resmî Googlebot dokümanı, Googlebot'un Google Arama için kullanılan tarayıcı olduğunu ve engellenmesinin Search, Discover ve diğer Google Arama özelliklerini etkilediğini belirtir.
Googlebot ne için kullanılır?
Googlebot'un temel görevleri şunlardır:
- Yeni ve güncellenmiş URL'leri keşfetmek
- Sayfadaki metin, bağlantı ve diğer kaynakları taramak
- JavaScript ile oluşturulan içeriği işlemek
- Canonical, robots meta ve yapılandırılmış veri sinyallerini okumak
- İçeriği Google dizinine alınmak üzere değerlendirmek
- Google Arama sonuçları için güncel sayfa bilgisi sağlamak
Googlebot'un sayfanıza erişmesi, sayfanın mutlaka dizine ekleneceği veya sıralama alacağı anlamına gelmez. Tarama, dizine ekleme ve sıralama farklı aşamalardır.
Google-Extended Nedir?
Google-Extended, web yayıncılarının sitelerinden Google tarafından taranan içeriğin bazı üretken yapay zekâ kullanımlarında değerlendirilmesini yönetebilmesi için sunulan bağımsız bir robots.txt ürün belirtecidir.
Google'ın güncel açıklamasına göre bu kontrol aşağıdaki kullanımları kapsar:
- Gemini Apps ve Vertex AI API for Gemini'yi destekleyen gelecekteki Gemini modellerinin eğitimi
- Gemini Apps içinde grounding
- Vertex AI'daki Grounding with Google Search özelliği
Grounding, bir yapay zekâ modelinin cevap oluştururken Google Arama dizininden güncel ve ilgili içeriklere dayanmasıdır. Amaç, yanıtların doğruluğunu ve bağlama uygunluğunu artırmaktır.
Google-Extended hakkında en sık gözden kaçan teknik detay şudur:
Google-Extended'ın ayrı bir HTTP user-agent dizesi yoktur. Tarama mevcut Google tarayıcılarıyla yapılır;
Google-Extendedyalnızca robots.txt içinde kullanım iznini yöneten bir kontrol görevi görür.
Bu nedenle sunucu loglarında Google-Extended isimli ayrı bir botun sitenizi ziyaret etmesini beklemek doğru değildir. Google'ın tarayıcı listesinde de bu durum açıkça belirtilir. Google-Extended teknik açıklamasını inceleyin.
Googlebot ve Google-Extended Arasındaki Temel Farklar
| Özellik | Googlebot | Google-Extended |
|---|---|---|
| Temel amaç | Google Arama için sayfaları taramak | Belirli Gemini eğitimi ve grounding kullanımlarını yönetmek |
| Teknik tür | Gerçek web tarayıcısı ve robots.txt ürün belirteci | Bağımsız robots.txt ürün belirteci |
| Ayrı HTTP user-agent dizesi | Var | Yok |
| Google Arama dizinine etkisi | Doğrudan etkiler | Etkilemez |
| Organik sıralamaya etkisi | Engellenmesi tarama ve görünürlüğü olumsuz etkileyebilir | Google tarafından sıralama sinyali olarak kullanılmaz |
| AI Overviews ve AI Mode | Search içindeki bu özelliklerin erişim kontrolüdür | Bu Search özelliklerini kontrol etmez |
| Gemini model eğitimi | Bu amaç için sunulan özel tercih değildir | Gelecekteki belirli Gemini modellerinin eğitim kullanımını yönetir |
| Gemini Apps grounding | Bu kullanım için ayrı yayıncı kontrolü değildir | Bu kullanımı yönetir |
| robots.txt ile hedefleme | User-agent: Googlebot |
User-agent: Google-Extended |
| Sunucu loglarında görünme | Googlebot Smartphone veya Desktop olarak görülebilir | Ayrı bir bot olarak görünmez |
Bu tablodaki en kritik sonuç şudur: Google-Extended'ı engellemek, Googlebot'u engellemekle aynı şey değildir ve Google Arama'dan çıkmak anlamına gelmez.
Google-Extended, AI Overviews ve AI Mode'u Kontrol Eder mi?
Hayır. Google-Extended, Google Arama içinde sunulan AI Overviews ve AI Mode görünürlüğünün kontrolü değildir.
Google, AI özelliklerinin Search sisteminin bir parçası olduğunu ve bu alanlarda site erişimini yönetmek için Googlebot kurallarının kullanıldığını açıkça belirtir. AI Overviews veya AI Mode'da destekleyici bağlantı olarak yer alabilmek için sayfanın:
- Googlebot tarafından taranabilir olması,
- Google dizininde bulunması,
- Google Arama'da snippet ile gösterilmeye uygun olması
gerekir.
Dolayısıyla aşağıdaki yapı mümkündür:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /
Bu ayar, Googlebot'un siteyi Google Arama için taramasına izin verirken Google-Extended kapsamındaki Gemini eğitim ve grounding kullanımlarına izin vermez. Site Google Arama'da, AI Overviews ve AI Mode dahil olmak üzere Search özelliklerinde görünmeye devam edebilir.
Google'ın AI özellikleri ve web siteniz rehberi, Search içindeki AI özellikleri için kontrolün Googlebot ve Search önizleme kurallarıyla sağlandığını; diğer bazı AI sistemleri için Google-Extended'ın kullanıldığını doğrular.
Googlebot Engellenirse Ne Olur?
Googlebot'un sitenin tamamında engellenmesi ciddi bir SEO kararıdır:
User-agent: Googlebot
Disallow: /
Bu kural, Googlebot'un sitedeki sayfaları taramasını engeller. Bunun sonucunda:
- Yeni içerikler Google tarafından düzgün biçimde keşfedilemeyebilir.
- Güncellenmiş sayfa bilgileri Google dizinine aktarılamayabilir.
- Sayfalar Search, Discover ve Google'ın diğer arama özelliklerindeki görünürlüğünü kaybedebilir.
- AI Overviews ve AI Mode'da destekleyici bağlantı olma uygunluğu etkilenebilir.
- Daha önce keşfedilmiş URL'ler, içerikleri taranamasa bile yalnızca URL olarak bir süre arama sonuçlarında görünebilir.
Burada robots.txt dosyasının bir güvenlik aracı olmadığı unutulmamalıdır. Bir sayfayı robots.txt ile engellemek, URL'nin Google dizininden kesin olarak kaldırılmasını sağlamaz. Sayfanın sonuçlarda görünmemesi isteniyorsa Google'ın erişebileceği bir noindex kuralı kullanılmalı; hassas içerik parola veya kimlik doğrulama ile korunmalıdır.
Google-Extended Engellenirse Ne Olur?
Google-Extended'ı tüm sitede engellemek için şu kural kullanılabilir:
User-agent: Google-Extended
Disallow: /
Bu ayarın sonucu şudur:
- İçeriğin, Google-Extended kapsamındaki gelecekteki Gemini modellerinin eğitiminde kullanılması engellenir.
- İçeriğin Gemini Apps ve Grounding with Google Search on Vertex AI içindeki ilgili grounding kullanımına izin verilmez.
- Googlebot sitenizi taramaya devam edebilir.
- Sayfalar Google Arama dizininde kalabilir.
- Organik sıralama doğrudan etkilenmez.
- Google-Extended kuralı Google Arama'da bir sıralama sinyali olarak kullanılmaz.
- Search içindeki AI Overviews ve AI Mode görünürlüğü yalnızca bu nedenle kapanmaz.
Google, web taraması hakkındaki açıklamasında Google-Extended tercihinin sitenin Search'e dahil edilmesini etkilemediğini ve bir Search sıralama sinyali olarak kullanılmadığını belirtir.
robots.txt İçinde Doğru Kullanım Örnekleri
1. Google Arama ve Google-Extended'a izin vermek
Her iki kullanım için de engel koymak istemiyorsanız özel bir kural eklemek zorunda değilsiniz. Açık bir örnek şu şekilde olabilir:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Allow: /
2. Search'e izin verip Google-Extended'ı engellemek
SEO görünürlüğünü korumak ancak belirtilen Gemini kullanım alanlarından çıkmak isteyen yayıncılar için:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /
3. Yalnızca belirli klasörü Google-Extended'a kapatmak
Örneğin ücretli araştırmaların tutulduğu /arastirma/ dizinini engellemek için:
User-agent: Google-Extended
Disallow: /arastirma/
Diğer yollar için bir engel belirtilmediğinden Google-Extended kapsamındaki kullanıma açık kalırlar.
4. Genel engelden belirli alanı hariç tutmak
Tüm siteyi kapatıp yalnızca blog içeriğine izin vermek için:
User-agent: Google-Extended
Disallow: /
Allow: /blog/
Kuralı yayınlamadan önce sitenizin URL yapısı, büyük-küçük harf kullanımı ve robots.txt eşleşme mantığı kontrol edilmelidir.
User-agent: * Kuralı Google-Extended'ı da Etkiler mi?
Google-Extended, Google'ın ortak tarayıcılar listesinde yer alan bir robots.txt ürün belirtecidir ve standart robots.txt gruplandırma mantığına tabidir. Ancak aynı belirteç için özel bir grup tanımlandığında Google en spesifik eşleşen grubu değerlendirir.
Örneğin:
User-agent: *
Disallow: /ozel/
User-agent: Google-Extended
Disallow: /
Burada Google-Extended için özel grup bulunduğundan bu belirteç açısından ikinci grubun kuralları geçerlidir. Karmaşık robots.txt dosyalarında yalnızca kopyala-yapıştır yapmak yerine mevcut grupların birlikte nasıl yorumlandığı test edilmelidir.
noindex, nosnippet ve Google-Extended Aynı Şey mi?
Hayır. Bu kontroller farklı amaçlara hizmet eder.
| Kontrol | Ne yapar? | Başlıca etki alanı |
|---|---|---|
Disallow + Googlebot |
Googlebot'un URL'yi taramasını engeller | Google Arama taraması |
noindex |
Sayfanın arama sonuçlarında gösterilmemesini ister | Google Arama dizini |
nosnippet |
Arama sonucunda metin/video önizlemesini engeller | Klasik sonuçlar, AI Overviews ve AI Mode |
max-snippet |
Kullanılabilecek metin önizlemesi miktarını sınırlar | Search snippet'leri ve Search AI özellikleri |
data-nosnippet |
Sayfanın belirli metin bölümlerini snippet dışında bırakır | Search snippet'leri ve Search AI özellikleri |
Google-Extended Disallow |
Belirli Gemini eğitimi ve grounding kullanımlarını sınırlar | Google Arama dışındaki belirtilen Gemini kullanımları |
Özellikle nosnippet, Google Arama'nın tüm biçimlerinde metin ve video snippet'ini engeller; Google'a göre içeriğin AI Overviews ve AI Mode için doğrudan girdi olarak kullanılmasını da önler. data-nosnippet ise sayfanın yalnızca seçilen bölümleri üzerinde daha ayrıntılı kontrol sağlar.
Bu yüzden hedefiniz “Google Arama'da kalayım ama belirli Gemini kullanımına izin vermeyeyim” ise Google-Extended; “sayfa Search'te yer alsın ancak belirli metin cevapta veya snippet'te kullanılmasın” ise Search önizleme kontrolleri değerlendirilmelidir.
Google-Extended Engellenmeli mi?
Tek bir doğru cevap yoktur. Karar; içerik modeline, fikrî mülkiyet politikasına, gelir yapısına ve yapay zekâ görünürlüğü hedeflerine göre verilmelidir.
İzin vermeyi düşünebilecek siteler
- Marka bilinirliğini ve Gemini ekosistemindeki keşfedilebilirliği önemseyen işletmeler
- Hizmet sayfaları ve ücretsiz uzmanlık içerikleriyle talep üreten B2B markalar
- Ürün, kategori ve rehber içeriklerinin AI destekli keşif süreçlerinde kullanılmasını isteyen e-ticaret siteleri
- İçeriğinin grounding ile güncel cevaplara katkı sağlamasını stratejik avantaj gören yayıncılar
İzin vermek, içeriğinizin mutlaka kullanılacağı, atıf alacağı veya trafik kazanacağı anlamına gelmez.
Engellemeyi düşünebilecek siteler
- Gelirinin önemli bölümünü ücretli veya lisanslı içerikten elde eden yayıncılar
- Özgün veri setleri, araştırmalar veya premium raporlar yayımlayan şirketler
- Kurumsal hukuk ve içerik lisanslama politikası AI eğitimini sınırlandıran markalar
- Kamuya açık olsa da yeniden kullanım koşulları konusunda daha sıkı kontrol isteyen içerik sahipleri
Engelleme kararı yalnızca SEO ekibinin değil; hukuk, içerik, ürün ve yönetim ekiplerinin birlikte değerlendirmesi gereken bir yayın politikası olabilir.
Karar Vermeden Önce Sorulması Gereken Sorular
- İçeriklerimizin temel iş hedefi organik trafik, doğrudan abonelik, marka görünürlüğü veya lisans geliri mi?
- Hangi içerikler ücretsiz keşif amaçlı, hangileri ticari olarak hassas?
- Tüm site için tek politika mı, dizin bazlı farklı politika mı gerekli?
- Search içindeki AI görünürlüğü ile Gemini ekosistemindeki diğer kullanımlar doğru biçimde ayrıştırıldı mı?
- Mevcut robots.txt dosyasında Googlebot veya genel
*grubuyla çakışabilecek kurallar var mı? - Değişiklik hukuk ve içerik sahipleri tarafından onaylandı mı?
- Değişikliğin tarihi ve gerekçesi kayıt altına alındı mı?
Çoğu marka için en sağlıklı yöntem, önce içerikleri sınıflandırmak ve ardından tüm siteyi tek hamlede açmak veya kapatmak yerine URL dizinleri bazında politika oluşturmaktır.
Uygulama Sonrası Nasıl Kontrol Edilir?
robots.txt dosyasını açın
Dosya kök dizinde bulunmalıdır:
https://www.ornek.com/robots.txt
HTTP 200 yanıtı verdiğini, düz metin olarak sunulduğunu ve doğru host üzerinde bulunduğunu kontrol edin.
Googlebot erişimini Search Console'dan doğrulayın
Önemli URL'lerde Search Console URL Denetleme aracını kullanarak Googlebot'un sayfaya erişip erişemediğini, taranan HTML'i ve indeks durumunu inceleyin.
Sunucu loglarını doğru yorumlayın
Googlebot istekleri sunucu loglarında görülebilir. Ancak Google-Extended'ın ayrı HTTP user-agent dizesi bulunmadığı için loglarda Google-Extended aramak, uygulamayı doğrulamanın doğru yolu değildir.
CDN ve WAF kurallarını kontrol edin
robots.txt izin verse bile güvenlik duvarı, CDN veya bot koruma servisi Googlebot'u engelleyebilir. SEO görünürlüğü hedefleniyorsa hem robots.txt hem altyapı erişimi birlikte test edilmelidir.
Değişiklikleri belgeleyin
robots.txt güncellemelerini sürüm kontrolünde veya değişiklik günlüğünde saklayın. Tarih, sorumlu kişi, kapsam ve karar gerekçesi ileride yapılacak denetimleri kolaylaştırır.
Sık Yapılan Hatalar
Google-Extended'ı ayrı bir tarayıcı sanmak
Google-Extended'ın kendine ait HTTP user-agent dizesi yoktur. Sunucu loglarında görünmemesi, kuralın çalışmadığı anlamına gelmez.
Google-Extended'ı engelleyince AI Overviews'tan çıkılacağını düşünmek
AI Overviews ve AI Mode, Google Arama'nın parçalarıdır. Bu özellikler için tarama kontrolü Googlebot, içerik kullanımı kontrolü ise Search önizleme kuralları üzerinden yürür.
Googlebot'u engelleyip SEO görünürlüğünün korunmasını beklemek
Googlebot'u engellemek yeni ve güncellenmiş içeriğin taranmasını önler. Bu karar organik görünürlüğü ciddi biçimde etkileyebilir.
robots.txt dosyasını gizlilik aracı olarak kullanmak
robots.txt yalnızca uyumlu tarayıcılara tercih bildirir. Hassas içerikler kimlik doğrulama ve sunucu taraflı erişim kontrolü ile korunmalıdır.
Tüm site için plansız karar vermek
Blog, ürün sayfası, lisanslı araştırma ve müşteri portalı aynı içerik politikasına ihtiyaç duymayabilir. Dizin bazlı yaklaşım daha dengeli sonuç verebilir.
SEO ve GEO Açısından Nasıl Bir Strateji İzlenmeli?
Google Search açısından temel öncelik değişmemiştir: önemli sayfalar Googlebot tarafından erişilebilir, dizine eklenebilir ve snippet ile gösterilmeye uygun olmalıdır. Bu yapı klasik organik sonuçlar kadar AI Overviews ve AI Mode için de temel oluşturur.
Google-Extended kararı ise SEO teknik optimizasyonundan çok içerik kullanım politikası olarak ele alınmalıdır. Engellemenin Search sıralamasına doğrudan etkisi bulunmasa da markanın Gemini Apps ve Vertex AI grounding ekosistemindeki potansiyel kullanımını sınırlar. Bunun ticari etkisi her işletme için farklı olabilir ve görünürlük garantisiyle karıştırılmamalıdır.
Ajans Mesh yaklaşımında bot politikası dört katmanda değerlendirilmelidir:
- Arama görünürlüğü: Hangi sayfalar Google Search'te bulunmalı?
- AI görünürlüğü: Hangi içeriklerin Search içindeki AI özelliklerinde görünmesi hedefleniyor?
- İçerik kullanım izni: Hangi içerikler belirli model eğitimi ve grounding kullanımlarına açılabilir?
- Ticari ve hukuki sınırlar: Ücretli, lisanslı veya hassas içerikler nasıl korunmalı?
Bu ayrım yapılmadan hazırlanan robots.txt dosyası ya gereğinden fazla içeriği kapatır ya da markanın içerik politikasını doğru yansıtmaz.
Sıkça Sorulan Sorular
Googlebot ile Google-Extended aynı bot mu?
Hayır. Googlebot, Google Arama için kullanılan gerçek bir web tarayıcısıdır. Google-Extended ise ayrı HTTP user-agent dizesi olmayan ve robots.txt içinde belirli Gemini kullanımlarını yöneten bir ürün belirtecidir.
Google-Extended'ı engellemek SEO'yu düşürür mü?
Google'a göre Google-Extended, Search sıralama sinyali değildir ve engellenmesi sitenin Google Arama'ya dahil edilmesini etkilemez. Bununla birlikte Gemini Apps ve Vertex AI tarafındaki belirtilen grounding kullanımına ilişkin potansiyel görünürlük etkilenebilir.
Google-Extended'ı engellersem AI Overviews'ta görünür müyüm?
Evet, diğer uygunluk koşulları sağlanıyorsa görünmeye devam edebilirsiniz. AI Overviews ve AI Mode, Google Search'in parçalarıdır; bu alanlarda temel erişim Googlebot ve Search önizleme kontrolleriyle yönetilir.
Google-Extended sunucu loglarında görünür mü?
Ayrı bir bot olarak görünmez. Google-Extended'ın kendine ait HTTP user-agent dizesi bulunmaz; tarama mevcut Google user-agent dizeleriyle yapılır.
Google-Extended yalnızca yapay zekâ eğitimi için mi kullanılır?
Hayır. Google'ın güncel açıklamasında gelecekteki belirli Gemini modellerinin eğitiminin yanında Gemini Apps ve Grounding with Google Search on Vertex AI içindeki grounding kullanımları da yer alır.
Googlebot'u engellemek sayfayı Google'dan tamamen kaldırır mı?
Her zaman değil. Google, başka sayfalardaki bağlantılar yoluyla URL'yi keşfedip içerik açıklaması olmadan gösterebilir. Tam kaldırma amacı için erişilebilir noindex, kaldırma araçları veya kimlik doğrulama gibi doğru yöntem kullanılmalıdır.
Google-Extended meta etiketi olarak kullanılabilir mi?
Google-Extended resmî olarak robots.txt ürün belirtecidir. Google'ın robots meta etiketi dokümanında desteklenen Google'a özel adlar googlebot ve googlebot-news ile sınırlıdır; Google-Extended kontrolü robots.txt üzerinden yapılmalıdır.
Sonuç
Googlebot ve Google-Extended arasındaki farkı doğru anlamak, SEO görünürlüğü ile üretken yapay zekâ içerik kullanım tercihlerini birbirinden ayırmak için gereklidir.
- Googlebot, Google Arama için sayfaları tarar ve Search görünürlüğünün teknik temelini oluşturur.
- Google-Extended, ayrı bir tarayıcı değil; belirli Gemini model eğitimi ve grounding kullanımlarını yöneten bir robots.txt ürün belirtecidir.
- Google-Extended'ı engellemek Google Search sıralamasını doğrudan etkilemez.
- Google-Extended, AI Overviews ve AI Mode kontrolü değildir; bu özellikler Googlebot ve Search önizleme kurallarına bağlıdır.
- robots.txt bir güvenlik veya kesin indeks kaldırma aracı değildir.
Doğru karar, “AI botlarını açalım mı kapatalım mı?” gibi tek bir soruyla verilemez. Önce Search görünürlüğü, AI görünürlüğü, içerik lisansı ve ticari hedefler ayrı ayrı değerlendirilmelidir.
Ajans Mesh ile Teknik SEO ve AI Görünürlük Yönetimi
Arama motorları ile üretken yapay zekâ sistemleri aynı içeriği farklı amaçlarla kullanabilir. Yanlış yapılandırılmış tek bir robots.txt kuralı, organik görünürlüğü istemeden sınırlandırabilir veya içerik politikanızı eksik yansıtabilir.
Ajans Mesh olarak web sitenizin Googlebot erişimini, indekslenebilirliğini, Search içindeki AI görünürlüğünü ve AI bot politikalarını birlikte analiz ediyor; işletmenizin SEO, GEO ve içerik kullanım hedeflerine uygun teknik yol haritası oluşturuyoruz.
Web siteniz için teknik SEO ve yapay zekâ görünürlük analizi almak üzere Ajans Mesh ile iletişime geçebilirsiniz.
Kaynaklar
- Google: Googlebot
- Google: Google-Extended ve ortak tarayıcılar
- Google: AI features and your website
- Google: robots meta, data-nosnippet ve X-Robots-Tag
- Google: robots.txt giriş rehberi
- Google: Web taraması hakkında bilinmesi gerekenler
