اقدام جدید گوگل برای robots.txt
تا همین چند وقت پیش اگر اشتباها سایت خودتان را برای گوگل غیر قابل دسترس یا Disallow می کردید مدت ها طول می کشید تا به وجود این اشتباه پی ببرید
اما بد قضیه اینجاست که کاربرانتان را هم از دست می دادید
یعنی مثلا کافی بود در ریشه سایت خود فایل robots.txt را با محتویات زیر قرار می دادید
User-agent: *
Disallow: /
و این مشکل تا زمانی که با یک سئو کار مشورت می کردید و یا به هر نحوی این فایل از بین می رفت وجود داشت
اما در جدیدترین الگوریتم های اصلاحی گوگل این مورد به اطلاع کاربران می رسد
یعنی هر وقت گوگل با چنین سایت هایی روبرو شود در نتایجی که می توانست این سایت ها نمایش داده شود پیام زیر را نشان می دهدبه دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود نداردجالب بود نه؟!!!
و یک لینک با عنوان «بیشتر بیاموزید» هم برای رجوع به مکانی که این فایل دیده شده وجود دارد