سفارش تبلیغ
صبا

سئو- بهینه سازی موتورهای جستجو

تفاوت های کراولر و اسپایدر در موتورهای جستجو(2)

در وبمستر گوگل شما می توانید تنظیماتی بر روی نحوه کار کراولرو فقط برای سایت خودتان انجام بدهید و خطاها و آمار کراول سایت خودتان را نیز ببینید
این کراولر است که تعین می کند چند سرور وظیفه کراون  یک سایت را انجام دهند و هر سرور با چند خزنده
این کراولر است که سرعت هاست سایت شما از مجموع فعالیت های اسپایدرهایش محاسبه می کند
کراولر در طراحی بر عکس قسمت view به هوش مصنوعی متکی نیست بلکه کاملا متکی به آمار و ارقام است
مثلا اگر به یک سایت اسپمر برخورد کند نمی تواند اسپم بودن سایت را تشخیص دهد و تنها ظرف چند روز ممکن است صدها اسپایدر را مامور کراون آن کند  تا وقتیکه ایندکسر آن سایت را برای کراونر اسپم اعلام کند که بعد از آن تنها اسپایدر های بررسی فعال بودن صفحات به این سایت سرکشی می کند
کراولر طوری طراحی شدهاست که کمترین تعامل را با دیتابیس داشته باشد
جالب است که مثلا اگر کاری کنید که  کراولر msn سایت شما را بزرگ تشخیص دهد با این کراولر هزاران اسپایدر به سایت شما سرازیر می کند طوریکه هاست تان را دچار مشکل می کند
بزرگترین کمک های کراولر به یک موتور جستجوگر (مخصوصا گوگل )
1- جمع آوری اطلاعات آماری و محتوایی از یک سایت
2- تشخیص منطقه کاری سایت
3- محاسبه سرعت هاستینگ سایت
4- تعامل یک سایت با سایتهای دیگر