سفارش تبلیغ
صبا

سئو- بهینه سازی موتورهای جستجو

تفاوت های کراولر و اسپایدر در موتورهای جستجو(1)

حتما شنیده اید که گاها گفته میشود کراولر گوگل و گاه اسپایدر گوگل
اما واقعا چه تفاوتی بین  کراولر با اسپایدر وجود دارد
اسپایدر که به معنای عنکبوت است  خزنده ای می باشد که همان کارهای کاربران اینترنت را انجام می دهد و چون انسان نیست از آن به ربات تعبیر میشود
اسپایدرها وظایف متفاوتی را دنبال می کنند
مثلا یک اسپایدر فقط بررسی می کند که آیا یک صفحه فعال است یا خیر همین و کار دیگری انجام نمی دهد
یک اسپایدر وظیفه اش انتقال کل صفحه به سرور  مربوطه است
یک اسپایدر فقط با عکس ها سروکار دارد (مثل googlimage)
اسپایدری هم داریم که هر سه تا شش ماه به یک صفحه مراجعه می کند تا بررسی های مربوط به انجام  تقلباتSneaky Java redirects
Cloaking
Doorway pages
را انجام دهد
و بالاخره اسپایدری هم تنها وظیفه اش دنبال کردن لینک ها و ثبت هدر مربوطه است
تا اینجا با اسپایدر آشنا شدید نوشتن یک اسپایدر برای یک برنامه نویس سطح پایین هم کاری سهل و ساده است
اما کراونر چیست
موتورجستجوگر شامل سه بخش است
کراولر
ایندکسر
نمایش
( و در گوگل سیستم رتبه بندی پیشرفته را هم  به عنوان یک بخش مجزا داریم )
علی الظاهر ساده ترین قسمت یک موتورجستجوگر کراولر است اما در عین حال تاج موتورجستجوگر هم هست (همانطور که ساخت یک تاج آسان است اما همیشه تاج تاج است)
اما کراولر
اگر با وب مستر گوگل کار کرده باشید با عباراتی مثل
Crawl rate
Crawl Errors
Crawl Stats

برخورد کرده اید
به طور خلاصه crawl عملیات پویش یک سایت توسط موتورجستجوگر را می گویند
crawler قسمت مدیریت crawl  یک موتورجستجوگر است که الگوریتم نسبتا پیچیده ای دارد و هدایت اسپایدرها تنها بخش کوچکی از این الگوریتم پیچیده است

ادامه را در اینجا بخوانید

تفاوت های کراولر و اسپایدر در موتورهای جستجو(2)