سئو- استفاده از همه شگردها برای بالابردن ترافیک سایت

اخیرا یکی از کاربران محترم این نظر را درج کرده بودند
سایت من ... به تازگی متوجه شدم که توی لیست سیاه گوگل قرار گرفته و واقعا بده که بخوام با یک دامنه جدید سایت را راه اندازی کنم چون برای دامنه .... کلی زحمت کشیدم و ظرف 3ماه بدون هیچ کمکی پیج رنکش را رسوندم به 2 و کلی تا الان خرجش کردم. شما برای خارج شدن سایت از لیست سیاه گوگل چه پیشنهاداتی به من میکنید ؟
ممنون میشم بنده را راهنمایی بفرمایید.
با تشکر
(برای حفظ حقوق این خواننده گرامی نام دامنه ایشان نمایش داده نشد)
اما پاسخ:
تشخیص اینکه  یک دامنه در لیست سیاه قرار گرفته یک پروسه طولانی و زمان بری را می طلبد
یعنی ما باید اول بیاییم بلوک بودن آی پی که dns دامنه سایت روی آن ست شده را بررسی کنیم
در مرحله بعد باید یک بررسی بر روی سایتهای همسایه این سایت بکنیم(در مواردی که سرور سایت اشتراکی است) و از نظر اینکه مطالب مستهجن یا مطالب مرتبط با هک،خشونت،بزهکاری و غیره در آنها برده نشده بررسی شوند
و بالاخره پیشینه دامنه قبل از ثبت توسط مالک فعلی از طریق سایت archive.org و سایر منابع معتبر مثل دومین تولز
 و بعد از همه این کارها به مشکلات و مسائل فنی خود سایت که خطای سئو را در پی داشته بررسی می کنیم
این مراحل گاه تا یک هفته طول می کشد
اما اخیرا گروه گوگل 724 راهکار سریع و تقریبا آنی را معرفی کرده است
که ظرف چند ثانیه آخرین ایندکس سایت شما را از دیتابیس گوگل بیرون می کشد
اگر این زمان بیش از 72 ساعت باشد (و سایت بیش از 100 صفحه داشته باشد) احتمال قرار گرفتنش در لیست سیاه وجود دارد
در غیر اینصورت یقین داشته باشید که دامنه شما پاک تشخیص داده شده است

اما معرفی راه کار پیشنهادی گروه گوگل 724

نام سایت خود را در آدرس زیر وارد کنید اگر زمان ایندکس ان کمتر از 72 ساعت باشد یقینا در لیست سیاه گوگل نیست

اما اگر این زمان بیشتر بود و سایت شما مطالب زیادی داشت باید مشکل سئوی سایت خود را بررسی نمایید

http://googlebot-last-access.google-analysts.com

حتما شنیده اید که گاها گفته میشود کراولر گوگل و گاه اسپایدر گوگل
اما واقعا چه تفاوتی بین  کراولر با اسپایدر وجود دارد
اسپایدر که به معنای عنکبوت است  خزنده ای می باشد که همان کارهای کاربران اینترنت را انجام می دهد و چون انسان نیست از آن به ربات تعبیر میشود
اسپایدرها وظایف متفاوتی را دنبال می کنند
مثلا یک اسپایدر فقط بررسی می کند که آیا یک صفحه فعال است یا خیر همین و کار دیگری انجام نمی دهد
یک اسپایدر وظیفه اش انتقال کل صفحه به سرور  مربوطه است
یک اسپایدر فقط با عکس ها سروکار دارد (مثل googlimage)
اسپایدری هم داریم که هر سه تا شش ماه به یک صفحه مراجعه می کند تا بررسی های مربوط به انجام  تقلباتSneaky Java redirects
Cloaking
Doorway pages
را انجام دهد
و بالاخره اسپایدری هم تنها وظیفه اش دنبال کردن لینک ها و ثبت هدر مربوطه است
تا اینجا با اسپایدر آشنا شدید نوشتن یک اسپایدر برای یک برنامه نویس سطح پایین هم کاری سهل و ساده است
اما کراونر چیست
موتورجستجوگر شامل سه بخش است
کراولر
ایندکسر
نمایش
( و در گوگل سیستم رتبه بندی پیشرفته را هم  به عنوان یک بخش مجزا داریم )
علی الظاهر ساده ترین قسمت یک موتورجستجوگر کراولر است اما در عین حال تاج موتورجستجوگر هم هست (همانطور که ساخت یک تاج آسان است اما همیشه تاج تاج است)
اما کراولر
اگر با وب مستر گوگل کار کرده باشید با عباراتی مثل
Crawl rate
Crawl Errors
Crawl Stats
برخورد کرده اید
به طور خلاصه crawl عملیات پویش یک سایت توسط موتورجستجوگر را می گویند
crawler قسمت مدیریت crawl  یک موتورجستجوگر است که الگوریتم نسبتا پیچیده ای دارد و هدایت اسپایدرها تنها بخش کوچکی از این الگوریتم پیچیده است

ادامه را در اینجا بخوانید

تفاوت های کراولر و اسپایدر در موتورهای جستجو(2)

در وبمستر گوگل شما می توانید تنظیماتی بر روی نحوه کار کراولرو فقط برای سایت خودتان انجام بدهید و خطاها و آمار کراول سایت خودتان را نیز ببینید
این کراولر است که تعین می کند چند سرور وظیفه کراون  یک سایت را انجام دهند و هر سرور با چند خزنده
این کراولر است که سرعت هاست سایت شما از مجموع فعالیت های اسپایدرهایش محاسبه می کند
کراولر در طراحی بر عکس قسمت view به هوش مصنوعی متکی نیست بلکه کاملا متکی به آمار و ارقام است
مثلا اگر به یک سایت اسپمر برخورد کند نمی تواند اسپم بودن سایت را تشخیص دهد و تنها ظرف چند روز ممکن است صدها اسپایدر را مامور کراون آن کند  تا وقتیکه ایندکسر آن سایت را برای کراونر اسپم اعلام کند که بعد از آن تنها اسپایدر های بررسی فعال بودن صفحات به این سایت سرکشی می کند
کراولر طوری طراحی شدهاست که کمترین تعامل را با دیتابیس داشته باشد
جالب است که مثلا اگر کاری کنید که  کراولر msn سایت شما را بزرگ تشخیص دهد با این کراولر هزاران اسپایدر به سایت شما سرازیر می کند طوریکه هاست تان را دچار مشکل می کند
بزرگترین کمک های کراولر به یک موتور جستجوگر (مخصوصا گوگل )
1- جمع آوری اطلاعات آماری و محتوایی از یک سایت
2- تشخیص منطقه کاری سایت
3- محاسبه سرعت هاستینگ سایت
4- تعامل یک سایت با سایتهای دیگر

من وبلاگ حدود 11 روزیه که ایندکس نشده میتونین راهنماییم کنید که چه کار باید بکنم ؟

عبارت فوق سوال ازطرف یکی از خوانندگان این وبلاگ مطرح شده که در اینجا به آن میپردازم

وبلاگ این دوستمون downloadiha.......blog.com  اعلام شد که در بازدیدی که از آن ‌شد این مورد که از  تاریخ ایندکس سایتش خیلی گذشته تایید شد

در بررسی به عمل آمده که با کمک صفحه مخصوص این کار در گوگل آنالیست یعنی http://googlebot-last-access.google-analysts.com انجام شد معلوم شد که 12 روز است که گوگل صفحه اصلی وبلاگ گفته شده (که از ذکر نام کامل آن به دلیل نداشتن اجازه برای منتشر کردن آن) معذوریم را ایندکس نکرده است

صفحات دیگر و کدهای اچ تی ام ال مرتبط با سئوی سایت مثل رل ها و کدهای متا را مورد بررسی قرار دادم

چند خطای سئ وجود داشت اما هیچکدام آنقدر جدی نبود که تاریخ ایندکس صفحه را به تاخیر بیندازد

به سرم زد که دامنه اصلی که وبلاگ روی آن نصب شده را بررسی کنم

آی پی مشترکی با ساب دامین اش داشت

خلاصه بعد از مقداری وقت روی این وبلاگ و سایت مادر ایراد بر من مشخص شد

ایرادی که قطعا تمام وبلاگ های نصب شده روی این دامنه را تحت تاثیر قرار داده است

بله ارسال هدر ناصحیح برای هر درخواستی که کاربر می فرستد

و چون این مشکل بر روی دامنه اصلی وجود ندارد خود دامنه مشکل ایندکس ندارد

شما نیز اگر تاریخ ایندکس صفحات سایت تان بیش از 72 سات است حتما دنبال ایراد بگردید و مطمئن باشید بی دلیل نیست

حتما برای شما هم پیش آمده که مثلا در ی الطاف غیر قابل دسترس شدن سایت تان (ف ی ل ت ر شدن) تغییر دومین  را در پیش گرفته باشید

و با تغییر دامنه و عدم ایندکس شدن در گوگل حسابی  به هم ریخته اید و مرتب از خودتان پرسیده اید که من الان دو هفته هست که دومین جدید سایتم رو در گوگل ثبت کردم ولی هنوز ایندکس نشده. مشکل چیه؟

حتی در قسمت change of address گوگل هم تغییر آدرس رو به گوگل خبر می دهید. اما بازهم فایده ای ندارد

اولین سوالی که از خود پرسیدهاید این بوده است که آیا در لیست سیاه گوگل قرار داشتن شامل دامنه جدید هم شده است

متخصصان سئو به شما پیشنهاد کرده اند که اگر اختیار دامنه قبلی همچنان با شماست، به طریق 301 ترافیک کاربران را به دامنه جدید هدایت نمائید تا رنک احتمالی شما نیز خیلی زود به دامنه جدید منتقل گردد.

چطوری می توانیم لیست سیاه گوگل رو چک کنم؟

وقتی هم که آدرس http://onlinealley.com/seotools/googlebannedchecker/c به شما اعلان می گردد صرفاپاسخ کوتاه

The domain name DOES NOT appear to be banned. نمی تواند شما را قانع کند و اگر پیام This domain DOES appear to be banned باشد که بدتر به هم می ریزید

اما این مژده شما را خوشحال خواهد کرد که بدانید برای اولین بار سیستم تشخیص دقیق ایندکس شدن در گوگل راه اندازی شده است

اهمیت این موضوع در این است که ایندکس شدن در گوگل اولین گام رسیدن به موفقیت سئو در وب سایت شما می‌باشد.

سیار مهم است دانستن اینکه بدانید که تمامی صفحات کلیدی و اصلی وب سایت شما درست  ایندکس شده است و در تمامی جستجوهای مرتبط ظاهر می شوید.

البته این همه خاص انتقال دامنه نیست وب سایت‌های جدید و یا آن‌هایی که در بهینه سازی وب سایتشان ضعیف عمل نموده‌اند، نیز شامل این کلام نیز می شوند چرا که اغلب از ایندکس شدن ضعیف صفحات وب سایتشان در گوگل رنج می‌برند. این موضوع بدان معنی است که گوگل ارزش کمتری برای وب سایت شما قائل است. اما مشکل اصلی این ایست که چطور از نحوه ایندکس گوگل مطلع شویم

دیر ایندکس شدن صفحات دلایل عدیده می تواند داشته باشد

مثلا خطاهایی که ربات‌های گوگل هنگام ایندکس کردن صفحات با آن مواجه می‌شوند

وقتی ربات‌های گوگل از طریق صفحه‌ی اصلی وارد وب سایت شما شوند، شروع به کراون کردن کردن بقیه وب سایت از طریق لینک‌های داخلی خواهد نمود.

مطالب و محتوای جدید، هم توجه ربات‌های گوگل را به خود جلب می‌کند

اگر می خواهید از زمان دقیق ایندکس شدن صفحات سایت خود آگاه شوید از لینک زیر استفاده نمایید

زمان آخرین بازدید گوگل از سایت به طور دقیق‌ (به زودی)

زمان آخرین ایندکس صفحات توسط گوگل به طور دقیق

آیا فکر می کنید توی زبان پی اچ پی راهی داره که با توابع preg_match() یا ereg() بشه یه مجموعه کاراکتر فارسی یا کلا کاراکتر های فارسی رو بررسی کرد؟

اگر کسی قبلا این سوال را از من می کرد برای php کد زیر را به او می دادم

preg_match("/./us", $str); or preg_match("#(.)#us", $str);

که تو خود php manual  در http://php.net/manual/en/function.ucfirst.php آمده است

که کارش جدا کردن کدهای utf هست اما یک ایرادی داره و تکیه بر آن کار صحیحی نیست(دقت و ایمنی) و  به این راحتی ها هم نیست(چرا که صدها کاراکتر UTF-8/Unicode شبیه فارسی و عربی داریم)!

UTF-8 شامل:
Alphabetic(در فارسی همون آابپتثجچحخدذرزژسشصضطظعقفقکگلمنوهیی و البته حروف عربی هم)
Numeric
non-alphanum/Special
ASCII, 7/Bad bytes, ...

هم میشود ولی تا امروز فکر نمی کردم راه بهتری وجود داشته باشه

ولی راسته که می گویند همه چیز را همگان دانند

امروز از یکی از همکاران   مطلب جالبی یادگرفتم

بله دوست عزیز آقای کوشکی امروز در پاسخ به این سوال که چطور می شود pattern  یا الگویی برای تشخیص کلمات فارسی نوشت گفتند که خود حورف فارسی را بگذارید تو الگو

من تا قبل از اینکه از ایشان بشنوم که راهکار خیلی ساده تری برای تشخیص الگوی فارسی کلمات با استفاده از رجکس وجود دارد از یک الگوی گفته شده در داکیومنشن php استفاده می کردم(که اشاره شد)

اما الگوی استفاده مستقیم از حروف فارسی خیلی راحت است به راحتی آب خوردن

[آ-یa-zA-z]

باور نمی کنید امتحان کنید

البته دقت بیشتر هم میشه به اون داد

if(preg_match("#[(ابپتثجچحیخدذرزسشطظعغفقکگلمنوهیئضص)+]#",$str))

خواهید دید که مفسر php خیلی راحت با حروف فارسی در رجکس کار می کند راستش من قبلش حتی یکبار هم امتحان نکرده بودم

یعنی آنقدر مطمئن بود که php از فارسی در رجکس پشتیبانی نمی کند که حتی یکبار هم امتحان نکردم

اینه دیگه وقتی می گویند ایرانی ها کم نمی آرودند یعنی همین

یکی از آرزوهای دیرینه هرکسی که دستی در اینترنت دارد این بوده است که راه کاری داشته باشند  برای تشخیص اینکه چگونه  می توان آخرین تاریخ ایندکس صفحات را پیدا کرد

این کار توسط گروه اینترنتی گوگل 724 تحقق پیدا کرد

اگر می خواهید ببینید که گوگل سایت شما را ایندکس کرده است

و آگر می خواهید از زمان دقیق آخرین ایندکس گوگل از هر کدام از صفحات سایت خود آگاه شوید  از لینک زیر استفاده نمایید

در اینده این سیستم توسعه خواهد یافت و قابلیت تشخیص آنی بلوک شدن یک سایت توسط گوگل و ... به این سیستم افزوده خواهد شد

البته همین الان نیز شما استفاده های زیادی از این سیستم می توانید ببرید

مثلا اگر چند دامنه را روی یک  سایت گذاشته اید از نظر سئو باید تاریخ ایندکس تمام صفحات آنها یکی باشد

در غیر اینصورت دامنه ها بصورت سئو پارک نشده اند

توجه1:  این اولین بار در اینترنت است که  توسط سرویس منحصر به فرد گروه گوگل 724 تاریخ ایندکس گوگل بر شما آشکار می شود

بنابراین قبل از هر چیز لازم است بدانید که  تاریخ ایندکس متفاوت از تاریخ کراون کردن یک سایت می باشد

شما می توانید با ثبت کردن agent های ورودی های سایت خود و برخورد با agent مخصوص گوگل بات مثل

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

آن را به عنوان کراون گوگل بات ثبت نمایید

اما ثبت زمان های ایندکس گوگل تنها توسط سرویس جدید ما برای شما ممکن شده است

چرا که ایندکس به ثبت نتایج حاصل از کراون مجموع گوگل بات های اعزام شده به سایت در دیتابیس گوگل گفته میشود

و برای اطلاع از ان شما نیاز به ابزاری برای خواندن دیتابیس گوگل دارید

برای اینکه بهتر متوجه تفاوت های دانستن زمان کراون توسط  گوگل بات با زمان دقیق ایندکس شدن در گوگل شوید مثالی می اورم

گوگل صفحه اصلی سایت پربازدید تابناک را به عنوان مثال هر 4 دقیقه یکبار کروان می کند

اما ممکن است ایندکس  همان صفحه 6 ساعت به تاخیر بیفتد (بدلیل حجم مسئولیت های سرور گوگل)

به عبارتی صفحه گفته شده ممکن است در روز 300 بار توسط 10 سرور مختلف گوگل کراون شود اما تنها 10 بار توسط سرور مرکزی گوگل ایندکس شود

آنچه برای ما اهمیت دارد تعداد ایندکس  های یک سایت در روز است ( و نه کروان چرا که مثلا سایتهای اسپم ممکن است در روز هزاراان بار کراون شوند اما تمام نتایج این کراون ها در سرور مرکزی گوگل حذف شود و در عین  تعجب تاریخ ایندکس را مثلا هفته پیش ببینید)

توجه2: به غیر از بحث کروان و ایندکس بحث کش گوگل را هم داریم که قبلا در همین وبلاگ مطالبی درباره آن نوشته ایم

یعنی در ایندکس سایت در گوگل چگونه است که در آنجا گفتیم:  گوگل یک کش اکتیو دارد به این صورت که نتایج ایندکس شدهدر همان روز را در تعداد نتایج نشان می دهد به عبارتی نتایج جستجوهای جدید با نتایج موجود در دیتابیس را همزمان نشان می دهد و این تفاوت را شما هر چند روز احساس خواهید کرد (به عبارتی اگر چند روز دیگه تست کنید باز تعداد ایندکس های شما زیاد نشان داده میشود که من این تفاوت را به ضریب گوگلی نسبت می دهم که توضیح آن خارج از حوصله این وبلاگ است در ضمن تعداد نتایج ایندکس شده هیچ ارتباطی به پیج رنکینگ سایت ندارد)

بنابراین اگر شما مطلبی را در سایت خودتان گذاشتید و مثلا 5 دقیقه بعد در نتایج گوگل ظاهر شد اصلا به معنی ایندکس شدن آن در گووگل نیست بلکه ملاک آن است که 24 ساعت بعد هم این مورد کماکان در نتایج گوگل نشان داده شود

بنابراین آنچه در سرویس معرفی شده به شما نمایش داده میشود ایندکس واقعی  است و نه برگرفته از نتایج کش گوگل (هرچند چون کش گوگل وابسته به سرور منطقه مورد جستجو هست  و در وجود میلیون ها سرور توسط گوگل عملا برای بررسی آن به هزاران سرور نیاز است!)

توجه3: اگر تاریخ ایندکس شما در این سایت بیش از 72 ساعت نمایش داده شد اصلا نشانه خوبی نیست و باید بررسی شود

بررسی آخرین تاریخ ایندکس کردن یک صفحه توسط گوگل بات (موتور جستجوگر گوگل)

یکی از نکاتی که در طراحی سایت باید مد نظر داشت نوع تعاملات آجاکس است
به طور خلاصه اینکه یادتان باشد که  آجاکس قرار نیست برای شما معجزه کند
شما وقتی به یک سایت می خواهید لاگین نمایید  ابتدا مشخصات کاربری در قالب یک فرم html به سرور ارسال میشو د و سرور پاسخ را در قالب یک صفحه HTML به شما می دهد
حال اگر همین کار را اگر بخواهیم بصورت آجاکس انجام دهیم تفاوت بزرگی که  در ارسالات سرور صورت می گیرد این است که به جای ارسال یک صفحه html که می تواند پرحجم هم باشد تنها یک کد ارسال می کنید مثلا تایید لاگین شما و شما بر اساس آن کاربر را مطلع می کنید (به عبارتی حتی ارسال پیام «شما با موفقیت به سیستم لاگین شدید» هم کار برازنده ای نیست و مثلا سرور می تواند کد های زیر رابه رایانه ارسال نماید
0 برای خطا در لاگین
00 خطا به دلیل نامعلوم
01 برای خطای کد امنیتی
02 برای خطاب یوزرنیم یا پسورد
03 برای خطا به جهت یوزرنیم یا پسورد و یا تعلیق کاربر
....
و 1 را اعلام موفقیت در لاگین بفرستید
11 موفقیت کامل
12 موفق در لاگین اما مشلکل تعلیق دیده میشود
....
همانطور که دیده میشود همه چیز در جهت کم کردن اعلانات و پاسخ ها هست
نکته مهم: اگر قرار باشد تعاملات آجاکس خود  را بصورت html انجام دهید و به صورت html منطقی نباشد مطمئن باشید خطای فاحشی در انجام این نوع از تعاملات آجاکس وجود دارد
مثالی بزنم
مثلا شما بخواهید ساعت سرور را بصورت همزمان   بر روی سیستم کاربر نمایش دهید
اینکه بیاید مثلا هر یک ثانیه از طریق setTimeout یا setInterval هر یک ثانیه ساعت را از سرور بپرسیدو نمایش دهید نه تنها کار درستی نیست بلکه قابل اجرا هم نیست و سیستم دچار پرش و خطای نمایش است می گویید نه امتحان کنید
اما هدف از این مثال
همانطور که گفته شد « اگر قرار باشد تعاملات آجاکس خود  را بصورت html انجام دهید و اینکار منطقی نباشد مطمئن باشید خطای فاحشی در انجام این نوع از تعاملات آجاکس وجود دارد» و این مثالی از این نکته بود
به عبارتی شما در نبود آجاکس هیچ وقت با صفحات اچ تی ام ال (و رفرش هر یک ثانیه)چنین کدی نمی نوشتید  پس اگر با آجاکس هم چنین کدی نوشتید اشتباه فاحش رخ داده
به عبارتی آجاکس فقط بهینه کننده کار است و نه معجزه
در مورد مثال فوق کافیست از ساعت داخلی جاوا اسکریپت یعنی setTimeout استفاده کنید و فقط هر چند دقیقه احتیاطا ساعت را میزان کنید
و اگر به هر دلیل نیاز به چنین کدی داشتید از ابزار دیگری به غیر از آجاکس استفاه کنید مثل  ماژول سوکت در نود یا socket.io

البته لازم به گفتن نیست که این کار با استفاده از کارکتر ویژه این کار انجام خواهد شد و نه تغییر مکان حروف

باور ندارید view source بگیرید یا در فایرفاکس کادر بالا را انتخاب و با کلیک راست view selection source را ببینید

برای اینکار من از کارکترهای ویژه rlm و lrm استفاه کرده ام

توضیحات بیشتر را می توانید در اینجا بخوانید

http://en.wikipedia.org/wiki/Left-to-right_mark

http://dotancohen.com/howto/rtl_right_to_left.html

http://en.wikipedia.org/wiki/Left-to-right_mark

http://en.wikipedia.org/wiki/Bi-directional_text

اگر می خواهید از این پس  جستجوی راحت و بدون دردسری با گوگل داشته باشید افزونه بهینه ساز جستجو با گوگل را بر روی فایرفاکس خود نصب نمایید
این افزونه کاملا فارسی و توسط گروه گوگل 724 طراحی و ارایه شده است
البته به دلایلی هنوز موفق به قرار دادن ان در افزونه های موزیلا نشده ایم که مهمترین دلیل ان قابلیت غیر فعال کردن تبلیغات گوگل در جستجو با گوگل است
توضیحات بیشتر این افزونه که نسخه بتای ان در آدرس زیر قابل دانلود است بزودی  و در همینجا اعلام میشود

دانلود:افزونه بهینه ساز جستجو با گوگل

بهینه ساز نتایج گوگل امکانات و قابلیتهای جالبی دارد انشالله اگر فرصت آن شد از نحوه استفاده از این افزونه برای ممانعت از امتیاز دهی به رقبا را برای تان تشریح خواهیم کرد

ضمنا یادتان باشد این نسخه بتا است و اگر مشکلی در آن دیدید بر ما ببخشید و حتما ان را در قسمت گزاراشات باگ اعلام نمایید