آیا کراولرها عامل اصلی رتبه بندی گوگل هستند؟

به‌تازگی، تعاریف زیادی برای “budget crawler”، منتشرشده است.بااین‌حال یک اصطلاح واحد که همه‌چیز را درباره این عبارت توصیف کند وجود ندارد.در این پست ما معنی روشن و واضحی از این عبارت برای Googlebot به شما ارائه می‌کنیم..

در ابتدا باید بگوییم که نگرانی صاحبان وب‌سایت‌ها در این مورد بیهوده است.

کراول درواقع یک برنامه و موتور جستجوی اینترنتی است که روزانه به تمام سایتها سرکشی کرده و مطالب منتشرشده، آدرس‌ها و سایر پارامترها را بررسی می‌کند.

اینکه اولویت کراول چیست؟ کی، کجا و چه مقدار منابع سرور سایت میزبان را به خود اختصاص می‌دهد؟ یا میزان منابعی که برای سایت‌های بزرگ اختصاص می‌دهد و یا میزانی که به سایت‌های شخصی اختصاص می‌یابد از پارامترهای مهم است.

حد کراول

گوگل به‌عنوان یک شهروند خوب برای اینترنت طراحی‌شده است.اولویت اصلی کراول این است که مطمئن شود آمار بازدیدکنندگان از سایت‌ها تنزل پیدا نمی‌کند. ما این را “حد کراول” می‌نامیم که حداکثر نرخ جذب برای یک سایت را مشخص می‌کند.

به عبارت ساده‌تر، این حد نشان‌دهنده تعداد اتصالات موازی هم‌زمان گوگل است که ممکن است برای کراول یک سایت مورداستفاده قرار گیرد و همچنین فاصله بین بازخوانی مجدد را هم‌ اندازه گیری می‌کند. نرخ کراول یا همان نرخ خزنده به چند عامل بستگی دارد:

صحت کراول: اگر سایت به سرعت بالا آمده و به کراول پاسخ دهد به این معنی است که ارتباط برقرار شده است. اگر سایت کند کار کند یا خطاهای سرور رخ دهد، کراول در حد پایین قرار دارد.

حد تنظیم شده در کنسول جستجو: صاحبان وب سایت می توانند کراول گوگل از سایت خود را کاهش دهند. توجه داشته باشید که ایجاد محدودیت های بالاتر به صورت خودکار برای کراول وجود ندارد.

تقاضا ی کراول

هنگامی که حد نرخ خزنده پایین است، اگر هیچ تقاضا یی برای نمایه سازی وجود نداشته باشد، گوگل بوت فعالیت کمتری خواهد داشت. دو عاملی که نقش مهمی در تعیین تقاضا ی کراول بازی می کنند عبارتند از:

محبوبیت: URL هایی که در اینترنت محبوب تر هستند و تمایل به کراول شدن بیشتری دارند، از نظر شاخص محتوا تازه تر هستند.

Staleness: سیستم های ما تلاش می کنند تا مانع از تبذیل URL به سایت های قدیمی شوند. علاوه بر این، رویدادهایی مانند تغییر سایت ممکن است باعث افزایش تقاضای خزیدن به منظور ایجاد محتوا تحت آدرس های جدید شوند.

با توجه به نرخ کراول و تقاضا برای آن، بودجه کراول را تعریف می کنیم.

عوامل موثر بر بودجه کراول

با توجه به تجزیه و تحلیل ما، وجود تعداد بسیاری از URL های کم ارزش، می تواند بر کراول و نمایه سازی سایت ها تاثیر منفی بگذارد. ما دریافتیم که اضافه کردن آدرسهای کم ارزش به URL ها، باعث سقوط این سایت ها در رده بندی می شود.

فاکتورهای مهم در این زمینه عبارتند از:

شکل و هویت

وجود مطالب تکراری در سایت

خطاهای ساده در سایت

هک صفحات

فضاهای نامحدود و پروکسی

کیفیت پایین و هرزنامه

به هدر رفتن منابع سرور در صفحاتی مانند این باعث کاهش ارزش صفحه در کراول شده و حتی باعث نابودی یک سایت شود.

سوالات مهم

کراول نقطه ورود به سایت ها در نتایج جستجوی گوگل است. کراول کارآمد به یک وب سایت کمک می کند تا در جستجوی گوگل نمایه سازی شود.

سوال: آیا سرعت سایت بر بودجه کراول تاثیر می گذارد؟ در مورد خطاهاچطور؟

A: ساخت یک سایت سریع تر به بهبود تجربه کاربران کمک کرده ودر عین حال باعث افزایش نرخ کراول می شود. برای Googlebot سرعت یک سایت نشانه ای از سرور سالم است و بنابراین سایت می تواند مطالب بیشتری را با همان تعداد اتصالات منتشر کند. در آن روی سکه، تعداد قابل توجهی از خطاهای ۵xx و یا وقفه های اتصال سیگنال مخالف، مشاهده شده و کراول را کند میکند.

ما توصیه می کنیم به گزارش خطاهای کراول در کنسول جستجو وپایین نگه داشتن تعداد خطاهای سرور توجه کنید.

سوال: آیا کراول عامل رتبه بندی است؟

A: افزایش نرخ کراول لزوما به معنای موقعیت بهتر در نتایج جستجوی گوگل نیست. گوگل ازصدها سیگنال برای رتبه بندی نتایج استفاده می کند و در حالی که وجود کراول برای نتایج لازم است، در عین حال تنها یکی از سیگنالهای لازم برای رتبه بندی است.

سوال: آیا آدرسهای اینترنتی دیگر و تعداد محتوای جاسازی شده در بودجه کراول موثر است؟

A: به طور کلی، هر URL که گوگل کراول می کند، جزء هزینه کراول سایت قرار دارد. آدرس های جایگزین، مانند AMP یا hreflang و همچنین محتوای جاسازی شده، مانند CSS و جاوا اسکریپت، ممکن است هزینه اضافی برای سایت داشته باشد. همچنین تغییر مسیرهای طولانی ممکن است اثر منفی بر کراول بگذارد.

سوال: آیا من می توانم با دستور “crawl-delay” گوگل بوت را کنترل کنم؟

پاسخ: خیر این دستور غیر استاندارد بوده و در گوگل پردازش نشده است.

سوال: آیا دستور nofollow بودجه کراول را تحت تاثیر قرار می دهد؟

A: این بستگی به عوامل متعددی دارد. هر URL ممکن است کراول را تحت تاثیر قرار دهد؛ بنابراین حتی اگرشما صفحه URL خود را با یک علامت به عنوان nofollow معرفی کنید، کراول می تواند به صفحات دیگری که این برچسب را ندارند نفوذ کند.

بهترین مقالات دست اول را در شرکت تبلیغاتی کروشه بخوانید.

منبع