آموزش سئو

بودجه خزش

همه آن چیزی که باید در مورد بودجه خزش (Crawl Budget) بدانید

ممکن است پس از این که یک صفحه جدید به سایت خود اضافه کردید، گوگل هفته ها آن را ایندکس نکند و در این زمان شما باید از بودجه خزش استفاده کنید. ما در این مقاله در زمینه Crawl Budget یا بودجه خزش صحبت خواهیم کرد و اطلاعاتی را در اختیار شما قرار خواهیم داد.

یکی از مهم ترین نکاتی که در سئو سایت باید به آن دقت بسیار زیادی داشته باشید، بودجه خزش یا Crawl Budget می باشد. می دانیم که هر سایت در ابتدا طراحی می شود و سپس در گوگل ایندکس خواهد شد، ممکن است فرآیند ایندکس شدن یک صفحه از سایت شما، هفته ها به طور بینجامد و در این صورت شما باید از بودجه خزش استفاده داشته باشید.

ما در این مقاله قصد داریم که در مورد بودجه خزش با شما صحبت کنیم و اطلاعات مربوطه را از مارتین اسپیلت از Google و همچنین الکسیس سندرز که از کارشناسان ارشد در این زمینه هستند دریافت خواهیم کرد. پس با معتبرترین مقاله فارسی زبان در زمینه بودجه خزش (Crawl Budget) همراه باشید تا اطلاعات بیشتری را در این زمینه به دست بیاورید. در این مقاله شما را به طور کامل با این مسئله آشنا خواهیم کرد و اطلاعات مورد نیاز را با شما در میان خواهیم گذاشت.

بودجه خزش چیست؟

بودجه خزش در واقع تعداد صفحاتی است که در طول هر روز به موتور جستجوی گوگل اضافه می شود و این تعداد هر روز با تفاوت هایی همراه است. به طور کلی می توان گفت که هر روز گوگل می توان 6 صفحه را در گوگل اضافه کرد، همچنین 5000 صفحه یا حتی چهار میلیون صفحه در طول روز می تواند  تعداد صفحاتی باشد که در سایت شما ایندس می شود. اما بودجه خزش بر چه اساسی تعیین می شود؟ به طور کلی می توان گفت که میانگین تعداد افزوده شدن صفحات در سایت شما بسته به سلامت سایت شما تعیین می شود و همچنین تعداد خطاهایی که گوگل از سایت شما می گیرد و یا تعداد لینک هایی که به مقصد سایت شما گذاشته می شود، از مهم ترین فاکتورهای تعیین بودجه خزش از سوی موتور جستجوی Google تعیین می شود.

همه چیز درباره بودجه خزش

در واقع می توان گفت که تعادل مابین میزان خزیدن محتوای سایت در کوتاه ترین زمان به شمار می رود، این بودجه بر اساس تعداد درخواست هایی که به Googlebot ارائه می شود، تعیین می گردد. در ادامه با ما همراه باشید تا اطلاعات بیشتری را در این خصوص با شما به اشتراک بگذاریم که قطعا می تواند برای شما مفید واقع شود.

بودجه خزش چطور کار می کند؟

خزنده Googlebot لیستی از URL ها را برای ایندکس کردن و ورود به صفحات دریافت می کند که این لیست به طور سیستماتیک مورد استفاده قرار می گیرد. پس از هر چند مدت یک بار، پرونده robots.txt را از سایت شما دریافت می کند تا اطلاعات مربوط به URL سایت شما را دریافت کرده و اجازه ورود به سایت شما داشته باشد. ربات گوگل مانند یک عنکبوت عمل می کند و زمانی که یک صفحه از سایت شما را مشاهده می کند، URL های مربوط به لینک را تجزیه و تحلیل کرده و آدرس های جدید را اضافه کند تا بتواند به آن ها نیز دسترسی داشته باشد.

این رویداد باعث می شود تا ربات Google بتواند یک URL خوب را برای ورود پیدا کند و پیوندهای جدید را پیدا کرده و بودجه خزش شما را بیشتر کند. همچنین در صورتی که در میان پیوندها، به محتوای خارج از سایت شما نیز دسترسی پیدا کند، می تواند آن را پیدا کرده و آن را ایندکس کند. همچنین نقشه سایت شما که به صورت XML می باشد یکی از مهم ترین موارد مورد استفاده ربات گوگل برای سایت شما شناخته می شود و زمانی که تشخیص داده شود که مواردی باید برای سایت شما ایندکس شود، از آن ها نیز استفاده خواهد کرد.

چه زمانی بودجه خزش می تواند برای شما مسئله دار شود؟

بودجه خزش در صورتی که Google مجبور باشد که URL های زیادی را در سایت شما جستجو کند و مقدار زیادی خزنده اختصاص داده شده باشد، برای شما مسئله دار نخواهد شد ولی در صورتی که به گوگل بگویید که سایت شما 25000 صفحه دارد و Google هر روز 2500 صفحه را برای شما ایندکس می کند و این مسئله می تواند باعث شود تا صفحه های مهم سایت شما مانند صفحه اصلی در روزهای اول ایندکس شود ولی سایر صفحات ممکن است که تا 200 روز آینده ایندکس شوند که این مسئله می تواند برای شما مشکل به شمار رود. از طرف دیگر اگر بتوانیم بودجه خزش را روی روزانه 50000 صفحه تنظیم شود، مشکلی برای سایت شما به وجود نخواهد آمد.

برای این که سرعت بودجه خزش در سایت شما چقدر است، باید مراحلی که در ادامه گفته می شود را دنبال کنید. این کار باعث می شود که در ابتدا تعداد کمی از URL های سایت شما ایندکس شوند و این میزان به مرور زمان افزایش پیدا خواهد کرد. در ادامه شیوه دریافت میزان بودجه خزش سایت را با شما در میان خواهیم گذاشت.

  • مشخص کنید که چند صفحه در سایت شما وجود دارد که در این زمینه می توانید از نقشه سایت XML استفاده داشته باشید.
  • وارد Google Console شوید.
  • از طریق Legacy Tools وارد قسمت Crawl stats شوید و میانگین صفحات خزنده در طول یک روز یادداشت کنید.
  • تعداد صفحات را روی تعداد صفحات خزنده در طول یک روز تقسیم کنید.
  • در صورتی که عدد شما بیشتر ده خواهد بود، شما می توانید روزانه بیشتر از ده صفحه را در گوگل ثبت کنید ولی در صورتی که عدد کمتر از سه بود شاید مشکل از سایت شما باشد و باید نسبت به رفع مشکل اقدام کنید.

گوگل کدام صفحات را به Crawl اضافه می کند؟

درباره بودجه خزش

شما باید بدانید که کدام URL ها در سایت شما اضافه می شوند و تنها راه واقعی برای دانستن این مسئله، بررسی گزارش هایی است که روی سرور سایت شما ثبت می شوند. همچنین برای سایت های بزرگ استفاده از Logstash Kibana + توصیه می شود. همچنین برای سایت های کوچک می توانید از Screaming Frog که یک ابزار آنلاین بسیار محبوب می باشد استفاده داشته باشید، در صورتی که می خواهید از یک تحلیلگر بسیار خوب استفاده کنید، می توانید از ابزارهای ورود به سیستم SEO سایت خود استفاده داشته باشید.

گزارش های سرور خود را پس از دریافت، چک کنید

بسته به نوع میزبان هاستینگ شما، ممکن است که گزارش های سرور در زمینه سئو همواره در دسترس شما نباشد ولی با این حال اگر تصور می کنید که بودجه خزش شما برای بهینه سازی از اهمیت بسیار زیادی برخوردار می باشد و سایت شما بزرگ است، باید این گزارش ها را داشته باشید. در صورتی که میزبان هاستینگ به شما اجازه دسترسی به این داده ها را نمی دهد، باید هاستینگ خود را عوض کنید.

به طور کلی می توان گفت که افزایش بودجه خزش با اصلاح سیستم شما آغاز می شود. یک سیستم را نمی توان از بیرون درست کرد و مجبورید که به عمق سیستم نفوذ داشته باشید. در ابتدا باید نقاط ضعف سایت خود را بررسی کنید که یکی از مهم ترین آن ها سرعت سایت شما و همچنین صفحات 404 در سایت شما خواهد بود. همچنین در صورتی که تصور می کنید که در سایت خود تعداد زیادی صفحه عدم دسترسی دارید، باید حتما این مشکل را برطرف کنید تا گزارش سرور شما رو به بهبود برود.

بودجه خزش سایت خود را افزایش دهید

در صورتی که قصد دارید بودجه خزش سایت خود را بهبود بخشید، باید بدانید که بررسی موارد مهم در صفحات گوگل شما دارای اهمیت بسیار زیادی می باشد و شما می توانید با مواردی که در ادامه گفته می شود، بودجه خزش سایت خود را از دید موتور جستجوی Google افزایش دهید.

از وب سایت خود نگهداری کنید : خطاها را کمتر کنید

مرحله اولی که باید برای افزایش بودجه خزش سایت خود انجام دهید، این است که اطمینان کسب کنید که صفحات خزیده شده به گوگل، دو کد بازگشت احتمالی 200 (در صورت تایید) یا 301 (در صورت دریافت اطلاعات بیشتر) را به شما باز می گرداند. دو کد دیگری که برای صفحات بازگشت داده می شوند خوب نیستند و برای این که بدانید که دقیقا مشکل صفحات خزیده شده به گوگل کراول چه بوده است، باید به قسمت Google Analytics رفته و بسته های تحلیلی را دریافت کرده و همچنین خطاهای سایت را پیدا کنید.

پس از مطالعه گزارش هایی که از سمت سرور برای شما ارسال می شود، شما می توانید نسبت به جستجو و رفع خطاهای پیدا شده اقدام کنید و ساده ترین راه به این منظور را می توان دریافت لیست صفحاتی دانست که URL کد 200 یا 301 را برای شما بازگردان نمی کند. همچنین باید دقت داشته باشید که گاها حتی پس از رفع ایرادهای یک سایت، شما نمی توانید کد های خوب را روی URL دریافت کنید و در این صورت شاید مجبور شوید که آدرس اینترنتی صفحه خود را تعویض کنید. در صورتی که می دانید چه چیزی باعث بروز خطا در سایت شما می شود، می توانید نسبت به رفع آن اقدام نمایید.

از مهم ترین منابعی که به این منظور در دسترس شما قرار داده می شود، می توان به Google Search console اشاره کرد. این ابزار به شما کمک می کند تا ساده تر بتوانید بهترین بودجه خزش را برای سایت خود دریافت کرده و سایت خود را در مدت زمان کوتاه تری موفق کنید.

سایر روشهای افزایش بودجه خزش

روش های دیگری نیز برای افزایش میزان بودجه خزش سایت شما وجود دارد که در این قسمت به بررسی آن ها می پردازیم :

  • مسدود سازی بخش هایی از سایت : در صورتی که می خواهید بودجه خزش را در سایت خود بهبود بخشید، می توانید قسمت هایی از سایت را که واقعا گوگل نیازی به ایندکس آن ها ندارد را مسدود کنید.
  • Redirect chains را کاهش دهید : برای این که بتوانید بهترین بازده را داشته باشید، می توانید لیست صفحاتی که با کد 301 بازگشته اند را کاهش دهید تا سرعت خزش و در نهایت بودجه خزش سایت شما بهبود پیدا کند.
  • دریافت لینک های بیشتر : شاید به نظر سخت برسد ولی شما باید لینک های بیشتری را در سایت خود وارد کنید تا تعداد افراد بیشتری بتوانند با ورود به صفحات دیگر به سایت شما وارد شوند. در این زمینه می توانید از صفحات مجازی کمک بگیرید و در نهایت می توانید بهترین بازده را داشته باشید.

 

تقاضای خزیدن چیست؟

این امر اشاره به آن دارد که گوگل هر چند وقت یک بار می خواهد سایت شما را ایندکس کند. برای مثال یک سایت خبری نیاز بیشتری به بودجه خزش بالاتر خواهد داشت.

سیاست Googlebot در بودجه بندی خزش به سایت ها چیست؟

Google بر اساس تعداد دفعاتی که در یک سایت محتوا تغییر پیدا می کند، یک سایت را مورد بررسی قرار خواهد داد.

کدام سایت ها باید نگرانی بابت بودجه خزش سایت خود داشته باشند؟

این مسئله را می توان از مهم ترین نگرانی در سایت هایی دانست که میلیون صفحه برای خزش دارند. دیگر سایت ها نباید بابت این مسئله نگران شوند.

آیا بهینه سازی صفحه در بازگشت کدها تاثیرگذار است؟

بله قطعا و شما باید صفحاتی کاملا بهینه سازی شده از هر لحاظ داشته باشید.

چطور سایت خود را برای افزایش بودجه خزش آماده کنیم؟

در ابتدا باید گزارش های سرور را دریافت کنید و خطاهای ایجاد شده روی صفحات خزیده شده به گوگل را تصحیح کنید.

کدام سایت ها به بودجه خزش بیشتری نیاز دارند؟

سایت هایی که به ایندکس شدن در لحظه نیاز دارند را می توان از مهم ترین سایت ها با میزان بودجه خزش بیشتر دانست. برای مثال سایت های خبری

آیا ابزاری در زمینه بهبود بودجه خزش وجود دارد؟

بله، دو ابزار مهم در این زمینه در مقاله معرفی شد.

آیا برای بهتر شدن بودجه خزش راهی وجود دارد؟

بله شما می توانید از برون سپاری برای بهینه سازی استفاده کنید.

آیا بودجه خزش روی ارائه شما در بهینه سازی تاثیر دارد؟

بله زمانی که شما می خواهید بودجه خزش را افزایش دهید، باید محتوای بهتری را ارائه کنید.

چه مواردی دارای اهمیت است تا بتوانیم به Googlebot برای دریافت بهترین نتیجه کمک کنیم؟

مسدود سازی قسمت هایی از سایت که نیازی به ایندکس شدن ندارند.

 

roshanayixyz

من حسین روشنایی هستم متخصص و مشاور سئو

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا