رایج ترین خطاهای سرچ کنسول در سال 2023

کرالر یا crawler که از آن با نام خزنده در وب فارسی نیز یاد می شود، بخشی از موتورهای جستجو هستند که محتوای یک صفحه را اصطلاحا اسکن یا بررسی می کنند تا در دیتا بیس گوگل (موتور جستجو) ذخیره شود. در واقع کرال شدن باعث می شود محتوای شما در هنگام نیاز در اختیار کاربر قرار بگیرد. اما گاهی اوقات خزنده یا Crawler قادر نیست محتوای صفحه را ببیند و خزش اتفاق نمی افتد. در این حالت خطاهایی در سرچ کنسول نمایش داده می شود که در واقع دلایل ایندکس نشدن صفحات یک سایت هستند و به عنوان خطاهای سرچ کنسول شناخته می شوند. در این نوشتار قصد داریم رایج ترین خطاهای سرچ کنسول را معرفی کنیم. با ما همراه باشید.

همانطور که گفته شد اگر یک خزنده نتواند یک صفحه را ایندکس کند، خطای خزش ثبت می شود و از آنجایی که اولین اصل در سئو ایندکس شدن صفحات است از اهمیت زیادی برخوردار است. در حقیقت خزش یا کرال صفحات به این معنی است که خزنده وب محتوای صفحه را بررسی می کند تا ببیند آیا ارزش ایندکس شدن دارد یا خیر؟ پس اگر صفحه ای کرال شود، خزنده آن را در فهرست دیتابیس موتور جستجو قرار می دهد تا در هنگام لزوم به کاربر نمایش داده شود. برای آنکه بتوانیم این خطاها را درک کرده و سپس برطرف کنیم ابتدا باید ابزاری را بشناسیم که به ما امکان شناسایی این خطاها را می دهد. اگر در حوزه وب فعالیت می کنید و یا به عنوان کارشناس SEO مشغول به کار هستید، سرچ کنسول دوست داشتنی را می شناسید. این مقاله به شما کمک می کند این همراه دوست داشتنی را بیشتر بشناسید.

تایید دامنه اولین گام در اتصال سایت به سرچ کنسول

ابتدا با سایت خود را به سرچ کنسول وصل کنید تا بتواند از داده های آن استفاده کنید. اولین مرحله تایید دامنه سایت در سرچ کنسول است. تایید دامنه به این معناست که به گوگل اعلام می کنید شما صاحب سایت هستید. با تایید دامنه یک سایت تمام زیر دامنه های آن نیز تایید می شوند. بنابراین پیشنهاد می کنیم حتما Domain را تایید کنید تا امکان بررسی تمام زیر دامنه های آن سایت را نیز داشته باشید. همچنین اطمینان حاصل کنید که تمام نسخه های سایت شما تایید شده است. این نسخه ها شامل موارد زیر می شود:
• http://example.com
• https://example.com
• http://www.example.com
• https://www.example.com
• و سایر ساب دامین های متصل به سایت مانند blog.example.com و ... .
گوگل هر کدام از این موارد را به عنوان یک سایت جدا در نظر گرفته و بررسی می کند، بنابراین هر کدام از آنها وریفای یا تایید نشده باشد، شانس دسترسی به اطلاعات و بررسی ان را از دست می دهید.

پس از تایید سایت، وارد سرچ کنسول شوید تا گزارش عملکرد سایت را ببینید. در اینجا لیست کاملی از تمام مشکلات فنی سایت که مانع رتبه گرفتن و یا بمنع بهبود رتبه های شما می شوند را مشاهده می کنید. چهار نوع پیام قابل مشاهده است: خطا Error، معتبر با هشدار Valid with warning، معتبر valid و استثنا یا Excluded. برای بررسی هر کدام وارد همان قسمت شده و برای رفع ارورهای احتمالی اقدام کنید.

بیشتر بخوانید: آشنایی با دستورات Regex و کاربرد آن درگوگل سرچ کنسول

لیست خطاهای سرچ کنسول

اگر crawler یا خزنده گوگل وارد سایت شود و نتواند خزش را انجام دهد با مشکل مواجه می شود در این صورت صفحه موردنظر را نمی تواند شناسایی کند و به همین دلیل آن صفحه را ایندکس نمی کند. بدین معنی که صفحه برای کاربران قابل مشاهده نخواهد بود زیرا ایندکس نشده است؛ و این سبب افت رتبه های شما در صفحات جستجوی گوگل می شود.
برخی از خطاهای بسیار رایج در این بخش عبارتند از:

• خطای سرور (5XX)
• خطای تغییر مسیر (Redirect Error)
• بلاک شده توسط فایل روبوتس (Blocked by robots.txt)
• استفاده از تگ نوایندکس (noindex)
• خطای 404 نرم
• درخواست غیر مجاز (401)
• صفحه یافت نشد (404)
• خطای خزش

نحوه برطرف نمودن خطای سرور (5XX)

خطای 500 به این معنی است که در سرور سایت شما مشکلی رخ داده که مانع ورود یا خزش صفحه شده است. در این حالت چیزی در سرور شما، مانع بارگذاری صفحه توسط گوگل شده است. ابتدا خودتان چک کنید ببینید می توانید صفحه مورنظر را باز کنید یا خیر، اگر صفحه باز شد یعنی مشکل برطرف شده است. قدم دوم این است که از شرکت میزبان (هاست و سرور) خود بپرسید آیا طی روزهای اخیر سرور با مشکل روبرو بوده است، یعنی با قطعی مواجه شده است یا خیر، یا حتی ممکن است در پیکربندی مشکلی رخ داده، که سبب شده است ربات های گوگل یا خزنده ها نتوانند به سایت دسترسی داشته باشند.

نحوه رفع خطای تغییر مسیر redirect error

یکی دیگر از خطاهای رایج مربوط به تغییر مسیر است. ممکن است یک صفحه دچار ریدایرکت چین (Redirect Chain) یا لوپ ریدایرکت شده باشد. یعنی صفحهA بر روی صفحه B و صفحه B بر روی صفحه C تغییر مسیر داشته است، در حالیکه صفحه A مستقیما باید بر روی صفحهC ریدایرکت شده باشد. در این حالت اصطلاحا زنجیره ریدایرکت اتفاق افتاده است. اولین دلیلی که این اتفاق رخ می دهد این است که ادرس یک صفحه را چندبار تغییر داده اید. از آنجایی که گوگل محتواهای بسیاری زیادی دارد، بنابراین صفحه ای که مسیر طولانی برای رسیدن به آن وجود دارد را نادیده گرفته و ایندکس نمیکند. پس تغییر مسیرها را چک کنید و مسیرهای اضافی را حذف کنید.

خطای Blocked by robots.txt و نحوه رفع آن

یکی از الزامات هر سایت داشتن فایل روبوتس robots.txt است. همانطور که می دانید توسط این فایل متنی به موتور جستجو اعلام می کنیم چه چیزهایی را ببیند و چه چیزهایی را نادیده بگیرد. پس از ساخت این فایل بهتر است آن را توسط ابزارهای موجود بررسی کنید تا خطایی نداشته باشد. اگر صفحه مهمی دارد که ایندکس نشده است ممکن است دسترسی خزنده به url آن صفحه را در فایل روبوتس بسته باشید، بنابراین در صورتی که با این خطا مواجه هستید حتما فایل روبوتس را چک کنید. اگر قطعه کدی در این فایل وجود دارد که مانع خزش و ایندکس شدن صفحه موردنظرتان شده است را ویرایش کنید. اگر سایت شما وردپرسی است، گاهی اوقات ممکن است یک افزونه سبب بروز این خطا شده باشد.

فایل روبوتس robots.txt و تاثیر آن بر سئو

خطای Submitted URL marked 'noindex' و رفع آن

صفحه ای که این خطا را دریافت کرده است در واقع صفحه ای است که شما آن را برای ایندکس شدن معرفی کرده اید اما در داخل صفحه تگ نوایندکس قرار داده اید. یعنی به گوگل سیگنال ضد و نقیضی می دهید: "بیا این صفحه رو ایندکس کن ... نه نکن!". بنابراین اگر می خواهید این صفحه ایندکس شود باید این تگ را ازسورس کدهای آن بردارید.

تگ نو ایندکس چیست و چه کاربردی دارد؟

خطای Submitted URL seems to be a Soft 404 و نحوه رفع آن

ممکن است صفحاتی ایجاد کرده و از گوگل خواسته باشید که آنها را ایندکس کند.. اما ایراداتی در صفحه وجود دارد که کرالرهای گوگل ترجیح میدهند آن را 404 در نظر بگیرند. به طور مثال صفحات دسته بندی خالی از محتوا، یا صفحاتی که هیچ محتوایی ندارند ممکن است در این گروه قرار بگیرند، این صفحت حکم قفسه های خالی فروشگاه را دارند. علت بعدی می تواند این باشد که موضوع صفحه با موضوع سایت شما همخوانی ندارد. بنابراین برای برطرف کردن این خطا، یا باید به آنها محتوا اضافه نموده و صفحه را اصلاح کنید و یا اینکه آن را ریدایرکت کنید.

خطای Submitted URL not found (404) و نحوه رفع آن

اگر صفحه ای را از سایت تان پاک کرده باشید اما ادرس آن در سایت مپ تان همچنان وجود داشته باشد این خطا را دریافت می کنید. بنابراین این صفحه را بررسی نمایید تا بتوانید خطا را برطرف کنید.

خطای Submitted URL has crawl issue و نحوه رفع آن

شما این صفحه را ساخته و از گوگل خواسته ایدآن را ایندکس کند اما ربات ها قادر به انجام این کار نبوده اند، و علت آن هیچ کدام از خطاهای گفته شده نبوده است. به کمک ابزار URL Inspection سرچ کنسول این صفحه را اشکال زدایی کنید. ممکن است چیزی مانع گوگل شده است و نتوانسته محتوای صفحه را به صورت کامل ببیند. استفاده زیاد از کدهای جاوا اسکریپت، زمان بارگذاری طولانی . منابع مسدود شده می تو.اند از دیگر دلایل بروز این خطا باشند.

ابزار URL inspection چیست و چه کاربردی دارد

سخن آخر

رایج ترین خطاهای سرچ کنسول در این مقاله بررسی شد. برای آنکه بتوانیم در کلمات موردنظر رتبه خوبی کسب کنیم باید از تمام قوانین گوگل پیروی کنیم و صفحلت سایت را طوری آماده کنیم که ربات ها یا خزنده های موتور جستجو قادر به بررسی محتوای آن به طور کامل باشند. برای بررسی خطاهای سایت می توانیم از ابلزار سرچ کنسول استفاده کنیم. در این ابزار تمام خطاهای مختلف از بخش های مختلف سایت فهرست شده اند و به سادگی می توان با مراجعه به بخش Pages از لیست صفحاتی که به دلیل داشتن خطا ایندکس نشده اند مطلع شوید. سپس براساس نوع خطایی که دریافت کرده است، درصدد برطرف کردن ان برآیید. چنانچه تجربه و یا پرسشی در این زمینه دارید می توانید با کارشناسان رایا پارس در بخش نظرات به اشتراک بگذارید.