تگ noindex چیست و چه کاربردی دارد؟

برای اینکه سایت شما در نتایج بالای کوگل قرار بگیرد باید قوانین گوگل را رعایت کنید. یکی از این قوانین ایندکس کردن صفحات وب سایت است. ایندکس شدن به معنای فهرست شدن است یعنی به گوگل اجازه می دهید صفحات سایت شما را فهرست بندی کند تا راحت تر بتواند محتوای شما را به کاربرانی که در جستجوی آن هستند نمایش دهد. اما برخی اوقات لازم است از ایندکس شدن برخی از صفحات جلوگیری کنید زیرا این صفحات محتوایی ندارند که برای کاربران ارزشمند باشد و به دلایلی که در ادامه شرح می دهیم، بهتر است آن ها را Noindex کنید. در ادامه این تگ را معرفی کرده و به ضرورت و اهمیت استفاده از آن میپردازیم، پس با ما همراه شوید.

تگ Noindex چیست و چرا اهمیت دارد؟

زمانی که یک سایت طراحی می کنید یا پس از طراحی سایت زمانی که صفحه جدیدی به آن اضافه می کنید، باید اجازه بدهید که گوگل این صفحات را ببیند و فهرست بندی کند تا زمانی که کاربر جستجو می کند صفحه شما را به او معرفی کند و نشان بدهد. گاهی اوقات لازم است از ایندکس شدن برخی صفحات توسط خزنده های گوگل خودداری شود تا اصطلاحا بودجه خزش crawl budget سایت هدر نرود که در دوره آموزش سئو در مشهد به طور کامل در مورد این موضوع صحبت می شود. صفحاتی مانند درباره ما، تماس با ما و ... را باید نوایندکس کنید تا از لیستی که توسط خزنده های گوگل تهیه می شود خارج گردند. به این ترتیب این صفحات در نتایج گوگل نمایش داده نخواهند شد. برای اینکه یک صفحه نوایندکس شود باید درخواست آن را از طریق یک متا تگ که به سورس html سایت شما اضافه می شود، ثبت کنید. روش های دیگری نیز وجود دارد که آنها را نیز معرفی خواهیم کرد. برای جلوگیری از محتوای تکراری نیز میتوان از تگ noindex استفاده کنید که در ادامه به این مورد نیز اشاره خواهیم کرد.

تفاوت noindex و nofollow

همانطور که اشاره شد، زمانی که از تگ نوایندکس استفاده می کنید در واقع از خزنده های گوگل درخواست می کنید صفحه موردنظر شما را به کاربران نمایش ندهند. علاوه بر نو ایندکس تگ دیگری به نام نو فالو nofollow وجود دارد که پیرو قوانین گوگل است و ممکن است همراه با تگ نو ایندکس به کار روند. اما نوفالو کردن یعنی چه؟ اگر در صفحه ای از وب سایت تان، لینک هایی دارید که نمی خواهید خزنده های گوگل آنها را کرال کنند، می توانید از متا تگ نو فالو استفاده کنید. پس دستور نو ایندکس می تواند با فالو یا نو فالو بودن لینک های یک صفحه همراه باشد. بطور پیش فرض تگ فالو فعال است، در صورتی که بخواهید نو فالو کنید باید تگش را در سورس سایت قرار دهید. تگ nofollow باعث می شود خزنده های موتور جستجو نتوانند لینک های موجود در صفحه را کرال کنند در نتیجه سیگنال های رتبه بندی آن صفحه به صفحاتی که به آنها پیوند می دهد منتقل نمی شود.

اگر تگ نوایندکس را اجرا کرده اید اما همچنان صفحه شما در نتایج موتور جستجو ظاهر می شود، احتمالا به این دلیل است که صفحه پس از نو ایندکس شدن کرال نشده است. برای درخواست کرال یک صفحه می توانید از ابزار URL inspection سرچ کنسول استفاده کنید.

چه زمانی باید از تگ noindex استفاده کرد؟

تا اینجا آموختیم که تگ نوایندکس برای جلوگیری از شناسایی و فهرست بندی صفحات توسط موتور جستجو است. استفاده از این تگ برای صفحات کم اهمیت بسیار ضروری است، زیرا گوگل منابع کافی برای کرال کردن و فهرست بندی تمام صفحات موجود در وب ندارد. پس برای اینکه صفحات ارزشمند ایندکس شوند و بودجه کرال شما صرف صفحات کم اهمیت نشود، باید آنها را نو ایندکس کنید. در این صورت اولویت خود را به بهینه سازی صفحات مهم اختصاص داده اید. صفحاتی که باید نوایندکس شوندشامل صفحات زیر هستند:

* صفحه محصولاتی که دیگر موجودی ندارند:

اگر در بین محصولت سایت خود صفحاتی دارید که موجودی آنها تمام شده است و دیگر شارژ نمی شوند باید نوایندکس شوند تا دیگر در دسترس موتورهای جستجو نباشند زیرا علاوه بر اینکه بودجه خزش شما را به هدر می دهند، حس ناخوشایندی هم به کاربر القا می کنند که می تواند یک تجربه کاربری بد برای شان رقم بزند.

* صفحاتی که نباید در دسترس گوگل باشند:

مثلا صفحاتی که متعلق به ناحیه کاربری در سایت شماست و یا صفحاتی که با رمز محافظت می شوند.

* صفحاتی که برای موتورهای جستجو ارزشمند هستند اما برای کاربر ارزشی ندارند:

ممکن است شما صفحاتی در سایت داشته باشید که حاوی لینک های مفیدی هستند و به ربات ها کمک می کنند دیگر صفحات را بیابند. این صفحات به لینک سازی سایت شما کمک می کند.

* صفحاتی که محتوای تکراری دارند:

بسیار اتفاق می افتد که دو یا چند صفحه از یک سایت با یک کلمه کلیدی ورودی داشته باشند. در این حالت اصطلاحات صفحات دچار کنیبال هستند. زمانی این اتفاق رخ می دهد که محتوای این صفحات تکراری باشد. در این حالت باید صفحه اصلی را نگه دارید و صفحاتی که با آن کنیبال دارند را نوایندکس کنید. همچنین برای جلوگیری از تکراری شناخته شدن محتوا توسط گوگل، علاوه بر نوایندکس کردن باید از تگ کنونیکال نیز استفاده نمایید. با استفاده از سرچ کنسول می توانید صفحاتی که دارای محتوای تکراری هستند را پیدا کرده و آنها را نوایندکس کنید. به یاد داشته باشید که نوایندکس کردن باید بخشی از استراتژی indexing شما باشد.

در نهایت صفحاتی وجود دارند که هرگز نباید نوایندکس شوند. این صفحات عبارتند از:

• محبوب ترین محصولات:
• مقالات وبلاگ (مگر اینکه قدیمی باشند)
• صفحه درباره ما
• صفحاتی که خدمات ارائه شده توسط شما را توصیف می کنند

بطور کلی صفحاتی که انتطار دارید ترافیک ارگانیک قابل توجهی برای شما به ارمغان می آورند را نباید نوایندکس کنید.

روش های noindex کردن صفحات سایت

متداول ترین راه برای نوایندکس کردن یک صفحه این است که متا تگ مربوط به آن را در تگ هدیک صفحه html قرار دهید، که به این صورت انجام می شود:

از سال 2007 بود که مورتوهای جستجو ملزم به پیروی از تگ نوایندکس در تگ های Meta Robots شدند. تگ های متا روبوتس می توانند شامل دستورالعمل های دیگری نیز باشند مانند «فالو» یا «نوفالو»، که به موتورهای جستجو می فهمانند لینک های موجود در آن صفحه را کرال کنند یا نه.

برای سایت های وردپرسی راه بسیار ساده تری برای نوایندکس کردن صفحات وجود دارد. اگر شما از یک وب سایت وردرپرسی استفاده می کنید، کافی است وارد آن صفحه شده و آن را ویرایش کنید. مطمئنا در وب سایت تان از افزونه یواست سئو یا رنک مث استفاده می کنید که هر دو پلاگین به شما امکان نو ایندکس کردن صفحه را می دهند. در صورت استفاده از هر کدام ا زاین افزونه ها، صفحه را تا پایین اسکرول کنید، در انتهای صفحه در قسمت پیشرفته گزینه ای در نظر گرفته شده که از شما می پرسد «می خواهید این صفحه ایندکس شود یا خیر؟». اگر خیر را انتخاب کنید صفحه شما نوایندکس می شود.

در افزونه رنک مث نیز به همین شکل است. کافی است از قسمت پیشرفته در سربرگر rank math seo گزینه no index را علامت بزنید. مطابق تصویر زیر:

چگونه می توانید اجرا و پیاده سازی تگ noindex را بررسی کنید؟

اگر می خواهید ببینید که آیا تگ noindex یا سایر دستورالعمل های متا تگ های روبوتس اجرا شده است یا نه، کافیست در همان صفحه گزینه inspect کروم را بزنید و در قسمت کدهای صفحه بخش head متا تگ موردنظرتان را چک کنید. روش دیگر این است که برای بررسی متا تگ ها از ابزارهای سرچ کنسول استفاده کنید. ابزار Link Redirect Trace نیز می تواند به شما کمک کند.

تفاوت متا تگ robots و تگ x-robots چیست؟

در این مقاله گفتیم برای نوایندکس کردن میتوانید از فایل تگ متا روبوتس استفاده کنید که در بالا اشاره شد چطور میتوانید استفاده کنید. اما تگ x-robots را اگر استفاده کل سایت شما از نتایج گوگل حذف خواهد شد! یعنی اگر x-robots-tag: noindex را در هدر سایت خود قرار دهید، تمام صفحات سایت شما از نتایج گوگل حذف خواهد شد.

سخن پایانی

تمام تلاش ما این است که وقتی سایتی ایجاد می کنیم در نتایج برتر صفحه گوگل نمایش داده شود. به همین دلیل سایت را بهینه سازی یا اصطلاحا سئو می کنیم. اما گاهی اوقات صفحاتی هستند که نباید در نتایج گوگل نمایش داده شوند زیرا از نظر گوگل ارزشمند هستند اما ارزشی برای کاربر ندارند. بنابراین این صفحات باید نوایندکس شوند تا بودجه خزش سایت هدر نرود. از طرف دیگر برخی از صفحات سایت هرگز نباید نوایندکس شوند. تفاوت این دو گروه از صفحات در این نوشتار از رایا پارس بررسی گردید. به طور خلاصه به یاد داشته باشید که نوایندکس کردن برخی از صفحات ضروری است و باید بخشی از استراتژی ایندکس کردن سایت شما باشد.