Robot.txt ابزار تولید


پیشفرض - تمامی روبات ها:  
    
تأخیر - نمایه:
    
نقشه سایت: (در صورتی که ندارید خالی بگذارید) 
     
روباتهای جست و جو: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
پوشه های محدود شده: آدرس نسبت به روت نوشته شود و با / به پایان برسد "/"
 
 
 
 
 
 
   



متن بالا را در فایلی به نام robot.txt در روت سایت خود قرار دهید.


درباره Robot.txt ابزار تولید

 ابزار های مدیریت وب سایت

 

Robot.txt، فایلی برای راهنمای خزنده های گوگل است تا بتوانند به راحتی صفحات سایت را پیمایش کنند. به کمک فایل Robot.txt می توانید مشخص کنید که کدام بخش های سایتتان نباید توسط خزنده های موتور جستجو گوگل پردازش شوند. معمولا قسمت هایی که حاوی محتوای تکراری هستند یا بخش هایی از صفحات سایت که در حال آپدیت است را به کمک این فایل به گوگل اعلام می کنیم تا ایندکس نشوند. 
فایل Robots.txt حاوی "User-agent" است و در زیر آن می توانید دستور العمل های دیگری مانند "فالو و نوفالو" را بنویسید.
اگر دستورات به صورت دستی نوشته شوند؛ ممکن است زمان زیادی طول بکشد. اگر می خواهید یک صفحه را از لیست پیمایش خزنده های گوگل حذف کنید، باید آن صفحه را در فایل ربات تکست نوفالو کنید.
فایل Robot.txt برای سئو سایت مهم است. زیرا در صورت درج اشتباه دستوری در این فایل، سایت شما ایندکس نخواهد شد و نتیجه آن افت یا حذف وب سایت از صفحات جستجو گوگل است.

نقش Robot.txt در سئو

اولین اقدام الگوریتم های گوگل بررسی دستور درج شده در فایل ربات است. در صورت عدم وجود این تگ در سورس کد صفحه سایت، آن صفحه در لیست جستجو گوگل جایگاهی کسب نخواهد کرد.
برای سرعت بخشیدن به ایندکس شدن صفحات توسط گوگل، بهتر است علاوه بر فایل ربات، نقشه سایت را نیز در وب سایت خود فعال نمایید. از این طریق شما به گوگل می گویید که کدام صفحات از سایتتان نیاز به ایندکس شدن دارد. برای ساختن نقشه سایت می توانید از ابزار تولید سایت مپ کمک بگبرید.

ابزار Robot.txt

برای ساخت فایل ربات از ابزار تولید Robot.txt استفاده نمایید. برای این منظور طبق قواعد زیر باید عمل کنید.

  • اولین فیلد نمایه و ربات ها است که به صورت پیش فرض قرار گرفته است.
  • فیلد بعدی درباره نقشه سایت است. در صورت داشتن نقشه سایت آن را ثبت نمایید.
  • بخش سوم درباره دسترسی ربات های موتورهای جستجو است.
  • در نهایت نیز آدرس صفحاتی که نمی خواهید توسط ربات ها پیمایش شوند را درج نمایید.

جمع بندی

شرکت رایا پارس با طراحی ابزاری برای ایجاد فایل ربات روشی آسان و سریع را برای افراد فراهم کرده است. به کمک این ابزار می توانید برای ایندکس شدن مطالب سایت و سئو سایت اقدامات لازم را انجام دهید.