ابزار جدید گوگل وبمستر برای بررسی فایل robot.txt :
به تازگی گوگل در ابزار وبمستر خود گزینه ای را در زیر مجموعه Crawl به نام robot.txt tester قرار داده است که توسط این ابزار مهم و کارآمد می تواند خطاها و هشدارهایی را که در فایل robot.txt سایت شما وجود دارد را مشاهده و برطرف نمائید.
اهمیت فایل robot.txt چیست و چه کارایی دارد ؟
robots.txt یک فایل متنی ساده که آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار دارد می گیرد.برای مشاهده فایل می توانیم بعد از ادرس سایت عبارت robots.txt را وارد نمائیم تا محتویات فایل رو مشاهده نمائیم.
از robots.txt هنگامی استفاده می شود که نمی خواهیم صفحاتی از سایت توسط موتورهای جستجو یا همان ربات های خزنده بررسی و ایندکس شود، یا احتمالا قبلا این کار انجام شده باشد و حالا می خواهیم آن صفحات را به هر دلیل حذف کنیم.
البته تا قبل از اینکه گوگل این ابزار را قرار دهد سایتها و ابزار دیگری نیز وجود داشت مانند :
http://www.frobee.com/robots-txt-check
http://www.robotstxt.org/checker.html
http://tools.seobook.com/robots-txt/analyzer
