به طور کلی یک سایت توسط ربات های خزنده مورد بررسی قرار می گیرد؛ این ربات ها روز به روز هوشمند تر شده و بر اساس الگوریتم های جدید، بروز می شوند. این امکان برای شما فراهم است که ربات های خزنده را کنترل کرده و دسترسی آنها را محدود کنید. یکی از راه های محدود کردن دسترسی ربات های گوگل، ویرایش فایل Robots.txt است. اما فایل Robots.txt چیست؟ این فایل چه کاربردی دارد؟ در ادامه به صورت کامل در این باره صحبت کرده ایم و آموزش ساخت فایل robots txt در وردپرس را نیز قرار داده ایم.