فایل robots.txt چیست؟
یکی از بخش های سئو تکنیکال بهینه سازی فایل robots.txt است.
این فایل یک فایل متنی با فرمت txt بوده که در روت یا ریشه سایت قرار می گیرد.
عملکرد این فایل این موضوع است که دسترسی ربات ها و کراولرهای مختلف را به کل سایت یا یک بخشی از سایت محدود می کند.
وقتی کراولرها وارد سایت می شوند، اولین چیزی که بررسی می کنند فایل robots.txt می باشد تا بدانند به کدام صفحات می توانند دسترسی داشته باشند.
بهینه سازی این فایل برای هر سایتی می تواند متفاوت باشد.
در فایل robots.txt با 2 دستور allow و disallow می توان به کراولرها دستورات مختلفی داد.
توصیه می شود صفحات امنیتی مثل صفحات لاگین، صفحات ثبت نام، صفحات پرداخت، صفحات حساب کاربری و هر صفحه ای که می تواند اطلاعات حساسی داشته باشد در این فایل بسته شود.
