برای جلوگیری از اینکه موتورهای جستجویی مانند Google ایندکس صفحات خاصی از وب‌سایت شما، می‌توانید از فایل robots.txt استفاده کنید. برای نواختن یک صفحه یا دسته از صفحات از این ابزار، این کارها را انجام دهید:
- ایجاد یک فایل robots.txt: در ابتدا، یک فایل متنی به نام “robots.txt” در ریشه وب‌سایت خود ایجاد کنید. به عنوان مثال، اگر آدرس وب‌سایت شما “https://www.example.com” باشد، فایل robots.txt در آدرس “https://www.example.com/robots.txt” قرار می‌گیرد.
- افتتاح فایل robots.txt: با استفاده از ویرایشگر متنی مانند Notepad یا Visual Studio Code، فایل robots.txt را باز کنید.
- افزودن دستورات Disallow: برای جلوگیری از اینکس صفحه یا دسته‌ای از صفحات، دستورات “Disallow” را به فایل robots.txt اضافه کنید. به عنوان مثال:
- برای جلوگیری از ایندکس کردن همه صفحات وب‌سایت:
User-agent: *
Disallow: /برای جلوگیری از ایندکس کردن یک صفحه خاص:
User-agent: *
Disallow: /example-page.htmlبرای جلوگیری از اینکس کردن یک پوشه خاص:
User-agent: *
Disallow: /example-folder/برای جلوگیری از ایندکس کردن همه پوشه‌ها به جز یک پوشه خاص:
User-agent: * Disallow: /example-folder/ Allow: /example-folder/allowed-subfolder/توجه داشته باشید که فایل robots.txt تنها یک راهنمایی برای موتورهای جستجو است و برخی از موتورها ممکن است این دستورات را رعایت نکنند. برای مطمئن شدن از عملکرد این فایل، می‌توانید از ابزارهای وبمستر گوگل یا ابزارهای مشابه موتورهای جستجوی دیگر استفاده کنید.
