چگونه سایت خود را از طریق robots.txt نوایندکس کنیم

نویسنده : admin تاریخ انتشار : 30 ژانویه 2024

برای جلوگیری از اینکه موتورهای جستجویی مانند Google ایندکس صفحات خاصی از وب‌سایت شما، می‌توانید از فایل robots.txt استفاده کنید. برای نواختن یک صفحه یا دسته از صفحات از این ابزار، این کارها را انجام دهید:

  1. ایجاد یک فایل robots.txt: در ابتدا، یک فایل متنی به نام “robots.txt” در ریشه وب‌سایت خود ایجاد کنید. به عنوان مثال، اگر آدرس وب‌سایت شما “https://www.example.com” باشد، فایل robots.txt در آدرس “https://www.example.com/robots.txt” قرار می‌گیرد.
  2. افتتاح فایل robots.txt: با استفاده از ویرایشگر متنی مانند Notepad یا Visual Studio Code، فایل robots.txt را باز کنید.
  3. افزودن دستورات Disallow: برای جلوگیری از اینکس صفحه یا دسته‌ای از صفحات، دستورات “Disallow” را به فایل robots.txt اضافه کنید. به عنوان مثال:
    • برای جلوگیری از ایندکس کردن همه صفحات وب‌سایت:
User-agent: *
Disallow: /

برای جلوگیری از ایندکس کردن یک صفحه خاص:

User-agent: *
Disallow: /example-page.html
برای جلوگیری از اینکس کردن یک پوشه خاص:
User-agent: *
Disallow: /example-folder/

برای جلوگیری از ایندکس کردن همه پوشه‌ها به جز یک پوشه خاص:

User-agent: * Disallow: /example-folder/ Allow: /example-folder/allowed-subfolder/

توجه داشته باشید که فایل robots.txt تنها یک راهنمایی برای موتورهای جستجو است و برخی از موتورها ممکن است این دستورات را رعایت نکنند. برای مطمئن شدن از عملکرد این فایل، می‌توانید از ابزارهای وبمستر گوگل یا ابزارهای مشابه موتورهای جستجوی دیگر استفاده کنید.

برای مشاوره و پیاده سازی پروژه های خود، با کارشناسان ما در تماس باشید
تماس در ساعات اداری
×

پشتیبانی آنلاین از طریق واتس اپ

×