
WordPress Robots.txt SEO: A Complete Guide to Crawl Control
فایل robots.txt یکی از فایلهای مهم در مدیریت فنی سئو است که به موتورهای جستوجو اعلام میکند کدام بخشهای سایت اجازه بررسیشدن دارند و کدام مسیرها نباید توسط رباتهای خزنده بازدید شوند.
با وجود اهمیت این فایل، یک اشتباه کوچک در تنظیم آن میتواند دسترسی رباتهای گوگل به صفحات مهم سایت را محدود کند. از طرف دیگر، استفاده درست از آن به مدیریت بهتر خزش سایت کمک میکند.
در این مقاله یاد میگیریم فایل robots.txt چیست، در وردپرس چگونه آن را بررسی و مدیریت کنیم، چه دستورهایی دارد و هنگام تنظیم آن باید از چه اشتباهاتی دوری کنیم.
فایل Robots.txt چیست و چه کاربردی دارد؟
فایل robots.txt یک فایل متنی ساده است که معمولاً در ریشه دامنه قرار میگیرد و دستورالعملهایی را برای رباتهای موتورهای جستوجو مشخص میکند.
برای مثال، اگر آدرس سایت شما چنین باشد:
https://example.com/
آدرس معمول فایل robots.txt به این شکل خواهد بود:
https://example.com/robots.txt
وقتی رباتی مانند Googlebot قصد بررسی سایت را داشته باشد، میتواند ابتدا این فایل را بخواند و بر اساس دستورهای آن متوجه شود که چه مسیرهایی برای خزش مجاز یا غیرمجاز هستند.
مهمترین کاربردهای این فایل عبارتاند از:
- مدیریت دسترسی رباتهای موتورهای جستوجو به مسیرهای مختلف سایت
- جلوگیری از خزش بخشهای غیرضروری
- کاهش درخواستهای غیرضروری به سرور در شرایط مناسب
- مشخصکردن مسیر نقشه سایت XML
- کمک به مدیریت بخشهایی که نیازی به بررسی مداوم رباتها ندارند
نکته مهم: فایل robots.txt ابزار حذف صفحات از نتایج گوگل نیست. این فایل عمدتاً برای مدیریت خزش استفاده میشود، نه جلوگیری قطعی از ایندکسشدن صفحات.
تفاوت Robots.txt با Noindex چیست؟
یکی از اشتباهات رایج مدیران سایت این است که تصور میکنند اگر آدرس یک صفحه را در robots.txt مسدود کنند، آن صفحه دیگر در نتایج گوگل نمایش داده نمیشود.
این تصور درست نیست.
این دو ابزار کاربرد متفاوتی دارند:
| ویژگی | Robots.txt | Noindex |
|---|---|---|
| کاربرد اصلی | مدیریت خزش | جلوگیری از ایندکس صفحه |
| جلوگیری از بررسی محتوا | بله، برای رباتهای سازگار | خیر |
| جلوگیری قطعی از نمایش صفحه در گوگل | خیر | در صورت دسترسی گوگل به دستور و پردازش آن |
| محل تنظیم | فایل robots.txt | متاتگ صفحه یا هدر HTTP |
| مناسب برای | کنترل مسیرهای قابل خزش | صفحاتی که نباید در نتایج جستوجو باشند |
برای مثال، اگر صفحهای در سایت دارید که نمیخواهید در نتایج گوگل نمایش داده شود، معمولاً باید از دستور noindex استفاده کنید.
اما اگر قصد دارید دسترسی رباتها به یک مسیر مشخص را محدود کنید، robots.txt ابزار متفاوتی برای این کار است.
هشدار مهم: اگر صفحهای را همزمان با robots.txt مسدود کنید و انتظار داشته باشید گوگل دستور noindex داخل آن صفحه را بخواند، ممکن است به نتیجه دلخواه نرسید؛ زیرا ربات نمیتواند محتوای صفحه را بررسی کند تا دستور noindex را ببیند.
ساختار و دستورهای مهم در فایل Robots.txt
فایل robots.txt از چند دستور ساده تشکیل شده است. آشنایی با این دستورها کمک میکند هنگام بررسی یا ویرایش فایل، اشتباه کمتری داشته باشید.
دستور User-agent
این دستور مشخص میکند قوانین بعدی برای کدام ربات اعمال شوند.
برای مثال:
User-agent: *
علامت ستاره به معنی تمام رباتهایی است که از این استاندارد پیروی میکنند.
همچنین میتوان قوانین جداگانهای برای یک ربات مشخص تعریف کرد.
دستور Disallow
با این دستور میتوان دسترسی رباتها به یک مسیر را محدود کرد.
مثال:
User-agent: *
Disallow: /wp-admin/
در این نمونه، مسیر مدیریت وردپرس برای رباتهای سازگار با دستور مسدود میشود.
دستور Allow
این دستور برای مجازکردن یک مسیر مشخص در داخل مسیری استفاده میشود که محدود شده است.
مثال:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
در این نمونه، دسترسی به بخش مدیریت محدود شده، اما مسیر admin-ajax.php از این محدودیت مستثنا است.
دستور Sitemap
با این دستور میتوان آدرس نقشه سایت XML را به رباتها معرفی کرد.
مثال:
Sitemap: https://example.com/sitemap_index.xml
این دستور به موتورهای جستوجو کمک میکند آدرس نقشه سایت را پیدا کنند؛ البته ثبت نقشه سایت در Search Console نیز همچنان میتواند مفید باشد.
یک نمونه ساده از فایل Robots.txt
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml
این نمونه برای توضیح ساختار فایل است و نباید بدون بررسی شرایط سایت، عیناً در همه وبسایتها استفاده شود.
چگونه فایل Robots.txt وردپرس را بررسی کنیم؟
برای بررسی فایل robots.txt در وردپرس، نیازی نیست حتماً وارد پیشخوان سایت شوید.
روش اول: بررسی مستقیم در مرورگر
۱. مرورگر خود را باز کنید.
۲. آدرس دامنه سایت را وارد کنید و در انتهای آن /robots.txt قرار دهید.
برای مثال:
https://example.com/robots.txt
۳. صفحهای متنی نمایش داده میشود که دستورهای فعلی فایل را نشان میدهد.
۴. دستورها را بررسی کنید و مطمئن شوید مسیرهای مهم سایت بهاشتباه مسدود نشدهاند.
اگر فایل نمایش داده نشد، ممکن است فایل واقعی وجود نداشته باشد، سرور آن را تولید نکرده باشد یا تنظیمات سایت و افزونهها در نحوه نمایش آن تأثیر گذاشته باشند.
روش دوم: بررسی از طریق هاست
اگر به فایلهای هاست دسترسی دارید، میتوانید فایل robots.txt را در مسیر اصلی نصب سایت بررسی کنید.
مراحل کلی:
۱. وارد کنترل پنل هاست شوید.
۲. بخش File Manager را باز کنید.
۳. وارد پوشه اصلی سایت، معمولاً public_html، شوید.
۴. فایل robots.txt را پیدا کنید.
۵. پیش از هرگونه تغییر، یک نسخه پشتیبان از فایل تهیه کنید.
۶. در صورت نیاز، فایل را با ویرایشگر متن باز کنید.
توجه داشته باشید که اگر وردپرس یا افزونه سئو فایل مجازی robots.txt تولید کند، ممکن است فایل واقعی در این مسیر وجود نداشته باشد.
چگونه Robots.txt را در وردپرس مدیریت کنیم؟
در وردپرس، روش مدیریت robots.txt به تنظیمات سایت، افزونههای نصبشده و ساختار هاست بستگی دارد.
مدیریت از طریق افزونه Yoast SEO
اگر از افزونه Yoast SEO استفاده میکنید، میتوانید تنظیمات مربوط به فایل robots.txt را در بخش ابزارهای آن بررسی کنید.
در نسخهها و زبانهای مختلف، نام یا محل گزینهها ممکن است متفاوت باشد.
در برخی نصبها، ابزار ویرایش فایلها از مسیر زیر در دسترس است:
Yoast SEO ← Tools ← File editor
اگر گزینه ویرایش فایل وجود نداشت، ممکن است به دلیل محدودیت دسترسی سرور، شیوه نصب وردپرس یا تغییرات نسخه افزونه باشد.
پیش از ویرایش، حتماً محتوای فعلی فایل را ذخیره کنید.
مدیریت از طریق هاست
اگر امکان ویرایش فایل از طریق افزونه وجود ندارد، میتوانید با استفاده از File Manager هاست، فایل واقعی robots.txt را مدیریت کنید.
این روش زمانی مناسب است که مطمئن باشید فایل موردنظر همان فایلی است که سرور برای آدرس robots.txt ارائه میکند.
مدیریت از طریق افزونههای دیگر سئو
بعضی افزونههای سئو نیز امکاناتی برای مدیریت تنظیمات مرتبط با خزندهها دارند.
اگر چند افزونه سئو یا ابزار مدیریت فایل همزمان نصب کردهاید، قبل از تغییر تنظیمات بررسی کنید که چند سیستم مختلف در حال تولید یا مدیریت قوانین نباشند.
چه مسیرهایی را در وردپرس نباید بدون بررسی مسدود کنیم؟
یکی از مهمترین نکات در مدیریت robots.txt این است که صرفاً به دلیل طولانی یا غیرضروری بهنظررسیدن یک آدرس، آن را مسدود نکنیم.
برای مثال، مسدودکردن مسیرهای زیر بدون بررسی میتواند مشکلساز شود:
فایلهای CSS و JavaScript
گوگل برای درک بهتر ظاهر و ساختار صفحات ممکن است به فایلهای CSS و JavaScript نیاز داشته باشد.
اگر این منابع را بهصورت گسترده مسدود کنید، ممکن است ربات گوگل نتواند صفحه را به شکلی مناسب بررسی و رندر کند.
تصاویر مهم سایت
اگر تصاویر محصولات، مقالات یا تصاویر اصلی سایت را مسدود کنید، ممکن است دسترسی گوگل به آنها محدود شود.
بنابراین قبل از مسدودکردن مسیر تصاویر، باید هدف دقیق خود را مشخص کنید.
صفحات مهم محصولات و مقالات
هرگز مسیر مقالات، محصولات یا دستهبندیهای مهم را صرفاً برای کاهش خزش مسدود نکنید.
این کار میتواند دسترسی موتورهای جستوجو به محتوای ارزشمند سایت را محدود کند.
مسیرهای مرتبط با خرید و حساب کاربری
برخی مسیرهای مربوط به سبد خرید، حساب کاربری یا فرایندهای داخلی ممکن است به تنظیمات خاص نیاز داشته باشند.
در این بخش باید میان مدیریت خزش و حفظ عملکرد سایت تعادل برقرار کنید.
اشتباهات رایج در تنظیم فایل Robots.txt
بعضی از اشتباهات این فایل ممکن است در ظاهر ساده باشند، اما پیامدهای قابلتوجهی برای سئو ایجاد کنند.
مسدودکردن کل سایت
یکی از خطرناکترین نمونهها:
User-agent: *
Disallow: /
این دستور از رباتهای سازگار میخواهد تمام مسیرهای سایت را خزش نکنند.
استفاده ناخواسته از آن میتواند دسترسی گوگل به صفحات سایت را بهشدت محدود کند.
تصور اینکه Disallow همان Noindex است
این دو دستور کاربرد یکسانی ندارند.
اگر صفحهای در نتایج گوگل نمایش داده میشود و قصد حذف آن را دارید، باید از روش مناسب جلوگیری از ایندکس استفاده کنید.
مسدودکردن فایلهای ضروری قالب
بعضی مدیران سایت برای سادهترکردن فایل robots.txt، مسیرهای زیادی را مسدود میکنند.
اما مسدودکردن فایلهای ضروری قالب یا افزونهها ممکن است در درک صحیح صفحات توسط گوگل اختلال ایجاد کند.
فراموشکردن آدرس Sitemap
اگر نقشه سایت XML دارید، بهتر است آدرس صحیح آن را در فایل robots.txt معرفی کنید.
البته این کار جایگزین ثبت و بررسی نقشه سایت در Google Search Console نیست.
کپیکردن فایل Robots.txt سایتهای دیگر
ساختار هر سایت با سایت دیگر متفاوت است.
ممکن است یک دستور در یک فروشگاه اینترنتی مناسب باشد، اما در یک سایت دانلود یا وبلاگ باعث محدودیت دسترسی به صفحات مهم شود.
به همین دلیل، فایل robots.txt را باید متناسب با ساختار واقعی سایت تنظیم کرد.
چگونه خطاهای Robots.txt را در Google Search Console بررسی کنیم؟
Google Search Console یکی از ابزارهای مهم برای بررسی وضعیت دسترسی گوگل به صفحات سایت است.
برای بررسی مشکلات احتمالی، مراحل زیر را دنبال کنید:
۱. وارد حساب Google Search Console شوید.
۲. دامنه موردنظر را انتخاب کنید.
۳. بخش URL Inspection را باز کنید.
۴. آدرس یکی از صفحات مهم سایت را وارد کنید.
۵. وضعیت دسترسی و آخرین خزش ثبتشده را بررسی کنید.
اگر گوگل نتواند صفحه را به دلیل محدودیت robots.txt بررسی کند، ممکن است اطلاعات مربوط به مسدودبودن دسترسی را در گزارش بررسی URL مشاهده کنید.
برای بررسی دقیقتر، میتوانید از ابزارهای تست robots.txt و مستندات Google Search Central نیز کمک بگیرید.
نکته: ابزار URL Inspection برای بررسی یک آدرس مشخص مفید است، اما بهتنهایی جایگزین بررسی کامل فایل robots.txt و تمام مسیرهای سایت نیست.
چکلیست بررسی فایل Robots.txt
قبل از انتشار یا ویرایش فایل robots.txt، موارد زیر را بررسی کنید:
پرسشهای متداول درباره Robots.txt
آیا وجود فایل Robots.txt برای هر سایت ضروری است؟
وجود این فایل در همه سایتها الزام قطعی ندارد. با این حال، داشتن یک فایل صحیح و متناسب با ساختار سایت میتواند مدیریت دسترسی خزندهها را آسانتر کند.
آیا Robots.txt باعث افزایش رتبه سایت در گوگل میشود؟
خیر؛ صرف داشتن فایل robots.txt یا اضافهکردن چند دستور به آن، رتبه سایت را افزایش نمیدهد.
کاربرد اصلی این فایل مدیریت خزش است. تنظیم اشتباه آن حتی میتواند دسترسی گوگل به صفحات مهم را محدود کند.
آیا میتوان صفحات دستهبندی وردپرس را با Robots.txt مسدود کرد؟
از نظر فنی میتوان مسیرهای مشخصی را مسدود کرد، اما این کار همیشه تصمیم مناسبی برای سئو نیست.
اگر هدف شما جلوگیری از نمایش یک دستهبندی در نتایج جستوجو است، باید ابتدا بررسی کنید که آیا noindex انتخاب مناسبتری است یا خیر.
اگر صفحهای در Robots.txt مسدود باشد، آیا گوگل آن را ایندکس میکند؟
بله، در بعضی شرایط ممکن است آدرس صفحه بدون بررسی محتوای آن در نتایج گوگل ظاهر شود؛ برای مثال زمانی که سایتهای دیگر به آن لینک داده باشند.
بنابراین robots.txt تضمین نمیکند که یک URL از نتایج جستوجو حذف شود.
آیا بعد از تغییر Robots.txt باید در سرچ کنسول کاری انجام دهیم؟
پس از تغییر فایل، بهتر است آدرس آن را دوباره بررسی کنید و دسترسی صفحات مهم را با ابزار URL Inspection بسنجید.
اگر قبلاً مشکلی در دسترسی وجود داشته، ممکن است لازم باشد منتظر خزش مجدد گوگل بمانید.
جمعبندی کاربردی
فایل robots.txt یکی از ابزارهای مهم در سئوی فنی وردپرس است، اما استفاده نادرست از آن میتواند مشکلاتی جدی ایجاد کند.
مهمترین نکته این است که تفاوت میان خزش و ایندکس را بهخوبی بشناسید. robots.txt برای مدیریت دسترسی رباتها به مسیرهای سایت استفاده میشود؛ درحالیکه noindex برای جلوگیری از نمایش محتوای قابلدسترسی در نتایج جستوجو کاربرد دارد.
اگر قصد ویرایش این فایل را دارید، ابتدا ساختار سایت و مسیرهای مهم آن را بررسی کنید، از فایل فعلی نسخه پشتیبان بگیرید و بعد از اعمال تغییرات، دسترسی صفحات مهم را دوباره آزمایش کنید.