
SEO Log File Analysis: آموزش تحلیل لاگ سرور برای بررسی رفتار گوگلبات
English Title: SEO Log File Analysis: How to Analyze Server Logs and Understand Googlebot Crawling
تحلیل لاگ سرور چیست؟
SEO Log File Analysis یا تحلیل فایل لاگ سرور، فرایند بررسی سوابق درخواستهایی است که کاربران، موتورهای جستوجو و سایر رباتها برای دریافت صفحات و فایلهای یک وبسایت به سرور ارسال میکنند.
هر بار که یک مرورگر یا خزنده مانند Googlebot درخواستی به سرور ارسال میکند، سرور میتواند اطلاعات آن درخواست را در فایلی به نام Access Log ثبت کند.
این اطلاعات بسته به تنظیمات سرور ممکن است شامل موارد زیر باشد:
- آدرس IP درخواستکننده
- تاریخ و ساعت درخواست
- آدرس صفحه یا فایل درخواستشده
- روش درخواست مانند GET یا POST
- کد وضعیت HTTP
- حجم پاسخ ارسالشده
- اطلاعات User-Agent
- اطلاعات مربوط به ارجاعدهنده یا Referrer
برای مثال، ممکن است در گزارش لاگ ببینید که یک ربات در یک روز چندین بار صفحه اصلی، مقالات، تصاویر و فایلهای سایت را درخواست کرده است.
با تحلیل این اطلاعات میتوانید بفهمید چه درخواستهایی به سرور رسیدهاند، کدام URLها پاسخ موفق دریافت کردهاند و چه خطاهایی در مسیر دسترسی به صفحات وجود داشته است.
نکته مهم: فایل لاگ نشان میدهد چه درخواستی به سرور رسیده و سرور چه پاسخی ثبت کرده است؛ اما بهتنهایی ثابت نمیکند که صفحه در گوگل ایندکس شده یا رتبه گرفته است.
چرا تحلیل لاگ سرور برای سئو اهمیت دارد؟
Google Search Console اطلاعات ارزشمندی درباره وضعیت خزش و ایندکس سایت ارائه میدهد؛ اما تحلیل لاگ سرور امکان بررسی درخواستهای ثبتشده در خود سرور را نیز فراهم میکند.
این دو ابزار جایگزین یکدیگر نیستند و استفاده همزمان از آنها میتواند تصویر دقیقتری از وضعیت فنی سایت ارائه دهد.
۱. بررسی رفتار واقعی خزندهها
یکی از مهمترین کاربردهای تحلیل لاگ، بررسی درخواستهای خزندههای موتورهای جستوجو است.
برای مثال، میتوانید بررسی کنید:
- آیا گوگلبات صفحات مهم را درخواست کرده است؟
- آیا صفحات جدید در میان درخواستهای ثبتشده دیده میشوند؟
- آیا صفحات قدیمی همچنان درخواست میشوند؟
- آیا درخواستهای زیادی برای URLهای غیرضروری ثبت شدهاند؟
این اطلاعات به شما کمک میکند وضعیت دسترسی خزندهها به بخشهای مختلف سایت را بهتر بشناسید.
۲. شناسایی خطاهای سرور
گاهی کاربران میتوانند یک صفحه را در مرورگر خود باز کنند، اما در زمان دیگری سرور با خطا مواجه شود.
برای مثال، خطاهای 500، 502 و 503 ممکن است باعث شوند خزنده نتواند محتوای موردنظر را دریافت کند.
با بررسی لاگ میتوانید URLهایی را که با پاسخهای ناموفق روبهرو شدهاند شناسایی کنید.
۳. بررسی صفحات کماهمیت و درخواستهای تکراری
در بعضی سایتها URLهای مختلفی برای نمایش محتوای مشابه تولید میشوند.
برای مثال:
- صفحات فیلتر محصولات
- پارامترهای جستوجو
- صفحات مرتبسازی
- URLهای دارای پارامتر رهگیری
- صفحات آرشیو کماهمیت
اگر تعداد زیادی URL مشابه وجود داشته باشد، بررسی درخواستهای ثبتشده میتواند به شناسایی الگوهای غیرضروری کمک کند.
البته صرف مشاهده درخواست زیاد برای یک URL به معنی هدررفتن قطعی Crawl Budget نیست؛ باید اهمیت صفحه، تعداد URLها، وضعیت پاسخ و نیاز واقعی سایت را هم بررسی کرد.
۴. بررسی وضعیت پس از تغییرات سایت
فرض کنید ساختار آدرس صفحات وردپرس را تغییر دادهاید.
با تحلیل لاگ میتوانید بررسی کنید:
- آیا درخواستها به آدرسهای قدیمی میرسند؟
- آیا ریدایرکتها پاسخ مناسب میدهند؟
- آیا صفحات جدید درخواست میشوند؟
- آیا خطاهای غیرمنتظره ایجاد شدهاند؟
این اطلاعات بهخصوص پس از انتقال سایت یا تغییر ساختار URL کاربرد دارند.
فایل لاگ سرور چه اطلاعاتی دارد؟
برای استفاده از لاگ ابتدا باید با ساختار آن آشنا شوید.
یک فایل Access Log معمولاً مجموعهای از سطرهاست که هرکدام یک درخواست ثبتشده را توصیف میکنند.
ساختار دقیق اطلاعات به نوع وبسرور و تنظیمات آن بستگی دارد.
آشنایی با بخشهای مختلف لاگ
| فیلد | توضیح |
|---|---|
| IP Address | آدرس IP درخواستکننده |
| Date/Time | تاریخ و ساعت درخواست |
| Request | آدرس و نوع درخواست |
| Status Code | کد پاسخ سرور |
| Bytes | حجم پاسخ |
| User-Agent | اطلاعات مرورگر یا ربات |
| Referrer | صفحه ارجاعدهنده، در صورت ثبت |
یک نمونه ساده از لاگ
نمونه زیر صرفاً آموزشی است و از یک IP رزروشده برای مثالهای مستنداتی استفاده میکند:
203.0.113.10 - - [18/Nov/2026:10:20:30 +0330]
"GET /wordpress-seo/ HTTP/1.1" 200 15240
"-" "Googlebot"
این سطر را میتوان به شکل زیر تفسیر کرد:
- 203.0.113.10: آدرس IP نمونه
- 18/Nov/2026: تاریخ درخواست
- GET: نوع درخواست
- /wordpress-seo/: آدرس درخواستشده
- 200: پاسخ موفق سرور
- 15240: حجم پاسخ ثبتشده
- Googlebot: User-Agent ثبتشده
در دنیای واقعی، User-Agent معمولاً اطلاعات کاملتری دارد و صرفاً دیدن عبارت Googlebot برای تأیید هویت درخواست کافی نیست.
تفاوت Access Log و Error Log چیست؟
در مدیریت سرور معمولاً با دو نوع گزارش مهم روبهرو میشوید.
Access Log
این فایل درخواستهایی را که به سرور رسیدهاند ثبت میکند.
برای مثال:
- درخواست بازدید از صفحه اصلی
- درخواست مشاهده مقاله
- دریافت تصویر
- درخواست فایل CSS
- دریافت فایل JavaScript
- پاسخ 404 یا 500
Access Log یکی از منابع اصلی تحلیل رفتار خزندههاست.
Error Log
این فایل خطاهایی را ثبت میکند که هنگام اجرای وبسرور یا پردازش درخواستها رخ میدهند.
برای مثال:
- خطای اجرای PHP
- مشکل اتصال به سرویس
- خطای دسترسی به فایل
- خطای پردازش درخواست
- برخی مشکلات مربوط به تنظیمات سرور
اگر در Access Log یک صفحه پاسخ 500 داشته باشد، بررسی Error Log میتواند به پیدا کردن علت آن کمک کند.
| ویژگی | Access Log | Error Log |
|---|---|---|
| هدف | ثبت درخواستها | ثبت خطاها |
| کاربرد سئویی | بررسی خزش و پاسخ URLها | تشخیص علت مشکلات سرور |
| اطلاعات اصلی | URL، زمان، وضعیت HTTP | جزئیات خطا و رویداد |
| استفاده | تحلیل رفتار خزندهها | عیبیابی فنی |
Googlebot چیست و چگونه در فایل لاگ شناسایی میشود؟
Googlebot نام عمومی خزندهای است که گوگل برای کشف و دریافت صفحات وب استفاده میکند.
این خزنده میتواند برای دریافت محتوای صفحات، تصاویر و منابع مختلف سایت درخواست ارسال کند.
هنگام بررسی لاگ معمولاً اطلاعات User-Agent یکی از سرنخهای اولیه برای تشخیص نوع درخواستکننده است.
اما یک نکته بسیار مهم وجود دارد:
هر رباتی میتواند در User-Agent خود عبارت Googlebot را بنویسد. بنابراین این عبارت بهتنهایی هویت واقعی درخواستکننده را ثابت نمیکند.
چرا باید هویت Googlebot تأیید شود؟
فرض کنید در گزارش سرور با چندین درخواست مواجه شدهاید که خودشان را Googlebot معرفی میکنند.
اگر بدون بررسی، همه آنها را درخواستهای واقعی گوگل در نظر بگیرید، ممکن است آمار تحلیل شما اشتباه شود.
گوگل برای تأیید درخواستهای منتسب به خزندههای خود روشهایی مانند بررسی Reverse DNS و Forward DNS یا تطبیق IP با محدودههای رسمی منتشرشده را معرفی کرده است.
در روش DNS:
- IP درخواستکننده بررسی میشود.
- نام میزبان مربوط به آن IP از طریق Reverse DNS به دست میآید.
- نام میزبان بررسی میشود تا به دامنه معتبر مربوط به گوگل تعلق داشته باشد.
- سپس با Forward DNS بررسی میشود که نام میزبان به همان IP اولیه بازمیگردد.
برای بررسی خودکار درخواستهای زیاد، استفاده از محدودههای رسمی IP گوگل نیز امکانپذیر است.
منبع رسمی:
https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
آیا تمام درخواستهای Googlebot مربوط به جستوجوی وب هستند؟
خیر. گوگل انواع مختلفی از خزندهها و Fetcherها دارد که برای محصولات و کاربردهای متفاوت استفاده میشوند.
بنابراین هنگام تحلیل لاگ باید نوع درخواستکننده را نیز در نظر بگیرید.
برای مثال، درخواستهای مربوط به Googlebot، Googlebot-Image و سایر خزندههای گوگل ممکن است اهداف متفاوتی داشته باشند.
تفاوت Server Log Analysis و Crawl Stats چیست؟
یکی از اشتباهات رایج این است که تصور کنیم گزارش Crawl Stats سرچ کنسول همان فایل خام لاگ سرور است.
این دو ابزار اطلاعات مرتبطی دارند، اما یکسان نیستند.
Crawl Stats در Google Search Console
گزارش Crawl Stats اطلاعاتی درباره نحوه خزش گوگل در سایت ارائه میدهد.
از جمله:
- تعداد کل درخواستهای خزش
- حجم دانلودشده
- میانگین زمان پاسخگویی سرور
- وضعیت میزبان
- کدهای پاسخ
- نوع فایلهای دریافتشده
- نوع خزنده گوگل
- هدف درخواستها
این گزارش برای بررسی وضعیت کلی خزش بسیار مفید است.
تحلیل فایل خام سرور
در تحلیل لاگ، مستقیماً با درخواستهایی سروکار دارید که در سرور ثبت شدهاند.
بسته به قالب لاگ، ممکن است بتوانید اطلاعات دقیقتری درباره URL، زمان درخواست، User-Agent و کد پاسخ مشاهده کنید.
مقایسه دو روش
| ویژگی | Crawl Stats | Server Log Analysis |
|---|---|---|
| محل دسترسی | سرچ کنسول | هاست یا سرور |
| نمایش آمار کلی خزش | بله | نیازمند پردازش |
| بررسی درخواستهای ثبتشده | بهصورت گزارش تجمیعی | در سطح سطرهای لاگ |
| مشاهده پاسخ HTTP | بله، در گزارشها | بله، در صورت ثبت |
| نیاز به دسترسی هاست | خیر | معمولاً بله |
| امکان تحلیل سفارشی | محدودتر | بیشتر |
بهترین روش این است که از Crawl Stats برای بررسی وضعیت کلی و از فایل لاگ برای تحلیل جزئیتر درخواستهای ثبتشده استفاده کنید.
آموزش دریافت فایل لاگ از cPanel
اگر هاست سایت شما از cPanel استفاده میکند، ممکن است بتوانید فایلهای Raw Access Log را مستقیماً دانلود کنید.
البته این قابلیت به تنظیمات شرکت هاستینگ و سطح دسترسی حساب شما بستگی دارد.
مرحله اول: ورود به cPanel
ابتدا وارد پنل مدیریت هاست خود شوید.
مرحله دوم: پیدا کردن Raw Access
در صفحه اصلی cPanel، بخش Metrics را پیدا کنید.
سپس گزینه زیر را باز کنید:
Raw Access
این بخش برای دریافت فایلهای خام درخواستهای ثبتشده در دامنه استفاده میشود.
مرحله سوم: انتخاب دامنه
اگر چند دامنه یا زیردامنه دارید، دامنه موردنظر را انتخاب کنید.
برای مثال، اگر قصد بررسی سایت اصلی را دارید، فایل مربوط به دامنه اصلی را دانلود کنید.
مرحله چهارم: دانلود فایل
در قسمت Download Current Raw Access Logs، روی لینک یا آیکون دانلود دامنه موردنظر کلیک کنید.
فایل ممکن است با پسوند .gz دانلود شود.
مرحله پنجم: استخراج فایل
فایل فشرده را با یک ابزار مناسب استخراج کنید.
بعد از استخراج، میتوانید محتوای آن را با یک ویرایشگر متن مناسب مشاهده کنید.
اگر فایل بسیار بزرگ باشد، بهتر است آن را با یک ابزار تحلیل لاگ یا برنامهای که برای فایلهای حجیم طراحی شده است بررسی کنید؛ باز کردن فایلهای بزرگ در ویرایشگرهای ساده ممکن است باعث کندی سیستم شود.
مرحله ششم: فعالکردن آرشیو لاگها
در صورت نیاز، در بخش تنظیمات Raw Access میتوانید آرشیو فایلهای لاگ را فعال کنید.
این قابلیت کمک میکند گزارشهای قدیمیتر نیز در دسترس باشند.
نکته مهم: فایلهای لاگ ممکن است فضای زیادی اشغال کنند. مدت نگهداری آنها را متناسب با نیاز خود و سیاست هاست تنظیم کنید.
مستندات رسمی cPanel:
https://docs.cpanel.net/cpanel/metrics/raw-access/
چگونه فایل لاگ را برای تحلیل آماده کنیم؟
پس از دریافت فایل، بهتر است پیش از تحلیل آن چند کار ساده انجام دهید.
۱. مشخصکردن بازه زمانی
ابتدا تعیین کنید چه بازهای را میخواهید بررسی کنید.
برای مثال:
- ۲۴ ساعت گذشته
- ۷ روز گذشته
- ۳۰ روز گذشته
اگر قصد بررسی تأثیر یک تغییر فنی را دارید، بهتر است بازه قبل و بعد از تغییر را نیز مقایسه کنید.
۲. جداکردن درخواستهای مربوط به دامنه اصلی
اگر چند دامنه یا زیردامنه دارید، مطمئن شوید گزارش مربوط به دامنه موردنظر است.
۳. دستهبندی درخواستها
درخواستها را بر اساس موارد زیر دستهبندی کنید:
- User-Agent
- URL
- کد وضعیت HTTP
- تاریخ و ساعت
- نوع فایل
- IP درخواستکننده
۴. بررسی دادههای ناقص
ممکن است بعضی فیلدها در قالب لاگ شما ثبت نشده باشند.
برای مثال، بعضی تنظیمات اطلاعات Referrer را ثبت نمیکنند.
بنابراین نبود یک فیلد به معنی وجود مشکل در سایت نیست؛ ممکن است فقط قالب ثبت لاگ آن را شامل نشود.
کدهای HTTP در تحلیل لاگ چه معنایی دارند؟
کدهای HTTP یکی از مهمترین اطلاعات موجود در فایل لاگ هستند.
این کدها نشان میدهند سرور پس از دریافت درخواست چه پاسخی ارائه کرده است.
کد 200؛ پاسخ موفق
کد 200 به این معنی است که درخواست با موفقیت پردازش شده است.
برای مثال، اگر Googlebot صفحه یک مقاله را درخواست کند و سرور پاسخ 200 بدهد، یعنی پاسخ موفقی دریافت کرده است.
اما توجه کنید که:
پاسخ 200 به معنی ایندکس قطعی صفحه نیست.
گوگل پس از دریافت صفحه، آن را از نظر کیفیت، محتوای تکراری، Canonical و سایر شرایط بررسی میکند.
کد 301؛ انتقال دائمی
کد 301 برای انتقال دائمی یک URL به آدرس جدید استفاده میشود.
برای مثال، اگر آدرس مقالهای را تغییر داده باشید، میتوانید URL قدیمی را به صفحه جدید و مرتبط منتقل کنید.
در لاگ باید بررسی کنید که ریدایرکتها به مقصد درست هدایت میشوند و زنجیرههای طولانی ایجاد نشدهاند.
کد 302؛ انتقال موقت
کد 302 نشاندهنده انتقال موقت است.
اگر قصد دارید آدرس صفحه را برای همیشه تغییر دهید، معمولاً باید از ریدایرکت دائمی مناسب استفاده کنید.
انتخاب نوع ریدایرکت باید بر اساس هدف واقعی تغییر URL باشد.
کد 304؛ محتوا تغییر نکرده است
کد 304 Not Modified نشان میدهد نسخه محتوا نسبت به درخواست قبلی تغییر نکرده و میتوان از نسخه ذخیرهشده استفاده کرد.
این وضعیت میتواند به کاهش انتقال غیرضروری داده کمک کند.
وجود کد 304 لزوماً خطا نیست.
کد 404؛ صفحه پیدا نشد
کد 404 زمانی استفاده میشود که صفحه موردنظر وجود ندارد.
در تحلیل لاگ باید بررسی کنید:
- آیا URL اشتباه تایپ شده است؟
- آیا صفحه قبلاً حذف شده؟
- آیا لینک داخلی شکسته وجود دارد؟
- آیا URL قدیمی باید به صفحه جایگزین مرتبط منتقل شود؟
نباید تمام خطاهای 404 را به صفحه اصلی ریدایرکت کنید.
کد 500؛ خطای داخلی سرور
کد 500 نشاندهنده خطایی در پردازش درخواست توسط سرور است.
اگر این خطا برای صفحات مهم سایت تکرار شود، باید علت آن بررسی شود.
کد 502 و 503
کد 502 معمولاً به مشکل ارتباط میان سرورها یا Gateway مربوط است.
کد 503 نیز نشان میدهد سرویس در حال حاضر در دسترس نیست.
اگر این خطاها برای URLهای مهم تکرار شوند، بهتر است با پشتیبانی هاستینگ موضوع را بررسی کنید.
جدول خلاصه کدهای مهم
| کد | معنی | اقدام پیشنهادی |
|---|---|---|
| 200 | پاسخ موفق | بررسی محتوای صفحه |
| 301 | انتقال دائمی | بررسی مقصد ریدایرکت |
| 302 | انتقال موقت | بررسی دلیل انتقال |
| 304 | بدون تغییر | معمولاً نیاز به اقدام ندارد |
| 404 | صفحه پیدا نشد | بررسی لینک و وضعیت URL |
| 403 | دسترسی ممنوع | بررسی مجوزها و محدودیتها |
| 429 | درخواست بیش از حد | بررسی محدودیت و فشار سرور |
| 500 | خطای داخلی | بررسی Error Log |
| 502 | خطای Gateway | بررسی ارتباط سرویسها |
| 503 | سرویس موقتاً در دسترس نیست | بررسی وضعیت هاست |
چگونه بفهمیم گوگلبات کدام صفحات را بیشتر درخواست کرده است؟
یکی از کاربردهای اصلی تحلیل لاگ، بررسی تعداد درخواستهای ثبتشده برای URLهای مختلف است.
فرض کنید یک سایت دارای ۵۰۰ صفحه مهم است؛ اما در گزارش لاگ مشاهده میکنید درخواستهای زیادی برای چند URL فیلتر یا جستوجوی داخلی ثبت شدهاند.
این موضوع میتواند نشانهای باشد که لازم است ساختار URLها و لینکهای داخلی را بررسی کنید.
بررسی تعداد درخواست هر URL
در فایل لاگ، درخواستها را بر اساس URL دستهبندی کنید.
سپس تعداد درخواستهای هر URL را در بازه زمانی مشخص محاسبه کنید.
برای مثال، یک گزارش آموزشی فرضی میتواند چنین باشد:
| URL | تعداد درخواست ثبتشده |
|---|---|
| صفحه اصلی | 120 |
| مقاله آموزش سئو | 45 |
| صفحه دستهبندی کتاب | 30 |
| صفحه محصول نمونه | 18 |
| صفحه جستوجوی داخلی | 90 |
در این مثال، تعداد درخواستهای صفحه جستوجوی داخلی بیشتر از بعضی صفحات مهم است.
این موضوع بهتنهایی نشاندهنده مشکل نیست؛ اما ارزش بررسی دارد.
باید بررسی کنید آیا URLهای جستوجو واقعاً باید توسط گوگل خزش شوند یا ساختار سایت باعث تولید URLهای غیرضروری شده است.
توجه: تعداد درخواستها را باید در کنار اهمیت صفحات، کیفیت محتوا و وضعیت ایندکس بررسی کرد. بیشتر درخواستشدن یک صفحه به معنی ارزشمندتر بودن آن از نظر رتبهبندی نیست.
چگونه صفحات مهمی را که کمتر خزش میشوند شناسایی کنیم؟
یکی از پرسشهای رایج مدیران سایت این است که چرا بعضی صفحات مهم کمتر از انتظار توسط گوگل درخواست میشوند.
تحلیل لاگ میتواند به بررسی این مسئله کمک کند.
مرحله اول: تهیه فهرست صفحات مهم
ابتدا صفحات مهم سایت را مشخص کنید.
برای مثال:
- صفحات اصلی خدمات
- مقالات مهم
- محصولات پرفروش
- دستهبندیهای اصلی
- صفحات راهنمای کاربران
مرحله دوم: مقایسه با درخواستهای ثبتشده
بررسی کنید آیا این URLها در فایل لاگ وجود دارند یا خیر.
مرحله سوم: بررسی لینکسازی داخلی
اگر صفحه مهمی در لاگ دیده نمیشود، یکی از مواردی که باید بررسی شود، ساختار لینکهای داخلی است.
ممکن است صفحه در عمق زیادی از سایت قرار گرفته باشد یا لینک مناسبی از صفحات دیگر دریافت نکند.
مرحله چهارم: بررسی نقشه سایت
مطمئن شوید URLهای مهم در Sitemap مناسب قرار دارند و وضعیت آنها با تنظیمات Canonical و ایندکس هماهنگ است.
مرحله پنجم: بررسی سرچ کنسول
در نهایت، وضعیت URL را در URL Inspection و گزارش Page Indexing بررسی کنید.
اگر URL در لاگ وجود ندارد، به معنی این نیست که حتماً از گوگل پنهان شده است؛ ممکن است در بازه بررسیشده درخواست ثبت نشده باشد یا گزارش شما کامل نباشد.
تحلیل درخواستهای غیرضروری در سایت وردپرسی
وردپرس و افزونههای آن ممکن است URLهای مختلفی تولید کنند.
بعضی از این URLها برای کاربران مفید هستند، اما لزوماً نباید همگی در گوگل ایندکس شوند.
برای مثال:
- صفحات جستوجوی داخلی
- URLهای دارای پارامتر فیلتر
- صفحات مرتبسازی
- پارامترهای رهگیری کمپین
- برخی URLهای مربوط به سبد خرید
- صفحات فرایند ثبت سفارش
با بررسی لاگ میتوانید ببینید آیا درخواستهای زیادی برای این آدرسها ثبت میشود یا خیر.
آیا باید تمام URLهای پارامتردار را مسدود کنیم؟
خیر.
هر پارامتر URL کاربرد متفاوتی دارد.
برای مثال، ممکن است یک پارامتر صرفاً برای رهگیری تبلیغات استفاده شود، اما پارامتر دیگری محتوای واقعی صفحه را تغییر دهد.
قبل از هرگونه تغییر در robots.txt، باید مشخص کنید URL موردنظر چه کاربردی دارد و آیا لازم است موتور جستوجو به آن دسترسی داشته باشد یا خیر.
مسدودسازی اشتباه ممکن است دسترسی گوگل به منابع ضروری یا صفحات مهم را نیز مختل کند.
چگونه از تحلیل لاگ برای بررسی خطاهای سایت استفاده کنیم؟
یکی از بهترین کاربردهای فایل لاگ، شناسایی خطاهایی است که ممکن است در بازدیدهای عادی بهراحتی دیده نشوند.
بررسی خطاهای 404
اگر یک URL بارها با پاسخ 404 درخواست شده باشد، باید بررسی کنید آیا هنوز لینک داخلی به آن وجود دارد یا خیر.
اگر صفحه جایگزین مرتبط دارد، میتوانید ریدایرکت مناسب ایجاد کنید.
اگر محتوا واقعاً حذف شده و جایگزین مناسبی ندارد، ممکن است پاسخ 404 یا 410 انتخاب درستی باشد.
بررسی خطاهای 5xx
اگر درخواستهای مربوط به صفحات مهم با خطاهای 5xx روبهرو میشوند، باید موضوع را جدیتر بررسی کنید.
مواردی مانند مشکلات PHP، محدودیت منابع سرور، اختلال پایگاه داده یا مشکلات سرویسهای واسطه ممکن است در این وضعیت نقش داشته باشند.
بررسی زنجیره ریدایرکت
اگر یک URL چندین بار به آدرسهای مختلف منتقل شود، ممکن است زنجیره ریدایرکت ایجاد شده باشد.
برای مثال:
URL A → URL B → URL C
در بسیاری از موارد بهتر است URL قدیمی مستقیماً به مقصد نهایی و مرتبط منتقل شود.
زنجیرههای طولانی میتوانند تجربه کاربری و کارایی خزش را تحت تأثیر قرار دهند.
ابزارهای تحلیل فایل لاگ برای سئو
برای تحلیل لاگ میتوانید از ابزارهای مختلفی استفاده کنید.
انتخاب ابزار به اندازه فایل، حجم سایت، امکانات موردنیاز و سطح مهارت شما بستگی دارد.
۱. Microsoft Excel
برای فایلهای کوچک و گزارشهای ساده، Excel میتواند نقطه شروع مناسبی باشد.
با استفاده از قابلیتهایی مانند Filter، Sort و PivotTable میتوانید دادهها را دستهبندی کنید.
برای مثال:
- شمارش درخواستها بر اساس URL
- فیلتر کردن پاسخهای 404
- دستهبندی درخواستها بر اساس User-Agent
- بررسی تعداد درخواست در بازههای زمانی
البته فایلهای بسیار بزرگ ممکن است از محدودیت ردیفهای Excel عبور کنند.
۲. Google Sheets
برای گزارشهای کوچک و متوسط میتوانید از Google Sheets استفاده کنید.
امکانات فیلتر، مرتبسازی و فرمولها به شما کمک میکنند گزارشهای ساده تهیه کنید.
بااینحال، قبل از بارگذاری لاگ در سرویسهای آنلاین، اطلاعات حساس آن را بررسی و در صورت نیاز حذف یا ناشناسسازی کنید.
۳. Screaming Frog Log File Analyser
این ابزار برای تحلیل فایلهای لاگ و بررسی رفتار خزندهها طراحی شده است.
بسته به نسخه و امکانات آن، میتوانید دادههایی مانند URLهای درخواستشده، کدهای پاسخ و اطلاعات خزندهها را تحلیل کنید.
برای سایتهایی که حجم درخواست زیادی دارند، ابزار تخصصی میتواند کار را سادهتر کند.
۴. ابزارهای خط فرمان و پردازش داده
برای فایلهای حجیم میتوان از ابزارهای پردازش متن و داده استفاده کرد.
این روش بیشتر برای افرادی مناسب است که با محیط خط فرمان یا برنامهنویسی آشنایی دارند.
اگر دانش فنی کافی ندارید، بهتر است در مرحله اول از ابزارهای سادهتر استفاده کنید و تنظیمات سرور را تغییر ندهید.
تفاوت Crawl Budget و تعداد درخواستهای ثبتشده چیست؟
Crawl Budget به میزان خزش گوگل در یک سایت اشاره دارد و به عواملی مانند ظرفیت خزش و تقاضای خزش وابسته است.
تعداد درخواستهای ثبتشده در لاگ فقط نشان میدهد در بازه زمانی مورد بررسی چه تعداد درخواست به سرور رسیده است.
این دو مفهوم را نباید یکی دانست.
برای مثال، اگر در یک روز ۱۰۰۰ درخواست در لاگ ثبت شده باشد، نمیتوان نتیجه گرفت که گوگل ۱۰۰۰ صفحه جدید را ایندکس کرده است.
ممکن است بخشی از درخواستها مربوط به موارد زیر باشند:
- تصاویر
- فایلهای CSS
- فایلهای JavaScript
- URLهای تکراری
- ریدایرکتها
- درخواستهای ناموفق
- صفحات قبلاً شناختهشده
بنابراین برای تحلیل Crawl Budget باید کیفیت صفحات، ساختار سایت، وضعیت سرور، گزارش Crawl Stats و اطلاعات لاگ را در کنار هم بررسی کنید.
اشتباهات رایج در تحلیل لاگ سرور
تحلیل نادرست دادهها ممکن است باعث شود تغییرات غیرضروری در سایت ایجاد کنید.
در ادامه چند اشتباه مهم را بررسی میکنیم.
۱. اعتماد کامل به User-Agent
دیدن عبارت Googlebot در User-Agent برای تأیید هویت درخواست کافی نیست.
درخواستهای مشکوک باید با روشهای رسمی گوگل بررسی شوند.
۲. تصور اینکه هر درخواست به معنی ایندکس است
خزش و ایندکس دو مرحله متفاوت هستند.
ممکن است گوگل صفحهای را درخواست کند، اما تصمیم بگیرد آن را ایندکس نکند.
۳. حذف URLهایی که درخواست زیادی دارند
تعداد درخواست زیاد بهتنهایی دلیل حذف صفحه نیست.
ابتدا باید کاربرد، کیفیت و اهمیت URL را بررسی کنید.
۴. مسدودسازی عجولانه URLها در robots.txt
اگر بدون بررسی URLها را مسدود کنید، ممکن است دسترسی خزندهها به منابع ضروری یا صفحات مهم مختل شود.
۵. نادیده گرفتن خطاهای سرور
خطاهای موقت ممکن است در یک بازه کوتاه رخ دهند؛ اما تکرار آنها برای صفحات مهم باید بررسی شود.
۶. تحلیل فقط بر اساس یک روز
یک روز داده ممکن است نماینده رفتار معمول سایت نباشد.
بهتر است در صورت امکان بازههای زمانی مختلف را مقایسه کنید.
۷. اشتباه گرفتن تعداد درخواست با رتبه گوگل
تعداد درخواستهای Googlebot معیار مستقیمی برای سنجش رتبه صفحه نیست.
برای بررسی عملکرد جستوجویی باید از گزارش Performance سرچ کنسول نیز استفاده کنید.
نکات امنیتی و حریم خصوصی هنگام کار با فایل لاگ
فایلهای لاگ ممکن است حاوی اطلاعاتی باشند که نباید بهصورت عمومی منتشر شوند.
برای مثال:
- IP کاربران
- URLهای خصوصی
- پارامترهای درخواست
- اطلاعات مربوط به مسیرهای داخلی
- اطلاعات فنی سرور
بنابراین:
- فایل لاگ را در اختیار افراد ناشناس قرار ندهید.
- قبل از ارسال گزارش برای دیگران، اطلاعات حساس را حذف یا ناشناسسازی کنید.
- فایلها را در سرویسهای آنلاین نامطمئن بارگذاری نکنید.
- دسترسی به آرشیو لاگ را محدود کنید.
- مدت نگهداری فایلها را متناسب با نیاز و سیاست حریم خصوصی تنظیم کنید.
تحلیل سئو نباید باعث افشای اطلاعات بازدیدکنندگان سایت شود.
چکلیست نهایی تحلیل لاگ سرور
قبل از پایان بررسی، این موارد را کنترل کنید:
پرسشهای متداول درباره SEO Log File Analysis
آیا تحلیل لاگ سرور برای تمام سایتها ضروری است؟
خیر. این روش برای همه سایتها ضرورت یکسانی ندارد. سایتهای بزرگ، فروشگاههای اینترنتی و وبسایتهایی که با مشکلات خزش مواجه هستند، معمولاً بیشتر از تحلیل لاگ سود میبرند.
آیا با تحلیل لاگ میتوان فهمید گوگل کدام صفحات را ایندکس کرده است؟
خیر. لاگ نشان میدهد درخواست برای یک URL ثبت شده است، اما ایندکس شدن آن را ثابت نمیکند. برای بررسی وضعیت ایندکس باید از Google Search Console استفاده کنید.
آیا میتوان فایل لاگ را از cPanel دریافت کرد؟
در بسیاری از هاستهای دارای cPanel، گزینه Raw Access برای دانلود فایلهای خام وجود دارد؛ البته ممکن است شرکت هاستینگ این قابلیت را غیرفعال کرده باشد.
آیا تعداد زیاد درخواست Googlebot نشانه سئوی بهتر است؟
خیر. افزایش درخواستها لزوماً به معنی بهبود رتبه نیست. باید بررسی کنید درخواستها برای چه صفحاتی ثبت شدهاند و آیا این صفحات برای سایت ارزشمند هستند یا خیر.
اگر گوگلبات صفحهای را درخواست نکرده باشد، یعنی صفحه ایندکس نمیشود؟
نه لزوماً. ممکن است بازه زمانی لاگ کوتاه باشد یا درخواست در فایل مورد بررسی ثبت نشده باشد. وضعیت URL را با سرچ کنسول و سایر اطلاعات خزش بررسی کنید.
آیا باید صفحات 404 را از لاگ حذف کنیم؟
خیر. ابتدا باید علت درخواست آنها مشخص شود. اگر صفحه جایگزین مرتبط دارد، ریدایرکت مناسب ایجاد کنید؛ اگر صفحه واقعاً حذف شده و جایگزین ندارد، پاسخ 404 یا 410 میتواند صحیح باشد.
آیا تحلیل لاگ باعث افزایش مستقیم رتبه سایت میشود؟
خیر. تحلیل لاگ یک روش تشخیصی است. ارزش آن در شناسایی مشکلات خزش، خطاهای سرور و درخواستهای غیرضروری است. بهبود این مشکلات ممکن است به دسترسی بهتر موتورهای جستوجو به محتوای ارزشمند کمک کند، اما افزایش رتبه را تضمین نمیکند.
هر چند وقت یکبار باید لاگ سایت را بررسی کنیم؟
برای سایتهای کوچک، بررسی دورهای هنگام بروز مشکل یا پس از تغییرات فنی میتواند کافی باشد. سایتهای بزرگتر ممکن است به تحلیل منظمتر و خودکار نیاز داشته باشند.
از درخواستهای سرور تا تصمیمهای بهتر برای سئو
تحلیل لاگ سرور به شما کمک میکند از حدس و گمان فاصله بگیرید و ببینید چه درخواستهایی واقعاً به سرور سایت رسیدهاند.
با استفاده از این روش میتوانید صفحات مهم، درخواستهای تکراری، خطاهای سرور و مشکلات احتمالی خزش را بهتر شناسایی کنید.
برای یک سایت وردپرسی، لازم نیست از همان ابتدا سراغ ابزارهای پیچیده بروید. دریافت فایل Raw Access از هاست، بررسی چند URL مهم و مقایسه نتایج با گزارش Crawl Stats سرچ کنسول میتواند شروع مناسبی باشد.
مهمتر از همه، هر تغییری را بر اساس شواهد انجام دهید. صرف مشاهده یک درخواست زیاد، یک خطای 404 یا یک User-Agent با نام Googlebot نباید باعث تغییر عجولانه در ساختار سایت شود.
هدف اصلی تحلیل لاگ این است که بفهمیم سرور چه چیزی را ثبت کرده، گوگلبات با چه شرایطی روبهرو شده و کدام مشکل واقعاً به اصلاح نیاز دارد.
منابع و مطالعه بیشتر
برای بررسی دقیقتر مفاهیم مطرحشده، منابع رسمی و فنی زیر پیشنهاد میشوند:
- Google – Verify Requests from Google Crawlers and Fetchers
https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests - Google Search Console – Crawl Stats Report
https://support.google.com/webmasters/answer/9679690 - Google Search Central – Troubleshoot Crawling Errors
https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors - Google – What Is Googlebot?
https://developers.google.com/search/docs/crawling-indexing/googlebot - cPanel – Raw Access
https://docs.cpanel.net/cpanel/metrics/raw-access/ - Apache HTTP Server – Log Files
https://httpd.apache.org/docs/current/logs.html