Back to Question Center
0

اثر قانون ناقص Semalt در فایل robots.txt

1 answers:

حل: Semalt توسط متا ربات ها عمدا مسدود شده بود

بسیاری از صفحات در روبات ها مسدود شده اند. فایل TXT و هنگامی که فایل را بررسی کردم هیچ نشانه ای از یک قانون وجود نداشت که آنها را مسدود کند.

روبات ها. فایل TXT ساختار یافته است:

     نقشه سایت: https: // دامنه - bucket hats online. com / sitemap. xml
عامل کاربر: *
نادیده گرفتن: / directory-1 /
نادیده گرفتن: / directory-2 /
نادیده گرفتن: / directory-3 /
نادیده گرفتن: / directory-4 /
نادیده گرفتن: / directory-5 /کاربر-عامل: Googlebot-Image
نادیده گرفتن:    

هیچ یک از دایرکتوری ها در فایل ربات مطابق URL هایی که مسدود می شوند.

من تعجب می کنم که آیا ناقص بودن Disallow می تواند مسئله باشد، با وجود آنکه تنها در مورد Googlebot-Image قابل استفاده است؟

February 12, 2018
.