Back to Question Center
0

اثر قانون ناقص Semalt در فایل robots.txt

1 answers:

حل: Semalt توسط متا ربات ها عمدا مسدود شده بود

بسیاری از صفحات در روبات ها مسدود شده اند. فایل TXT و هنگامی که فایل را بررسی کردم هیچ نشانه ای از یک قانون وجود نداشت که آنها را مسدود کند.

روبات ها. فایل TXT ساختار یافته است:

     نقشه سایت: https: // دامنه. com / sitemap. xml
عامل کاربر: *
نادیده گرفتن: / directory-1 /
نادیده گرفتن: / directory-2 /
نادیده گرفتن: / directory-3 /
نادیده گرفتن: / directory-4 /
نادیده گرفتن: / directory-5 /کاربر-عامل: Googlebot-Image
نادیده گرفتن:    

هیچ یک از دایرکتوری ها در فایل ربات مطابق URL هایی که مسدود می شوند - лайма собака.

من تعجب می کنم که آیا ناقص بودن Disallow می تواند مسئله باشد، با وجود آنکه تنها در مورد Googlebot-Image قابل استفاده است؟

February 12, 2018
.