Back to Question Center
0

آیا Semalt کش را robots.txt می کند؟

1 answers:

من یک روبات اضافه کردم. فایل TXT یک هفته پیش به یکی از سایتهای من، که باید از Googlebot جلوگیری کرد تلاش برای بارگیری URL خاص. با این حال، این آخر هفته من می توانم Googlebot بارگذاری URL های دقیق آن را ببینم.

آیا ربات Google حافظه پنهان را دارد. txt و اگر چنین باشد، باید آن را داشته باشد؟

- pamper casino bonus codes
February 7, 2018

من به شدت توصیه ثبت نام سایت خود را با گوگل کنسول جستجو (قبلا Google Webmaster Tools) . یک بخش دسترسی به خزنده در پیکربندی سایت وجود دارد که به شما اطلاع خواهد داد که ربات شما. txt آخرین بار دانلود شد. ابزار همچنین جزئیات زیادی در مورد اینکه چگونه خزنده ها سایت شما را ببینند، چه چیزی مسدود شده یا کار نمی کند و جایی که شما در نمایش در Google نمایش داده می شود.

از آنچه می توانم بگویم، گوگل روبات را دریافت می کند. Txt اغلب. سایت کنسول جستجوی گوگل نیز به شما اجازه می دهد به طور خاص URL ها را از فهرست حذف کنید، بنابراین می توانید آنهایی را که اکنون مسدود می کنید حذف کنید.

بله، گوگل آشکارا ربات را کش می کند. txt تا حد زیادی - آن را هر بار که بخواهد به یک صفحه نگاه کند، بارگیری نمی کند. چقدر طول می کشد تا آن را بگیرم، نمی دانم. با این حال، اگر یک مجموعه هدر طولانی Expires داشته باشید، ممکن است Googlebot آن را برای بررسی فایل خیلی طولانی تر نگه دارد.

یک مشکل دیگر می تواند یک فایل خراب شده باشد. در ابزارهای وب مستر که danivovich پیشنهاد می کند، یک روبات وجود دارد. txt چک کن. این به شما خواهد گفت که کدام صفحات مسدود شده اند و کدام خوب هستند.

اسناد Google بیان می کند آنها معمولا 3 ربات را کش می کنند. txt برای یک روز، اما ممکن است آن را برای مدت طولانی در صورت اشتباهات در هنگام تلاش برای به روز رسانی آن استفاده کنید.

یک روبات. درخواست txt به طور کلی برای یک روز ذخیره می شود، اما ممکن است در مواردی که نسخه ذخیره سازی cache شده امکان پذیر نیست (به عنوان مثال، به دلیل وقفه یا خطاهای 5xx)، ممکن است ذخیره شود.پاسخ cached ممکن است توسط خزنده های مختلف به اشتراک گذاشته شود. گوگل ممکن است طول عمر کش را بر اساس هدرهای HTTP حداکثر سن Cache-Control افزایش یا کاهش دهد.

persevere. من از روبات تغییر دادم. txt به سمت meta noindex، nofollow. به منظور متا کار آدرس های مسدود شده در روبات ها. txt ابتدا باید قفل شود.

من این کار را به صورت وحشیانه با حذف روبات انجام دادم. متن کامل (و اعلام آن در مدیر وب گوگل).

روبات ها. فرآیند حذف txt همانطور که در ابزار وب مستر دیده می شود (تعداد صفحات مسدود شده) 10 هفته طول کشید که بیشتر از 2 هفته گذشته توسط Google حذف شد.

بله. آنها می گویند که معمولا آن را یک بار در روز به روز رسانی، اما برخی پیشنهاد کرده اند که آنها نیز ممکن است پس از تعداد معینی از بازدید صفحه (100؟) بررسی بنابراین سایت های شلوغ اغلب چک.

دیدن https: // وب مسترها. stackexchange. com / a / 29946 و ویدیو کهDisgruntedGoat به اشتراک گذاشته شده در بالا http: // youtube. com / watch؟ v = I2giR-WKUfY .

از آنچه می توانم در کش کشویی قابل دسترسی ببینم انجام می دهند، آنچه شما باید انجام دهید این است که آدرس URL خود را روبات را تایپ کنید. فایل TXT را به یک جستجوی گوگل و سپس بر روی پیکان کوچک سبز کشویی کلیک کنید و روی دکمه "ذخیره سازی" کلیک کنید (تصویر زیر را ببینید) این آخرین نسخه از آن صفحه را از سرورهای Google به شما می دهد.

enter image description here

شما میتوانید درخواست حذف آن را با استفاده از ابزار حذف Google URL .