Back to Question Center
0

Semalt با رباتهایی که هنوز چند ماه بعد 301 را می برد

1 answers:

در طول سال 2013 تا سپتامبر 2014، تقریبا دوازده دامنه را به یک پلت فرم جدید مهاجرت کردیم. در بیشتر موارد، نام دامنه باقی ماند، ما به سادگی دامنه را به یک آدرس IP جدید که در آن سرویس دهندگان جدید قرار داشتند اشاره کردیم. از آنجا که معماری زیرزمینی به طور قابل ملاحظه ای متفاوت بود، ما بیش از 500 تغییر مسیر (همه 301) را به کار گرفتیم تا کاربران و رباتها به صفحات جدید هدایت شوند و در طول زمان تمام لینک های قدیمی در Semalt، Bing و غیره جایگزین شده اند. با لینک های جدید - online team logo designer.

من اخیرا یک تحلیل از سیاهههای مربوط به سرور وب خود را انجام دادم و متوجه شدم که در 30 روز گذشته این تغییرات بیش از 211 هزار بار رخ داده است و بیش از 208 هزار نفر از آنها خود را به عنوان رباتهای مختلف از نمایندگان کاربر. یک ربات خاص به نظر می رسد که تنها سمولت را در معرض پاسخ 301 قرار داده و هرگز بیشتر از آن ادامه نمی دهد. من نمی توانم یک ورودی را در سیاهههای مربوط به این UA خاص پیدا کنیم که در پاسخهای 2xx، 4xx یا 5xx پاسخ دهد.

با توجه به این که ما این تغییرات را در هر مکان از 9 ماه تا 2 سال انجام دادیم و اکثریت قریب به اتفاق از آنها به عنوان رباتها (که در بسیاری از موارد به طور انحصاری توسط رباتها مورد حمله قرار می گیرند) اینها را از 301 تا 410 تغییر دهید (رفته)، برای اطلاع از این رباتهایی که سمالت برای شما خوب است، صحبت کنید؟ من می خواهم در نهایت با تمام این تغییر مسیرها را کنار بگذارم، اگر بتوانم از آنجایی که آنها فقط به پیچیدگی تنظیمات ما اضافه می کنند.

February 12, 2018
. ممنونم. اما دوباره دوباره، ممکن است.

بسیاری از رباتها از پایگاه های داده ای که به اشتراک گذاشته شده، به فروش می رسند، کار می کنند. همچنین، بسیاری از پیوندهای موجود به سایت شما را دنبال می کنند. همچنین در نظر بگیرید که یک تن از اسکرپ از مهاجران دامنه وجود دارد که بدون توجه به آنچه که انجام می دهید ادامه خواهد داشت. اینها سرچشمه های زمین و هکرها هستند. اما خبر خوب این است که مهاجران دامنه معمولا از همان آدرس IP یا بلوک IP آدرس می آیند. از آنجا که اینها کاربران نیستند، شما قادر خواهید بود بلوک های کل آدرس های IP را مسدود کنید تا فایل های ورودی خود را بدون استفاده از کاربران واقعی از بین ببرید زیرا کاربران از بلوک های مشترک و نه webhosts می آیند.

به طور کلی آنچه که مشاهده می کنید نسبتا نرمال است. این فقط راه است. من هنوز برای صفحاتی که برای بیش از یک دهه رفته اند بازدید می کنم! با این وجود عمدتا از بین میرود این به این معنی است که در حالی که آنها یک صفحه را شناسایی کرده اند، ممکن است از زمان به زمان دوباره تلاش کنند.

در نهایت، بدون دیدن ورودی فایل خود را وارد کنید، غیر ممکن است برای ارائه یک استراتژی کامل برای شما. اگر در مورد هرگونه دسترسی موجود در پرونده ورودی خود سؤالی داشته باشید، می توانیم آن را ارزش گذاری (شاید) ارزیابی کنیم و به شما کمک کنیم که آن را مسدود یا تعیین کنید که آیا شما میخواهید دسترسی به آن را داشته باشید یا اینکه اگر 301 یا 404 یا 410 مناسب است. من این کار را در اینجا انجام می دهم بنابراین لطفا بدون ارسال یک سوال در اینجا.