گوگل دو خزنده Googlebot جدید اضافه می کند: GoogleOther-Image و GoogleOther-Video


گوگل دو خزنده جدید را به خانواده Googlebot خزنده های وب اضافه کرده است:

  • GoogleOther-Image
  • GoogleOther-Video

گوگل گفت این دو خزنده جدید نسخه هایی از GoogleOther هستند که برای واکشی بایت های تصویر و ویدیو بهینه شده اند. GoogleOther در آوریل 2023 اضافه شد تا به صورت داخلی توسط تیم‌های Google برای خزیدن در وب عمومی و آزاد کردن برخی منابع برای خزنده‌های اصلی Googlebot استفاده شود.

GoogleOther-Image. GoogleOther-Image، طبق مستندات، نسخه GoogleOther است که برای واکشی URLهای تصویر در دسترس عموم بهینه شده است. در زیر توکن‌های عامل کاربر GoogleOther-Image و GoogleOther قرار می‌گیرد و رشته کامل عامل کاربر GoogleOther-Image/1.0 خواهد بود.

GoogleOther-Video. GoogleOther-Video، طبق مستندات، نسخه GoogleOther است که برای واکشی URL های ویدئویی در دسترس عموم بهینه شده است. در زیر توکن‌های عامل کاربر GoogleOther-Video و GoogleOther قرار می‌گیرد و رشته کامل عامل کاربر GoogleOther-Video/1.0 خواهد بود.

چرا این خزنده های جدید. گوگل گفت: “خزنده های جدید برای پشتیبانی بهتر از خزیدن داده های باینری که ممکن است برای تحقیق و توسعه استفاده شوند، راه اندازی شده اند.”

اطلاعات بیشتر در مورد خزنده های گوگل. انواع خزنده های Googlebot عبارتند از:

  • Googlebot – خزنده اصلی محصولات جستجوی گوگل. گوگل می گوید این خزنده همیشه به قوانین robots.txt احترام می گذارد.
  • خزنده های مورد خاص – خزنده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به قوانین robots.txt احترام بگذارند یا نکنند.
  • واکشی های راه اندازی شده توسط کاربر – ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. به عنوان مثال، Google Site Verifier به درخواست یک کاربر عمل می کند یا برخی از ابزارهای کنسول جستجوی Google، Google را برای واکشی صفحه بر اساس اقدامی که کاربر انجام می دهد، می فرستند.

Google همچنین محدوده آدرس IP و ماسک DNS معکوس را برای هر نوع فهرست کرده است:

چرا ما اهمیت می دهیم. بسیاری از شما فعالیت‌های خزیدن و فعالیت ربات خود را در وب‌سایت و فایل‌های گزارش خود بررسی می‌کنید. وقتی این خزنده‌های جدید GoogleOther را می‌بینید، نگران نباشید. این یک Googlebot واقعی است.


جدید در زمین موتورهای جستجو

درباره نویسنده

بری شوارتز یک ویرایشگر کمک کننده در سرزمین موتورهای جستجو و یکی از اعضای تیم برنامه نویسی رویدادهای SMX است. او صاحب RustyBrick، یک شرکت مشاوره وب مستقر در نیویورک است. او همچنین میزگرد موتور جستجو را اجرا می کند، یک وبلاگ جستجوی محبوب در مورد موضوعات بسیار پیشرفته SEM. بری قابل پیگیری است در توییتر اینجا.