ربات‌های متاتگ چه هستند؟

دستورالعمل‌های ربات های متا که بعضی از اوقات متاتگ نیز گفته می‌شوند قسمتی از کدی هستند که دستورالعمل‌هایی برای خزنده‌ها درباره نحوه جستجو یا پیداکردن و ایندکس کردن محتوای صفحه وب ارائه می‌دهند. در مقابل فایل robots.txt که به ربات‌ها پیشنهاد می‌دهد چگونه یک صفحه وب را پیدا کنند، متاروبات ها از دستورالعمل‌های محکم‌تری برای نحوه جستجو و ایندکس محتوای یک صفحه وب استفاده می‌کنند.

دو نوع robots meta directives وجود دارد:

  1. آنهایی که بخشی از صفحه HTML هستند. مانند: meta robots tag
  2. آنهایی که وب سرور به‌عنوان هدرهای HTML ارسال می‌کند. مانند: x-robots-tag

در هر دو نوع meta robots tag و x-robots-tag می‌توان از پارامترهای یکسان مانند دستورالعمل‌های ایندکس کردن یک متاتگ استفاده کرد. برای درک بهتر به مثال زیر و “noindex” و “nofollow” توجه کنید. آنچه متفاوت است این است که این پارامترها چگونه به خزنده‌ها منتقل می‌شوند.

پارامتر های ربات های متا

Meta Directives به خزنده‌ها دستورالعمل‌هایی درباره نحوه پیمایش و ایندکس کردن اطلاعات صفحه‌های خاصی که پیدا می‌کنند را می‌دهد. اگر ربات‌ها این دستورالعمل‌ها را کشف کنند، پارامترهایشان به‌عنوان یک پیشنهاد قوی برای چگونگی رفتار Indexation خزنده‌ها عمل می‌کنند.

در فایل های robots.txt  خزنده‌ها مجبور نیستند از Meta Directives شما پیروی کنند پس می‌توان اطمینان حاصل کرد که ربات‌های مخرب وب از دنبال‌کردن دستورالعمل‌های شما چشم‌پوشی کنند.

در ادامه با پارامترهایی آشنا می‌شویم که خزنده‌های موتورهای جستجو هنگام استفاده از دستورالعمل‌های ربات های متا، آنها را پشتیبانی و پیروی می‌کنند.

پارامترها به حروف بزرگ و کوچک حساس نیستند اما باید به یاد داشته باشید که ممکن است بعضی از موتورهای جستجو فقط زیرمجموعه‌ای از این پارامترها را دنبال کرده یا برخی از دستورالعمل‌ها را با کمی تفاوت اجرا کنند.

پارامترهای کنترل Indexation :

Noindex: به موتور جستجو می‌گوید که صفحه‌ای را Index نکند.

Index: به موتور جستجو می‌گوید تا صفحه‌ای را فهرست کند. توجه داشته باشید که نیازی به افزودن این متا تگ ندارید چراکه به‌صورت پیش‌فرض وجود دارد.

Follow: حتی اگر صفحه Index نشده باشد، خزنده‌ها باید تمام پیوندهای یک صفحه را دنبال کنند و قدرت لینک را به صفحات پیوند داده شده منتقل کنند.

Nofollow: به یک خزنده می‌گوید که هیچ پیوندی را در صفحه دنبال نکند.

Noimageindex: به یک خزنده می‌گوید که هیچ تصویری را در یک صفحه Index نکند.

None: به استفاده هم‌زمان از برچسب‌های noindex و nofollow گفته می‌شود.

Noarchive: موتورهای جستجو نباید پیوند ذخیره شده به این صفحه را در SERP نشان دهند.

Nocache: همان noarchive است اما فقط توسط اینترنت اکسپلورر و Firefox استفاده می‌شود.

Nosnippet: به موتور جستجو می‌گوید قطعه‌ای از این صفحه (به‌عنوان‌مثال توضیحات متا) را در SERP نشان ندهد.

Noodyp / noydir [OBSOLETE]: از استفاده موتورهای جستجو برای توصیف DMOZ یک صفحه به‌عنوان قطعه SERP برای این صفحه جلوگیری می‌کند. بااین‌حال  DMOZ در اوایل سال 2017 بازنشسته شد و این برچسب را منسوخ کرد.

Unavailable_after: موتورهای جستجو پس از یک تاریخ خاص دیگر نباید این صفحه را Index کنند.

انواع دستورالعمل‌های ربات های متا

دو نوع اصلی از دستورالعمل‌های ربات های متا وجود دارند:

  1. meta robots tag
  2. x-robots-tag

هر پارامتری که در meta robots tag استفاده شود قابلیت استفاده در x-robots-tag را نیز دارد. درباره هر دو مورد در ادامه صحبت خواهیم کرد.

meta robots tag

meta robots tag که معمولاً به‌عنوان “روبات‌های متا” یا به طور عامیانه به‌عنوان “برچسب روبات‌ها” شناخته می‌شود، بخشی از کد HTML یک صفحه وب است و به‌عنوان عناصر کد در بخش <head> یک صفحه وب ظاهر می‌شود:

مثال برچسب ربات های متا

نمونه کد:

<pre><meta name=”robots” content=”[PARAMETER]”></pre>

درحالی‌که برچسب عمومی <meta name = “robots” content = “[PARAMETER]”> استاندارد است شما همچنین می‌توانید با جایگزینی “ربات‌ها” با نام یک عامل کاربری خاص، دستورالعمل‌هایی را برای خزنده‌های خاص ارائه دهید. به‌عنوان‌مثال برای هدف قراردادن یک دستورالعمل به طور خاص برای Googlebot  از کد زیر استفاده می‌کنید:

<meta name=”googlebot” content=”[DIRECTIVE]”>

 

آیا می‌خواهید از بیش از یک دستورالعمل در یک صفحه استفاده کنید؟ تا زمانی که “ربات” (عامل کاربر) هدف باشد، چندین دستورالعمل می‌توانند در یک meta directives گنجانده شوند. فقط بدانید که باید آنها را با کاما از هم جدا کنید. به مثال زیر توجه کنید:

<meta name=”robots” content=”noimageindex, nofollow, nosnippet”>

 

این برچسب به روبات‌ها می‌گوید که هیچ‌یک از تصاویر موجود در صفحه را Index نکنند، هیچ‌یک از پیوندها را دنبال نکنند یا وقتی صفحه در SERP ظاهر می‌شود بخشی از صفحه را نشان دهند.

اگر از دستورالعمل‌های مختلف meta robots tag برای عوامل گوناگون جستجو کاربر استفاده می‌کنید باید برچسب‌های جداگانه برای هر ربات بکار ببرید.

X-robots-tag

درحالی‌که meta robots tag به شما امکان می‌دهد رفتار ایندکس کردن را در سطح صفحه کنترل کنید، برچسب x-robots می‌تواند به‌عنوان بخشی از هدر HTTP برای کنترل ایندکس کردن یک صفحه به‌عنوان یک کل یا عنصر بسیار خاص یک صفحه وجود داشته باشد.

درحالی‌که می‌توانید از برچسب x-robots برای اجرای همه دستورات ایندکس کردن مشابه meta robots استفاده کنید، دستورالعمل X-robots-tag انعطاف‌پذیری و عملکرد قابل‌توجهی را ارائه می‌دهد که meta robots tag از آن استفاده نمی‌کند. به طور خاص x-robots امکان استفاده از عبارات منظم، اجرای دستورالعمل‌های خزشی در فایل‌های غیر HTML و استفاده از پارامترها را در سطح جهانی برای ما فراهم می‌کنند.

مثال برای x-robots-tag

برای استفاده از برچسب x-robots ، باید به header وب‌سایت، php ، .htaccess یا server access file  دسترسی داشته باشید. در آنجا پیکربندی خاص سرور خود را با علامت‌گذاری x-robots-tag که شامل پارامترهای مختلف است انجام داده و اضافه کنید. این مقاله در صورت استفاده از هر یک از این سه پیکربندی، نمونه‌های بسیار خوبی از علامت‌گذاری x-robots را ارائه می‌دهد.

به چند نمونه که از X-robots-tag استفاده کرده‌اند توجه کنید:

بهترین تمرین‌های seo با Robots Meta Directives:

برای یادگیری بیشتر به پیوندهای زیر مراجعه کنید:

 Robots.txt

X-Robots-Tag: A Simple Alternate For Robots .txt and Meta Tag

Controlling Search Engine Crawlers for Better Indexation and Rankings

Robots Meta Tag and X-Robots-Tag HTTP Header Specifications

 

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پانزده − 11 =