انواع دستورالعمل‌های ربات های متا
1. meta robots tag
2. x-robots-tag
meta robots tag
meta robots tag که معمولاً به‌عنوان “روبات‌های متا” یا به طور عامیانه به‌عنوان “برچسب روبات‌ها” شناخته می‌شود، بخشی از کد HTML یک صفحه وب است و به‌عنوان عناصر کد در بخشیک صفحه وب ظاهر می‌شود:
نمونه کد:
درحالی‌که برچسب عمومیاستاندارد است شما همچنین می‌توانید با جایگزینی “ربات‌ها” با نام یک عامل کاربری خاص، دستورالعمل‌هایی را برای خزنده‌های خاص ارائه دهید. به‌عنوان‌مثال برای هدف قراردادن یک دستورالعمل به طور خاص برای Googlebot از کد زیر استفاده می‌کنید:
X-robots-tag
درحالی‌که meta robots tag به شما امکان می‌دهد رفتار ایندکس کردن را در سطح صفحه کنترل کنید، برچسب x-robots می‌تواند به‌عنوان بخشی از هدر HTTP برای کنترل ایندکس کردن یک صفحه به‌عنوان یک کل یا عنصر بسیار خاص یک صفحه وجود داشته باشد.
درحالی‌که می‌توانید از برچسب x-robots برای اجرای همه دستورات ایندکس کردن مشابه meta robots استفاده کنید، دستورالعمل X-robots-tag انعطاف‌پذیری و عملکرد قابل‌توجهی را ارائه می‌دهد که meta robots tag از آن استفاده نمی‌کند. به طور خاص x-robots امکان استفاده از عبارات منظم، اجرای دستورالعمل‌های خزشی در فایل‌های غیر HTML و استفاده از پارامترها را در سطح جهانی برای ما فراهم می‌کنند.
برای استفاده از برچسب x-robots ، باید به header وب‌سایت، php ، .htaccess یا server access file دسترسی داشته باشید. در آنجا پیکربندی خاص سرور خود را با علامت‌گذاری x-robots-tag که شامل پارامترهای مختلف است انجام داده و اضافه کنید. این مقاله در صورت استفاده از هر یک از این سه پیکربندی، نمونه‌های بسیار خوبی از علامت‌گذاری x-robots را ارائه می‌دهد.