آیا Google از دستورالعمل غیر استاندارد در robots.txt پشتیبانی می‌کند؟
منبع: https://rasanika.com
استانداردهایی برای نحوه نوشتن دستورالعمل robots.txt وجود دارد و هر چیزی که با آن استانداردها مطابقت نداشته باشد احتمالا نادیده گرفته می‌شود. یک دستورالعمل غیر استاندارد در robots.txt مولر توجه شخصی را به خود جلب کرد که تصمیم گرفت از طریق LinkedIn سؤالی در مورد آن برای جان مولر ارسال کند تا بداند آیا Google از دستورالعمل غیر استاندارد پشتیبانی می‌کند یا خیر؟
سوال متخصص سئو:
در فایل robots.txt جان مولر،
یک دستور غیر معمول وجود دارد:
“noindex:”
این دستور بخشی از فرمت استاندارد robots.txt نیست،
بنابراین، آیا فکر می‌کنید تأثیری بر نحوه ایندکس کردن صفحات توسط موتورهای جستجوگر خواهد داشت؟
جان مولر کنجکاو است که درباره noindex: in robots.txt بداند.
مولر پاسخ داد:
"این یک دستورالعمل پشتیبانی نشده است، هیچ کاری انجام نمی دهد."
مولر سپس توضیح داد که گوگل زمانی در نظر گرفته بود که از دستورالعمل noindex از درون robots.txt پشتیبانی کند، زیرا راهی را برای ناشران فراهم می‌کند تا گوگل را از خزیدن و فهرست‌بندی همزمان محتوا مسدود کنند.
در حال حاضر امکان مسدود کردن خزیدن در robots.txt یا مسدود کردن نمایه سازی با دستورالعمل متا روبات noindex وجود دارد. اما نمی‌توانید نمایه‌سازی را با دستورالعمل متا روبات‌ها مسدود کنید و همزمان خزیدن در robots.txt را مسدود کنید، زیرا یک بلوک در خزیدن مانع از «دیدن» دستورالعمل متا روبات‌ها توسط خزنده می‌شود.
همچنین مولر نوشت:
بحث‌های زیادی در مورد اینکه آیا باید به عنوان بخشی از استاندارد robots.txt پشتیبانی شود، وجود داشت. فکر پشت آن این بود که جلوگیری از خزیدن و نمایه سازی به طور همزمان خوب است. با robots.txt، می‌توانید خزیدن را مسدود کنید، یا می‌توانید فهرست‌سازی را مسدود کنید (اگر اجازه خزیدن را دارید، با متا تگ robots). ایده این بود که شما می توانید یک "noindex" در robots.txt نیز داشته باشید و هر دو را مسدود کنید.
متأسفانه، از آنجایی که بسیاری از افراد فایل‌های robots.txt را بدون نگاه کردن به جزئیات کپی و جای‌گذاری می‌کنند (تعداد کمی از افراد به اندازه شما نگاه می‌کنند!)، حذف تصادفی بخش‌های مهم یک وب‌سایت برای کسی بسیار بسیار آسان است. و بنابراین، تصمیم گرفته شد که این یک کارگردان پشتیبانی شده یا بخشی از استاندارد robots.txt نباشد... احتمالاً بیش از 10 سال پیش در این مرحله."