يُعد مُنشئ robots.txt أحد الأدوات التي تعد بمثابة اختراق شرعي لتحسين مُحسّنات محرّكات البحث الخاصة بك. يُعد معيار استبعاد الروبوتات ، المعروف أيضًا باسم بروتوكول استبعاد الروبوتات أو ملف robots.txt ، معيارًا تستخدمه مواقع الويب للتواصل مع برامج زحف الويب وغيرها من مواقع الويب الروبوتات. يحدد المعيار كيفية إبلاغ روبوت الويب بمناطق موقع الويب التي لا ينبغي معالجتها أو مسحها ضوئيًا. غالبًا ما تستخدم محركات البحث الروبوتات لتصنيف مواقع الويب. لا تتعاون جميع الروبوتات مع المعيار ؛ قد تبدأ برامج جمع البريد الإلكتروني و spambots والبرامج الضارة والروبوتات التي تبحث عن نقاط الضعف الأمنية بأجزاء من موقع الويب حيث طُلب منهم البقاء خارج الموقع. يمكن استخدام المعيار جنبًا إلى جنب مع ملفات Sitemap ، وهو معيار لتضمين برامج الروبوت لمواقع الويب.