מאפשר לכל הרובוטים גישה לאתר

User-agent: *
Disallow:

חוסם גישה של הרובוטים לאתר

User-agent: *
Disallow:/

חוסם גישה לספריות הבאות 

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

מאפשר רק לרובוט של גוגל גישה וחוסם את כל שאר הרובוטים

User-agent: Google
Disallow:
User-agent: *
Disallow: /

ציון שם הקובץ של site map כלומר אנו יכולים ליצור הצבעה לכל שם שאנו נרצה

Sitemap: http://www.domain.co.il/sitemap_index.xml

META name=”ROBOTS” content=”NOINDEX, NOFOLLOW”

ומה אומר על כך הגורו של גוגל מט כץ?
האם ליצור את הקובץ הזה בכל מקרה (למרות שלא צריך לחסום)