Min ser ut som följande:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://www.sebastiannilsson.com/sitemap.xml

Disallow innebär helt enkelt att jag inte tillåter att crawlern går in i dessa mappar.

Sitemap ger en hint till var crawlern hittar min sitemap i xml-format.

Intressant artikel som behandlar detta område något: http://dinomvarld.se/Internet/Googles-svar-till-nyhetssajterna-Ni-slipper-vara-med