Файл Sitemap содержит адреса всех страниц вашего сайта и существенно ускоряет индексацию. Как известно поисковые системы находят сайты по внешним ссылкам, то есть робот заходит на один сайт, сканирует его, а потом переходит дальше по ссылкам. Если ваш сайт новый, то никакой речи о внешних ссылках быть не может. То есть его очень сложно будет найти - для Гугла и товарищей он будет просто невидим. С помощью Sitemap эта проблема решается, этот файл показывает поисковиках, где нужно искать.
Карта сайта полезна так же в следующих случаях: - На сайте большое количество динамического, постоянно обновляемого контента. - На сайте большое количество слабо друг с другом связанных или не связанных страниц. - На сайте применяются технологии Flash или AJAX, из которых поисковик не может самостоятельно извлечь информацию.
Кроме самой ссылки на сайт, заключённой в тегах <loc>...</loc>, здесь дополнительно передаётся дата последнего обновления в тегах <lastmod>...</lastmod>, частота обновления в тегах <changefreq>...</changefreq> и приоритет страницы по отношению к другим страницам сайта в тегах <priority>...</priority>.
Подробнее о Sitemap читайте на и на сайтах поисковых систем.
P.S.: В системе юкоз нет необходимости составления файла sitemap.xml самому. После активации модуля "Поиск по сайту" вы сможете автоматически создать карту сайта и обновить её после добавления нового материала.
Может сгодиться парсер карты сайта в совокупность хтмл файлов http://lifeisfine.ru/2010/04/parser-sitemap-v-kartu-sajta/ В случае индексации большого сайта может быть полезным софтом