La ce ajuta robots si sitemap

[cadou]

Am auzit dar nu prea am inteles despre ce este vorba cu Robots.txt si Sitemap , la ce ajuta ele, sunt folositoare , am nevoie de ele ?

Orice informatie este binevenita !

Multumesc anticipat!

Pe scurt:
- Teoretic, robots.txt e pentru a spune botilor ce pagini sa nu viziteze /indexeze.
Pararea mea e ca este mai mult de forma, sunt boti care nu iau seama la instructiunile din robots.txt.

- sitemap e pentru a crea o lista cu adrese url ale paginilor din site care apoi va fi adaugat in panoul de administrare in motoarele de cautare, pentru o indexare mai rapida a acelor pagini.

Am sa fac un fisier robots, din ce am citit si eu am inteles ca pot trece doar ce sa NU indexeze, nu are rost sa insir ce sa indexeze, ca sunt o gramada

Disallow: /folder
Disallow: /folder/fisier ....