La ce ajuta robots si sitemap

cadou
Mesaje: 296

La ce ajuta robots si sitemap

Am auzit dar nu prea am inteles despre ce este vorba cu Robots.txt si Sitemap , la ce ajuta ele, sunt folositoare , am nevoie de ele ?

Orice informatie este binevenita !

Multumesc anticipat!

MarPlo
Pe scurt:
- Teoretic, robots.txt e pentru a spune botilor ce pagini sa nu viziteze /indexeze.
Pararea mea e ca este mai mult de forma, sunt boti care nu iau seama la instructiunile din robots.txt.

- sitemap e pentru a crea o lista cu adrese url ale paginilor din site care apoi va fi adaugat in panoul de administrare in motoarele de cautare, pentru o indexare mai rapida a acelor pagini.

cadou
Am sa fac un fisier robots, din ce am citit si eu am inteles ca pot trece doar ce sa NU indexeze, nu are rost sa insir ce sa indexeze, ca sunt o gramada :)

Disallow: /folder
Disallow: /folder/fisier ....