La ce ajuta robots si sitemap

Search Engine Optimization, discutii, tehnici legate de optimizare si indexare site web in motoarele de cautare, Google, Yahoo, Bing.
cadou
Mesaje:328

La ce ajuta robots si sitemap

Am auzit dar nu prea am inteles despre ce este vorba cu Robots.txt si Sitemap , la ce ajuta ele, sunt folositoare , am nevoie de ele ?

Orice informatie este binevenita !

Multumesc anticipat!

MarPlo Mesaje:4343
Pe scurt:
- Teoretic, robots.txt e pentru a spune botilor ce pagini sa nu viziteze /indexeze.
Pararea mea e ca este mai mult de forma, sunt boti care nu iau seama la instructiunile din robots.txt.

- sitemap e pentru a crea o lista cu adrese url ale paginilor din site care apoi va fi adaugat in panoul de administrare in motoarele de cautare, pentru o indexare mai rapida a acelor pagini.

cadou Mesaje:328
Am sa fac un fisier robots, din ce am citit si eu am inteles ca pot trece doar ce sa NU indexeze, nu are rost sa insir ce sa indexeze, ca sunt o gramada :)

Disallow: /folder
Disallow: /folder/fisier ....