In SEO Trick-ul saptamanii, va povestesc un pic despre Robots.txt si Sitemap.xml precum si despre importanta lor intr-o pagina web, fie ea site sau blog.
robots.txt
Poate parea un subiect simplu la prima vedere, insa am vazut ca este de multe ori trecut cu vederea.
[box]Ce inseamna robots.txt?Protocolul de excludere a robotilor: REP sau robots.txt este un fisier text pe care un webmaster il creaza pentru a oferi instructiuni robotilor (in special motoarelor de cautare) despre cum ar trebui sa citeasca paginile de pe site-ul lor. (definitie SEOMOZ)[/box]
Ce ar mai trebui sa stiti…
- Fisierul este case sensitive, prin urmare va fi intotdeauna salvat sub denumirea robots.txt si nu ROBOTS.TXT sau alte forme.
- Se salveaza in radacina site-ului.
- Fisierul este important pentru ca el comunica unui motor de cautare ce pagini ar trebui sa citeasca si ce pagini ar trebui sa ignore dintr-un site.
- Paginile care contin informatii confidentiale (de exemplu: paginile care contin date de logare pentru plati online) ar trebui sa fie mentionate in robots.txt ca pagini interzise robotilor pentru crawling.
- Un fisier robots.txt se realizeaza relativ simplu: deschideti un Notepad si copiati codul de mai jos, odata ce v-ati facut un sitemap.xml.
Ce este Sitemap.xml?
Este un fisier xml simplu care contine o lista de URL-uri, respectiv adresele web ale paginilor unui site.
Este folosit pentru a informa motoarele de cautare despre paginile disponibile pentru crawling dintr-un anumit site sau blog.[/box]
Cum se face un Sitemap.xml?
Pentru site-uri exista foarte multe instrumente online gratuite in care doar introduci adresa web si iti genereaza automat fisierul sitemap.xml. Unul dintre aceste instrumente este www.xml-sitemaps.com.
Pentru blogurile pe WordPress puteti folosi plugin-ul gratuit Google XML Sitemaps care va realizeaza si un fisier robots.txt virtual (doar daca nu debifati optiunea).
Care sunt beneficiile unui Sitemap?
- Ajuti robotii Google sa iti citeasca paginile mai putin optimizate care putea fi usor trecute cu vederea.
- Informezi motoarele de cautare (Google) despre paginile prioritare din site-ul tau in raport cu cele mai putin importante (Homepage versus Contact). Aceasta se realizeaza printr-un tag de prioritizare, asa cum este ilustrat mai jos.
- Comunici motoarelor de cautare frecventa cu care sa citeasca continutul anumitor pagini din site-ul tau (daca actualizezi pagina de servicii mai des, atunci vei seta o frecventa mai mica: zilnica, saptamanala, lunara). Frecventa este ilustrata mai jos prin tag-ul <changefreq>.
<url>
<loc>http://www.example.com/</loc>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
Cum ar trebui sa arate un fisier robots.txt cu Sitemap integrat, utilizat pentru site-urile care nu contin pagini de logare cu optiuni de plata?
[box]User-agent: *
Disallow:
Sitemap: http://www.anamatei.ro/sitemap.xml.gz [/box]
Dupa ce ati finalizat crearea celor 2 fisiere trebuie sa le salvati in radacina site-ului vostru.
Un mic ajutor pentru indexarea rapida a site-ului ar fi trimiterea Sitemap-ului catre Google prin Webmaster Tools.
Sper ca informatia sa fie de ajutor indeosebi incepatorilor.
Va astept pe blog si saptamana viitoare la un nou SEO Trick.
AnaMatei
Digital Marketing Consultant (SEO, CRO, UXD)
Abonează-te la Newsletter și primești articole noi pe email.
