Web tehnike

Konačno jedan standard koji će olakšati život Web masterima

Svi Web masteri koji ozbiljnije shvataju svoj posao znaju za značaj fajla robots.txt, kao i mape Web sajta. Fajl Robots govori pretraživačkim mašinama šta ne smeju da prikažu u rezultatima upita kada je u pitanju jedan određeni Web sajt, dok mapa sajta ima suprotnu funkciju – da pomogne „spajderima” ukazujući na to šta je poželjno indeksirati.

Kada se kaže mapa Web sajta, to za većinu Web mastera još uvek znači samo kreiranje dodatne stranice koja je vidljiva svim posetiocima, a može predstavljati pomoć u navigaciji kroz sadržaj lokacije. Mada i ovakva klasična mapa sajta u vidu HTML fajla može doprineti tome da neka Internet lokacija bude preciznije indeksirana, odavno je jasna potreba za uspostavljanjem naprednijeg standarda i tehnologije koja će na bolji način pomoći pretraživačkim mašinama u poslu indeksiranja sadržaja.

Neočekivana saradnja

Ova ideja je neočekivano dovela do saradnje između kompanija Google, Microsoft i Yahoo, koje praktično dominiraju na sceni Internet pretraživača. Inicijativa bi trebalo da donese jednostavnu i standardizovanu proceduru koja će precizno ukazivati sistemima za indeksiranje na to šta spajderi treba da posete. Rezultat saradnje ovih kompanija jeste zajednička podrška za Sitemap Protocol baziran na XML-u (Extensible Markup Language).

Prvu verziju ovog protokola kreirala je kompanija Google pre više od godinu dana, a usvojiće je Yahoo i Microsoft, nastavljajući njegov razvoj uz planirano proširenje mogućnosti. Zanimljivo je što Microsoft planira da se odrekne svoje postojeće tehnologije u ovoj oblasti i pređe na korišćenje rešenja iz Googlea. Što se tiče Yahooa, ova kompanija će nastaviti da podržava paralelno svoj postojeći protokol, u isto vreme dodajući novu tehnologiju.

Značaj primene mape Web sajta u slučaju svakog Web mastera u većoj meri dolazi do izražaja kod lokacija čije se stranice dinamički generišu, što je danas već široko raširen pristup organizovanju i predstavljanju sadržaja na Internetu. Naime, spajderi vrlo lako otkrivaju statičke Web strane, dok je sa dinamičkim situacija malo teža. U praksi, kompanija Google je ovaj problem u dobroj meri prevazišla zahvaljujući naprednoj tehnologiji na kojoj se baziraju njeni spajderi, tako da će najviše koristi od novog protokola Sitemap imati pretraživačke mašine Yahooa i Microsofta.

Sve tri kompanije očekuju da kreatori CMS (Content Management Systems) softvera usvoje ovaj protokol tako da njegova implementacija bude još lakša za Web mastere koji koriste ovakve sisteme. Usvajanju protokola treba da doprinese i licenca pod kojom je objavljen, a koja obezbeđuje njegov dalji razvoj i primenu na slobodnim i otvorenim principima – Creative Commons, Attribution-ShareAlike.

Lakše uz Python

Sitemap protokol je napisan sa znatnom skalabilnošću na umu tako da može biti iskorišćen i u slučajevima vrlo velikih Web sajtova. Maksimalan broj linkova u jednom Sitemap XML fajlu jeste 50.000, dok se u slučajevima kada se taj broj nadmašuje formiraju dodatni Sitemap fajlovi. Takođe, XML fajl ne može biti veći od 10 MB.

Ono što donosi napredak u ovu oblast jeste mogućnost uključenja dodatnih informacija uz svaki URL sadržan u Sitemap fajlu: kada je poslednji put ažurirana Web stranica, koliko često se menja njen sadržaj i koliki je njen nivo važnosti. Iza ideje priključenja ovih dodatnih informacija stoji nastojanje da se pretraživačkim mašinama omogući da na inteligentniji način indeksiraju datu lokaciju.

S obzirom na to da webmasteri samostalno kreiraju Sitemap fajl, moguće je da će mnogi pokušati da manipulišu ovim dodatnim podacima. Iz tog razloga su spajderi dobili nove instrukcije prema kojima mogu, ali i ne moraju da prihvataju podatke iz Sitemap fajla. Dodatne instrukcije treba shvatiti pre svega kao sugestiju koju webmaster daje spajderu koji vrši indeksiranje. U sve tri kompanije naglašavaju da postojanje Sitemap fajla, kao i podaci koji se nalaze u njemu, neće uticati direktno na rang u rezultatima pretrage koji ima određena lokacija, mada će neposredno doprineti boljem statusu kroz preciznije indeksiran sadržaj.

XML kod <?xml version=”1.0” encoding=”UTF-8”?> <urlset xmlns=”http://www.google.com/schemas/sitemap/0.84”>   <url>      <loc>http://www.primer.com/jedna_webstrana.php      </loc>      <lastmod>2006-12-01</lastmod>      <changefreq>monthly</changefreq>      <priority>0.8</priority>   </url> </urlset>

Sitemap fajl zasnovan na ovom protokolu sasvim je jednostavan i sastavljen je od XML tagova. Lako ga je ručno napraviti, mada takav način može biti spor kada su u pitanju velike lokacije. Dodatni tagovi ne moraju biti upotrebljeni, ali je zato neophodno prisustvo taga koji definiše URL. U datom primeru možete videti kako izgleda kompletan Sitemap fajl od samo jednog linka. On se jednostavnim kopiranjem tagova i izmenom URL adresa može ručno proširiti, kao što smo rekli, do 50.000 linkova.

Pošto ručno formiranje Sitemap fajla može biti tegobno, Google je ponudio Pyton skript koja ovo radi za vas. Detaljna uputstva i ovaj skript mogu se naći na adresi www.google.com/webmasters/tools/docs/en/protocol.html. Upotrebljava se jednostavno. Najvažniji uslov je postojanje instaliranog Phytona 2.2 ili novijeg na serveru, a potrebna su i ovlašćenja nad fajlovima prezentacije koja svaki Web master već verovatno ima.

Skript se raspakuje u direktorijum na lokalnom računaru, formira se konfiguracioni fajl na bazi primera koji dolazi sa skriptom, a zatim se sadržaj ovog direktorijuma prebacuje na server i pokreće se skript sitemap_gen.py. Formirani Sitemap fajl postavlja se u root direktorijum Web prezentacije, a njegova lokacija prijavljuje, u slučaju Google pretraživača, pod alatkama Webmaster Tools.

Mirko PERAK