sitemap i Robots.txt

trebalevo · 17.2.2014, 18:00

Koja je svrha izrade sitemap-a i da li je potrebno, odnosno neophodno, da on postoji?

Citao sam nesto o tome ali mi treba i savet nekog iskusnijeg u celoj prici koja se zove IZRADA SAJTA, jer sam nailazio na oprecna misljenja!

Sto se tice Robota, da li je dovoljno da se u delu <head> upise

Kod:

<meta name="robots" content="INDEX,FOLLOW" />

pa da se vrsi indeksiranje svih strana sajta od strane pretrazivaca ili je neophodno imati Robots.txt fajl u root-u sajta?

To pitam jer ne zelim da skrivam bilo kakav sadrzaj sa sajta, pa bi, s obzirom na to i ceo Robots.txt izgledao kao

Kod:

User-agent: *
Disallow:

Ili mozda (opet) negde gresim?

Neutrino · 17.2.2014, 18:19

Site mape služe da hijerarhijski opišu sadržaj sajta pretraživačima tj. uredno izlistaju sve interne linkove (linkove na sajtu), koliko se često njihov sadržaj menja, kada je posledni put sadržaj promenjen i kolika je važnost stranice na skali od 0 do 1. Nisu obavezni ali je preporučljivo pretraživačima eksplicitno poslati novu site mapu svaki put kada se doda ili ukloni određena stranica na sajtu. Postoje razni formati site mapa ali najčešće se koriste XML (sitemap.xml) i kompresovana verzija XML-a (sitemap.xml.gz).

robots.txt je pismena molba koja stoji u root folderu sajta i koja služi da zamoli pretraživače da kada krenu sa indeksiranjem sajta poštuju zahteve u njoj. Pretraživači nisu ni u kakvoj obavezi da poštuju te zahteve ali većina poznatijih crawlera ih se ipak pridržava. Postavljanje zasebnog robots.txt fajla je uvek bolje od čačkanje sa meta tagovima u zaglavju.

trebalevo · 18.2.2014, 17:33

Citat:

Neutrino kaže:

Site mape služe da hijerarhijski opišu sadržaj sajta pretraživačima tj. uredno izlistaju sve interne linkove (linkove na sajtu), koliko se često njihov sadržaj menja, kada je posledni put sadržaj promenjen i kolika je važnost stranice na skali od 0 do 1. Nisu obavezni ali je preporučljivo pretraživačima eksplicitno poslati novu site mapu svaki put kada se doda ili ukloni određena stranica na sajtu. Postoje razni formati site mapa ali najčešće se koriste XML (sitemap.xml) i kompresovana verzija XML-a (sitemap.xml.gz).

robots.txt je pismena molba koja stoji u root folderu sajta i koja služi da zamoli pretraživače da kada krenu sa indeksiranjem sajta poštuju zahteve u njoj. Pretraživači nisu ni u kakvoj obavezi da poštuju te zahteve ali većina poznatijih crawlera ih se ipak pridržava. Postavljanje zasebnog robots.txt fajla je uvek bolje od čačkanje sa meta tagovima u zaglavju.

Znaci, ne koristiti meta tagove umesto robots.txt, obavezno odraditi i sitemap.xml i robots.txt, postaviti ih tamo gde treba, i nakon svake izmene na sajtu odraditi novi sitemap.xml
.
Hvala na brzom odgovoru i svako dobro.

Neutrino · 18.2.2014, 18:22

Citat:

trebalevo kaže:

Znaci, ne koristiti meta tagove umesto robots.txt, obavezno odraditi i sitemap.xml i robots.txt, postaviti ih tamo gde treba, i nakon svake izmene na sajtu odraditi novi sitemap.xml
.
Hvala na brzom odgovoru i svako dobro.

U principu da ali obrati pažnju na jednu veoma bitnu stvar. Ako neki drugi sajt linkuje ka resursu koji si ti sakrio putem robots.txt link ka tvom resursu će i dalje dospeti u Google search indeks jer njegov link ne sprečava indeksiranje!

Konkretan primer, sakrio si administrativnu sekciju svog Wordpress bloga od Google crawlera putem robots.txt.

Kod:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Google će poštovati ovaj zahtev i kada Googlebot krene da indeksira tvoj sajt ignorisaće sve linkove koji sadrže /wp-admin/ i /wp-includes/ u sebi.

Međutim, neko drugi na svom sajtu namerno postavi link ka administrativnoj sekciji tvog bloga i ne iskoristi rel="nofollow". Administrativni link tvog bloga će se automatski pojaviti u Google indeksu ali samo kao link bez sadržaja koji crpi Page Rank tvom sajtu.

Da rezimiram. Ako ti je bitno samo šta će Google bot da indeksira na tvom sajtu i nemaš vremena da se bakćeš sa podešavanjem meta tagova robots.txt je uvek bolje rešenje. Pre ili kasnije spamerski botovi će nanjušiti tvoj sajt i krenuti javno da objavljuju linkove ka "zaštićenim" resursima ali to i onako ne možeš da sprečiš jer se takvi botovi ne obaziru ni na robots.txt ni na meta tagove.

Međutim, ako želiš 100% da budeš siguran da se tvoji linkovi neće pojaviti u indeksu boljih pretraživača onda bi trebalo da dodaš i meta tag.

Kod:

<meta name="robots" content="noindex">

Razlog zbog kojeg ja ne preporučujem meta tag početnicima je što primeri na netu često koriste formu

Kod:

<meta name="robots" content="noindex, nofollow">

koja može da bude opasna ako autor ne zna tačno šta želi da postigne sa nofollow opcijom.

Kao i uvek Matt Cutts iz Google SEO i Webspam tima ima uvek šta pametno da kaže na tu temu.

https://support.google.com/webmaster...er/93708?hl=en

Webmaster Tools

P.S. Obavezno štivo za buduće web mastere, Google WebmasterHelp na YouTube kanalu (vodi ga već pomenuti Matt Cutts) http://www.youtube.com/channel/UCWf2ZlNsCGDS89VBF_awNvA

trebalevo · 18.2.2014, 19:59

Prvo da se zahvalim na opsirnom odgovoru.

Drugo, sada si me totalno zbunio, ali procitacu ovo sto si napisao, pogledacu ovaj video koji si postavio i pokusati da shvatim.

Trece, nadam se da necu puno da smaram sa ovim, ali .....

Neutrino · 18.2.2014, 20:03

Nema šta da se zbuniš. Ako radiš na jednostavnom malom sajtu gde nije problem ako neki link procuri robots.txt je bolje rešenje. Ako hoćeš baš da zapušiš sve potencijalne rupe i ne smeta ti da potrošiš malo više vremena slobodno iskombinuj obe metode (robots.txt i meta tagove). Jedina preporuka je da za početak ne koristiš nofollow opciju u meta tagu sve dok ne skapiraš dobro šta ona tačno radi i kakve eventualne posledice možeš da snosiš.

trebalevo · 22.2.2014, 19:43

Citat:

Nema šta da se zbuniš. Ako radiš na jednostavnom malom sajtu gde nije problem ako neki link procuri robots.txt je bolje rešenje.

S obzirom da sa se ovde nasao, postavljam robots.txt, ali me opet interesuje da li i pored toga moram da koristim i neki meta tag?

Interesuje me i kakva je procedura sa fajlom sitemap, odnosno kada se on formira pre postavljanja sajta na web ili nakon toga?
Drugo pitanje je da li se i on postavlja u root folder sajta ili negde drugde?

Bolton · 22.2.2014, 21:49

Pozdrav! Što se tiče sitemap-a možeš da koristiš neki od generatora, kao što je http://www.xml-sitemaps.com/. Samo ubaci naziv domena i ako želiš možeš iz padajućeg menija Change frequency izabrati jednu od ponuđenih opcija koje se odnose na to koliko često radiš izmene strane na navedenoj adresi, kao i prioritet određene strane izražen u vrednostima od nula do jedan. Na kraju pritisni taster Start i nakon nekoliko sekundi generisaće se "sitemap.xml" fajl koji možeš da preuzmeš. Stavi ga u root sajta (u većini slučajeva je to public_html folder). Takođe bi bilo dobro i da pošalješ googlu taj kreirani sitemap fajl kako bi znao da je došlo do izmene na tvom sajtu i kako bi novi sadržaj mogao da se indeksira. To možeš uraditi na sledećoj adresi: www.google.com/webmasters/tools/‎.

17.2.2014, 18:00	#1
trebalevo Novi član Član od: 12.10.2009. Poruke: 19 Zahvalnice: 4 Zahvaljeno 0 puta na 0 poruka	sitemap i Robots.txt Koja je svrha izrade sitemap-a i da li je potrebno, odnosno neophodno, da on postoji? Citao sam nesto o tome ali mi treba i savet nekog iskusnijeg u celoj prici koja se zove IZRADA SAJTA, jer sam nailazio na oprecna misljenja! Sto se tice Robota, da li je dovoljno da se u delu <head> upise Kod: <meta name="robots" content="INDEX,FOLLOW" /> pa da se vrsi indeksiranje svih strana sajta od strane pretrazivaca ili je neophodno imati Robots.txt fajl u root-u sajta? To pitam jer ne zelim da skrivam bilo kakav sadrzaj sa sajta, pa bi, s obzirom na to i ceo Robots.txt izgledao kao Kod: User-agent: * Disallow: Ili mozda (opet) negde gresim?

17.2.2014, 18:19	#2
Neutrino Deo inventara foruma Član od: 17.6.2011. Poruke: 7.284 Zahvalnice: 94 Zahvaljeno 3.302 puta na 1.991 poruka	Re: sitemap i Robots.txt Site mape služe da hijerarhijski opišu sadržaj sajta pretraživačima tj. uredno izlistaju sve interne linkove (linkove na sajtu), koliko se često njihov sadržaj menja, kada je posledni put sadržaj promenjen i kolika je važnost stranice na skali od 0 do 1. Nisu obavezni ali je preporučljivo pretraživačima eksplicitno poslati novu site mapu svaki put kada se doda ili ukloni određena stranica na sajtu. Postoje razni formati site mapa ali najčešće se koriste XML (sitemap.xml) i kompresovana verzija XML-a (sitemap.xml.gz). robots.txt je pismena molba koja stoji u root folderu sajta i koja služi da zamoli pretraživače da kada krenu sa indeksiranjem sajta poštuju zahteve u njoj. Pretraživači nisu ni u kakvoj obavezi da poštuju te zahteve ali većina poznatijih crawlera ih se ipak pridržava. Postavljanje zasebnog robots.txt fajla je uvek bolje od čačkanje sa meta tagovima u zaglavju.

18.2.2014, 19:59	#5
trebalevo Novi član Član od: 12.10.2009. Poruke: 19 Zahvalnice: 4 Zahvaljeno 0 puta na 0 poruka	Re: sitemap i Robots.txt Prvo da se zahvalim na opsirnom odgovoru. Drugo, sada si me totalno zbunio, ali procitacu ovo sto si napisao, pogledacu ovaj video koji si postavio i pokusati da shvatim. Trece, nadam se da necu puno da smaram sa ovim, ali .....

18.2.2014, 20:03	#6
Neutrino Deo inventara foruma Član od: 17.6.2011. Poruke: 7.284 Zahvalnice: 94 Zahvaljeno 3.302 puta na 1.991 poruka	Re: sitemap i Robots.txt Nema šta da se zbuniš. Ako radiš na jednostavnom malom sajtu gde nije problem ako neki link procuri robots.txt je bolje rešenje. Ako hoćeš baš da zapušiš sve potencijalne rupe i ne smeta ti da potrošiš malo više vremena slobodno iskombinuj obe metode (robots.txt i meta tagove). Jedina preporuka je da za početak ne koristiš nofollow opciju u meta tagu sve dok ne skapiraš dobro šta ona tačno radi i kakve eventualne posledice možeš da snosiš.

22.2.2014, 21:49	#8
Bolton Član Član od: 16.6.2006. Lokacija: Surčin Poruke: 434 Zahvalnice: 19 Zahvaljeno 117 puta na 89 poruka	Re: sitemap i Robots.txt Pozdrav! Što se tiče sitemap-a možeš da koristiš neki od generatora, kao što je http://www.xml-sitemaps.com/. Samo ubaci naziv domena i ako želiš možeš iz padajućeg menija Change frequency izabrati jednu od ponuđenih opcija koje se odnose na to koliko često radiš izmene strane na navedenoj adresi, kao i prioritet određene strane izražen u vrednostima od nula do jedan. Na kraju pritisni taster Start i nakon nekoliko sekundi generisaće se "sitemap.xml" fajl koji možeš da preuzmeš. Stavi ga u root sajta (u većini slučajeva je to public_html folder). Takođe bi bilo dobro i da pošalješ googlu taj kreirani sitemap fajl kako bi znao da je došlo do izmene na tvom sajtu i kako bi novi sadržaj mogao da se indeksira. To možeš uraditi na sledećoj adresi: www.google.com/webmasters/tools/‎.

*Sledeći korisnik se zahvaljuje korisniku Neutrino* na korisnoj poruci:**
water wizard (17.2.2014)

Sledećih 2 korisnika se zahvaljuje korisniku Neutrino na korisnoj poruci:
Dekip (18.2.2014), ljubo-exyu (14.8.2016)

Alatke vezane za temu
Prikaži verziju za štampanje Pošaljite ovu temu na nečiji email
Vrste prikaza
Linearni prikaz Pređi na hibridni mod Pređi na na pregled „nanizano po odgovorima”

Slične teme
tema	temu započeo	forum	Odgovora	Poslednja poruka
sitemap generator?	Djordje-B	Web razvoj	1	27.4.2013 2:33
Podesavanje Robots.txt fajla - Pristup AdSense botova	Miki2	Web razvoj	0	26.8.2012 21:12
Kako da izradim sitemap	zoxkika2	Web dizajn	2	4.3.2011 16:10
Robots.txt za Wordpress	Pavle Rohalj	Web razvoj	0	15.4.2010 16:27
SEO - Neka pitanja (sitemap.* fajl, robots.txt)	Jenkiduduldu	Web razvoj	5	24.7.2008 15:12