Forum Sveta kompjutera

Nazad   Forum Sveta kompjutera > Internet > Web razvoj > Web dizajn

Web dizajn Saveti u vezi dizajna sajtova

Odgovor
 
Alatke vezane za temu Vrste prikaza
Stara 17.2.2014, 18:00   #1
trebalevo
Novi član
 
Član od: 12.10.2009.
Poruke: 19
Zahvalnice: 4
Zahvaljeno 0 puta na 0 poruka
Question sitemap i Robots.txt

Koja je svrha izrade sitemap-a i da li je potrebno, odnosno neophodno, da on postoji?

Citao sam nesto o tome ali mi treba i savet nekog iskusnijeg u celoj prici koja se zove IZRADA SAJTA, jer sam nailazio na oprecna misljenja!

Sto se tice Robota, da li je dovoljno da se u delu <head> upise

Kod:
<meta name="robots" content="INDEX,FOLLOW" />
pa da se vrsi indeksiranje svih strana sajta od strane pretrazivaca ili je neophodno imati Robots.txt fajl u root-u sajta?

To pitam jer ne zelim da skrivam bilo kakav sadrzaj sa sajta, pa bi, s obzirom na to i ceo Robots.txt izgledao kao

Kod:
User-agent: *
Disallow:
Ili mozda (opet) negde gresim?
trebalevo je offline   Odgovor sa citatom ove poruke
Stara 17.2.2014, 18:19   #2
Neutrino
Deo inventara foruma
 
Član od: 17.6.2011.
Poruke: 7.336
Zahvalnice: 94
Zahvaljeno 3.334 puta na 2.010 poruka
Određen forumom Re: sitemap i Robots.txt

Site mape služe da hijerarhijski opišu sadržaj sajta pretraživačima tj. uredno izlistaju sve interne linkove (linkove na sajtu), koliko se često njihov sadržaj menja, kada je posledni put sadržaj promenjen i kolika je važnost stranice na skali od 0 do 1. Nisu obavezni ali je preporučljivo pretraživačima eksplicitno poslati novu site mapu svaki put kada se doda ili ukloni određena stranica na sajtu. Postoje razni formati site mapa ali najčešće se koriste XML (sitemap.xml) i kompresovana verzija XML-a (sitemap.xml.gz).

robots.txt je pismena molba koja stoji u root folderu sajta i koja služi da zamoli pretraživače da kada krenu sa indeksiranjem sajta poštuju zahteve u njoj. Pretraživači nisu ni u kakvoj obavezi da poštuju te zahteve ali većina poznatijih crawlera ih se ipak pridržava. Postavljanje zasebnog robots.txt fajla je uvek bolje od čačkanje sa meta tagovima u zaglavju.
Neutrino je offline   Odgovor sa citatom ove poruke
Sledeći korisnik se zahvaljuje korisniku Neutrino na korisnoj poruci:
water wizard (17.2.2014)
Stara 18.2.2014, 17:33   #3
trebalevo
Novi član
 
Član od: 12.10.2009.
Poruke: 19
Zahvalnice: 4
Zahvaljeno 0 puta na 0 poruka
Određen forumom Re: sitemap i Robots.txt

Citat:
Neutrino kaže: Pregled poruke
Site mape služe da hijerarhijski opišu sadržaj sajta pretraživačima tj. uredno izlistaju sve interne linkove (linkove na sajtu), koliko se često njihov sadržaj menja, kada je posledni put sadržaj promenjen i kolika je važnost stranice na skali od 0 do 1. Nisu obavezni ali je preporučljivo pretraživačima eksplicitno poslati novu site mapu svaki put kada se doda ili ukloni određena stranica na sajtu. Postoje razni formati site mapa ali najčešće se koriste XML (sitemap.xml) i kompresovana verzija XML-a (sitemap.xml.gz).

robots.txt je pismena molba koja stoji u root folderu sajta i koja služi da zamoli pretraživače da kada krenu sa indeksiranjem sajta poštuju zahteve u njoj. Pretraživači nisu ni u kakvoj obavezi da poštuju te zahteve ali većina poznatijih crawlera ih se ipak pridržava. Postavljanje zasebnog robots.txt fajla je uvek bolje od čačkanje sa meta tagovima u zaglavju.
Znaci, ne koristiti meta tagove umesto robots.txt, obavezno odraditi i sitemap.xml i robots.txt, postaviti ih tamo gde treba, i nakon svake izmene na sajtu odraditi novi sitemap.xml
.
Hvala na brzom odgovoru i svako dobro.
trebalevo je offline   Odgovor sa citatom ove poruke
Stara 18.2.2014, 18:22   #4
Neutrino
Deo inventara foruma
 
Član od: 17.6.2011.
Poruke: 7.336
Zahvalnice: 94
Zahvaljeno 3.334 puta na 2.010 poruka
Određen forumom Re: sitemap i Robots.txt

Citat:
trebalevo kaže: Pregled poruke
Znaci, ne koristiti meta tagove umesto robots.txt, obavezno odraditi i sitemap.xml i robots.txt, postaviti ih tamo gde treba, i nakon svake izmene na sajtu odraditi novi sitemap.xml
.
Hvala na brzom odgovoru i svako dobro.
U principu da ali obrati pažnju na jednu veoma bitnu stvar. Ako neki drugi sajt linkuje ka resursu koji si ti sakrio putem robots.txt link ka tvom resursu će i dalje dospeti u Google search indeks jer njegov link ne sprečava indeksiranje!

Konkretan primer, sakrio si administrativnu sekciju svog Wordpress bloga od Google crawlera putem robots.txt.
Kod:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Google će poštovati ovaj zahtev i kada Googlebot krene da indeksira tvoj sajt ignorisaće sve linkove koji sadrže /wp-admin/ i /wp-includes/ u sebi.

Međutim, neko drugi na svom sajtu namerno postavi link ka administrativnoj sekciji tvog bloga i ne iskoristi rel="nofollow". Administrativni link tvog bloga će se automatski pojaviti u Google indeksu ali samo kao link bez sadržaja koji crpi Page Rank tvom sajtu.

Da rezimiram. Ako ti je bitno samo šta će Google bot da indeksira na tvom sajtu i nemaš vremena da se bakćeš sa podešavanjem meta tagova robots.txt je uvek bolje rešenje. Pre ili kasnije spamerski botovi će nanjušiti tvoj sajt i krenuti javno da objavljuju linkove ka "zaštićenim" resursima ali to i onako ne možeš da sprečiš jer se takvi botovi ne obaziru ni na robots.txt ni na meta tagove.

Međutim, ako želiš 100% da budeš siguran da se tvoji linkovi neće pojaviti u indeksu boljih pretraživača onda bi trebalo da dodaš i meta tag.
Kod:
<meta name="robots" content="noindex">
Razlog zbog kojeg ja ne preporučujem meta tag početnicima je što primeri na netu često koriste formu
Kod:
<meta name="robots" content="noindex, nofollow">
koja može da bude opasna ako autor ne zna tačno šta želi da postigne sa nofollow opcijom.

Kao i uvek Matt Cutts iz Google SEO i Webspam tima ima uvek šta pametno da kaže na tu temu.

https://support.google.com/webmaster...er/93708?hl=en

Webmaster Tools

P.S. Obavezno štivo za buduće web mastere, Google WebmasterHelp na YouTube kanalu (vodi ga već pomenuti Matt Cutts) http://www.youtube.com/channel/UCWf2ZlNsCGDS89VBF_awNvA

Poslednja ispravka: Neutrino (18.2.2014 u 18:32)
Neutrino je offline   Odgovor sa citatom ove poruke
Sledećih 2 korisnika se zahvaljuje korisniku Neutrino na korisnoj poruci:
Dekip (18.2.2014), ljubo-exyu (14.8.2016)
Stara 18.2.2014, 19:59   #5
trebalevo
Novi član
 
Član od: 12.10.2009.
Poruke: 19
Zahvalnice: 4
Zahvaljeno 0 puta na 0 poruka
Određen forumom Re: sitemap i Robots.txt

Prvo da se zahvalim na opsirnom odgovoru.

Drugo, sada si me totalno zbunio, ali procitacu ovo sto si napisao, pogledacu ovaj video koji si postavio i pokusati da shvatim.

Trece, nadam se da necu puno da smaram sa ovim, ali .....
trebalevo je offline   Odgovor sa citatom ove poruke
Stara 18.2.2014, 20:03   #6
Neutrino
Deo inventara foruma
 
Član od: 17.6.2011.
Poruke: 7.336
Zahvalnice: 94
Zahvaljeno 3.334 puta na 2.010 poruka
Određen forumom Re: sitemap i Robots.txt

Nema šta da se zbuniš. Ako radiš na jednostavnom malom sajtu gde nije problem ako neki link procuri robots.txt je bolje rešenje. Ako hoćeš baš da zapušiš sve potencijalne rupe i ne smeta ti da potrošiš malo više vremena slobodno iskombinuj obe metode (robots.txt i meta tagove). Jedina preporuka je da za početak ne koristiš nofollow opciju u meta tagu sve dok ne skapiraš dobro šta ona tačno radi i kakve eventualne posledice možeš da snosiš.
Neutrino je offline   Odgovor sa citatom ove poruke
Stara 22.2.2014, 19:43   #7
trebalevo
Novi član
 
Član od: 12.10.2009.
Poruke: 19
Zahvalnice: 4
Zahvaljeno 0 puta na 0 poruka
Određen forumom Re: sitemap i Robots.txt

Citat:
Nema šta da se zbuniš. Ako radiš na jednostavnom malom sajtu gde nije problem ako neki link procuri robots.txt je bolje rešenje.
S obzirom da sa se ovde nasao, postavljam robots.txt, ali me opet interesuje da li i pored toga moram da koristim i neki meta tag?

Interesuje me i kakva je procedura sa fajlom sitemap, odnosno kada se on formira pre postavljanja sajta na web ili nakon toga?
Drugo pitanje je da li se i on postavlja u root folder sajta ili negde drugde?

Poslednja ispravka: trebalevo (22.2.2014 u 19:44) Razlog: ispravka teksta
trebalevo je offline   Odgovor sa citatom ove poruke
Stara 22.2.2014, 21:49   #8
Bolton
Član
 
Član od: 16.6.2006.
Lokacija: Surčin
Poruke: 434
Zahvalnice: 19
Zahvaljeno 117 puta na 89 poruka
Slanje poruke preko Skypea korisniku Bolton
Post Re: sitemap i Robots.txt

Pozdrav! Što se tiče sitemap-a možeš da koristiš neki od generatora, kao što je http://www.xml-sitemaps.com/. Samo ubaci naziv domena i ako želiš možeš iz padajućeg menija Change frequency izabrati jednu od ponuđenih opcija koje se odnose na to koliko često radiš izmene strane na navedenoj adresi, kao i prioritet određene strane izražen u vrednostima od nula do jedan. Na kraju pritisni taster Start i nakon nekoliko sekundi generisaće se "sitemap.xml" fajl koji možeš da preuzmeš. Stavi ga u root sajta (u većini slučajeva je to public_html folder). Takođe bi bilo dobro i da pošalješ googlu taj kreirani sitemap fajl kako bi znao da je došlo do izmene na tvom sajtu i kako bi novi sadržaj mogao da se indeksira. To možeš uraditi na sledećoj adresi: www.google.com/webmasters/tools/‎.
Bolton je offline   Odgovor sa citatom ove poruke
Odgovor

Bookmarks sajtovi

Alatke vezane za temu
Vrste prikaza

Vaš status
Ne možete postavljati teme
Ne možete odgovarati na poruke
Ne možete slati priloge uz poruke
Ne možete prepravljati svoje poruke

BB kod: uključeno
Smajliji: uključeno
[IMG] kod: uključeno
HTML kod: isključeno


Slične teme
tema temu započeo forum Odgovora Poslednja poruka
sitemap generator? Djordje-B Web razvoj 1 27.4.2013 2:33
Podesavanje Robots.txt fajla - Pristup AdSense botova Miki2 Web razvoj 0 26.8.2012 21:12
Kako da izradim sitemap zoxkika2 Web dizajn 2 4.3.2011 16:10
Robots.txt za Wordpress Pavle Rohalj Web razvoj 0 15.4.2010 16:27
SEO - Neka pitanja (sitemap.* fajl, robots.txt) Jenkiduduldu Web razvoj 5 24.7.2008 15:12


Sva vremena su po Griniču +2 h. Sada je 0:31.


Powered by vBulletin® verzija 3.8.7
Copyright ©2000–2024, vBulletin Solutions, Inc.
Hosted by Beograd.com