Brzinske prepreke i zidovi za spidere
Određeni tipovi navigacije mogu ometati ili čak potpuno sprečiti pretraživače Interneta da popišu sadržaj vašeg Web sajta. Pri pregledanju sadržaja na Webu spideri se u traženju novih i dopunjenih postojećih Web strana oslanjaju na strukuturu hiperlinkova. Uopšteno, kompleksna struktura hiperlinkova i duboka hijerarhija Web strana sa malo originalnog sadržaja nazivaju se brzinskim preprekama za spidere. Web strane kojima spideri ne mogu pristupiti preko hiperlinkova nazivaju se zidovi za spidere.
Moguće brzinske prepreke:
URL-ove sa dva ili više dinamička parametra (npr. www.sajt.com/ strana.php?id=4&dan=3&user=%Pera%) spideri će nerado pretraživati zato što su često deo zaštićenog sadržaja koji spiderima daje Page Not Found grešku.
Primećeno je da na Web stranama sa više od 100 jedinstvenih linkova spideri neće uvek pratiti sve linkove.
Web strane koje se u strukturi sajta nalaze ispod trećeg nivoa od naslovne strane biće ignorisane od spidera ukoliko sadržaj na prva dva nivoa nije originalan, osim ako postoji mnogo eksternih linkova ka sajtu (više od 100!).
Web strane koje za pristup zahtevaju Session ID ili cookie spideri možda neće uspeti da pregledaju. Web strane koje su izdeljene u frameove mogu otežati spiderima pregledanje i stvoriti konfuziju oko toga koji frame da rangiraju.
Mogući zidovi za spidere:
Web strane kojima se može pristupiti samo preko Select formi ili nakon pritiska na dugme Submit.
Web strane sa pristupom isključivo preko Drop down menija.
Dokumenti dostupni samo preko Search boksa.
Namerno zabranjen pristup preko META taga ili robots.txt fajla. Web strane dostupne samo nakon logovanja. Web strane koje vrše redirekciju pre prikaza sadržaja (pretraživači ovo svrstavaju u cloaking tj. prikrivanje ili bait-and-switch tj. mamci-varalice) najčešće mogu biti razlog banovanja (izbacivanja) celog sajta iz indeksa.
Ključ za omogućavanje pristupa spidera Web strani je direktan hiperlink sa neke druge (najbolje naslovne!) Web strane na sajtu. Nije daleko od istine da Web strane kojima se ne može pristupiti preko hiperlinka sa naslovne strane sajta neće biti indeksirane! Takođe, mapa sajta sasvim sigurno ima ogroman značaj za indeksiranje!
Sledeći tekst: Merenje relevantnosti i popularnosti
|
