Merenje relevantnosti i popularnosti

Moderni komercijalni pretraživači Interneta oslanjaju se na naučnu disciplinu pronalaženje informacija (IR - information retrieval), koja je nastala sredinom XX veka u pokušaju da se informacioni sistemi u bibliotekama, istraživačkim centrima i državnim laboratorijama osposobe za ubrzano pronalaženje informacija. U ranom periodu razvoja sistema za pronalaženje informacija, IR ekperti su shvatili da su samo dve komponente kritične za funkcionalnu pretragu:

• Relevantnost - procenat upita u kojima se sadržaj dokumenta pojavljuje u spisku rezultata ukoliko zaista odgovara postavljenom upitu. Relevantnost dokumenta raste ako se ključna reč ili fraza iz upita pojavljuje više puta u tekstu i ukoliko se pojavljuje u naslovu ili u međunaslovima.

• Popularnost -relativna važnost merena citatima (navođenje dela dokumenta u drugom dokumentu je akademska mera popularnosti) datog dokumenta koji se poklapaju sa upitima koje zadaju korisnici pretraživačke mašine. Popularnost Web strane raste sa porastom broja drugih strana koje imaju hiperlinkove ka njoj.

Ove dve komponente su 40 godina kasnije su prihvaćene za osnovu analize forme dokumenata i hiperlinkova na Webu.

Pri analizi dokumenata pretraživači Interneta beleže da li se ključne reči i fraze koje je zadao korisnik nalaze u važnim delovima dokumenta (naslov, META tagovi, heading tagovi H1 … H8 i između BODY tagova). Pretraživači takođe pokušavaju da automatski izmere kvalitet dokumenta pomoću složenih algoritama koje nećemo proučavati u ovoj seriji tekstova.

Pri analizi linkova pretraživači Interneta ne mere samo koji sajtovi imaju hiperlink ka određenoj Web strani, već i da li se link pominje u pozitivnom ili negativnom smislu. Pretraživači danas imaju prilično dobru moć da odrede koji su sajtovi udruženi (affiliated) među sobom (praćenjem istorije hiperlinkova, zapisa o vlasniku sajta i dr.), kojim sajtovima se više može verovati (linkovi sa .edu i .gov Web strana se više vrednuju), kao i tematiku sajta na kome se Web strana nalazi (vrsta hiperlinkova ka celom sajtu i dobar ili loš kontekst u kome se linkovani sajt pominje).

Analiza dokumanata i linkova se kombinuje i dodatno ukršta sa stotinama drugih posebnih faktora kojima se Web strana filtrira kroz algoritam pretraživača (skup pravila koji određuje važnost svakog faktora). Algoritam nakon toga određuje važnost svakog dokumenta koji je pronađen za određeni upit korisnika pretraživačke mašine i sortira Web strane po važnosti (ranking).

Sledeći tekst: Kome veruju pretraživači Interneta?