Ataxo / Znalosti / Vyhledávače a katalogy / Vyhledávače

Vyhledávače

Roboti a crawleři aneb jak fungují fulltextové vyhledávače

Vyhledávače představují sofistikovaný způsob, jak v obrovském množství webových stránek na  internetu najít to, co potřebujeme. Protože se informace, které nás zajímají, nacházejí především v textu webových stránek, procházejí vyhledávače celý jejich text, nikoli pouze URL či titulky. Vyhledávačům se proto přesněji říká fulltextové vyhledávače.

Zadáte-li vyhledávači dotaz, fulltextový vyhledávač ve skutečnosti nehledá daný výraz na  internetu, ale pouze v databázi stránek na svém serveru. Program fulltextového vyhledávače (kterému se také říká indexovací robot) totiž funguje následovně: prochází internet a pomocí odkazů se dostává na další a další stránky a jejich náhledy si ukládá do svojí databáze. Robot se po webu pohybuje jako po velké pavučině, leze po jejích vláknech, odkazech, které spojují jednotlivé webové stránky mezi sebou. Proto se pro označení robota fulltextových vyhledávačů používá také výraz spider (spider – pavouk) nebo crawler (crawl – lézt).

Indexace probíhá tak, že robot vyhledávače prochází zdrojový html kód stránky. Když v něm najde odkaz na další stránku, přeskočí na ni a v indexaci pokračuje tam.

Do fulltextových vyhledávačů je možné stránky registrovat i manuálně, většinou jsou ale preferovány (lépe se umísťují ve výsledcích vyhledávání) ty stránky, které vyhledávač našel sám, přirozenou cestou, tzn. pomocí odkazu z jiného webu.

Robot při indexaci zdrojový kód stránky zpracovává a ukládá do databáze na serveru vyhledávače. To je databáze, ve které pak jako uživatelé hledáme. Hledání tedy neprobíhá v reálném čase na internetu, ale na serveru vyhledávače, který nám pak jako odpověď na náš dotaz odešle do prohlížeče výsledek tohoto hledání. Jen tak je možné, abychom výsledek hledání dostali téměř okamžitě po zadání dotazu.

Vyhledávací robot si pamatuje, na kterých stránkách už byl, a jeho program určuje, kdy se na stránku opět vrátí, aby zaindexoval případné změny. Chování robotů je plně automatické a nelze je téměř nijak ovlivnit, např. robotovi přikázat, jak často má naši stránku navštěvovat. Robotům je možné pouze zakázat indexování stránek, u kterých nechceme, aby se objevovaly ve výsledcích vyhledávání.

Chcete, aby si fulltextový vyhledávač vašich stránek všiml?

Získejte zpětné odkazy z jiných webů! Množství odkazů z jiných stránek má vliv nejen na to, jak rychle robot vaše stránky najde. Počet a kvalita odkazů, které vedou na vaše stránky, především ovlivňuje jejich hodnocení a tedy i umístění ve výsledcích vyhledávání a SEO.

Jak fulltextové vyhledávače řadí výsledky

Nikdo, kromě samotných programátorů, nezná přesný princip (algoritmus) podle kterého jsou výsledky vyhledávání ve fulltextech řazeny. Každá fulltextová technologie navíc používá k řazení výsledků algoritmus zcela odlišný.

Je ale známo, že vyhledávače posuzují relevanci stránky k dotazu, který uživatel zadal, podle těchto dvou základních kritérií:

• on-page faktory – hustota výskytu hledaného klíčového slova nebo slovního spojení (fráze) v textu stránky a uvnitř důležitých HTML tagů.
• off-page faktory – především počet odkazů mířící na stránku z jiných stránek.

Pro úspěch stránek je klíčové dosáhnout co nejlepšího hodnocení podle těchto kritérií. Stránky je možné upravovat tak, aby se zlepšilo jejich hodnocení a zobrazovaly se tak na předních místech výsledků vyhledávání klíčových slov. To je podstata optimalizace pro vyhledávače neboli SEO (Search Engine Optimization).

České a světové fulltexty

Mezi nejvýznamnější a největší zahraniční fulltextové vyhledávací technologie patří Google.com,Yahoo! a MSN.com, mezi české pak Seznam.cz nebo Jyxo.cz.

Většina českých portálů dnes využívá vyhledávání kombinovanou formou, tedy jak v katalogu, tak i nějakou fulltextovou technologií (často převzatou, např. centrum.cz a atlas.cz například používají výsledky vyhledávání Googlem).

Relevantní zdroje informací

Článek vyhledávače - jak přibližně fungují na weblogu Jak psát web