Nejnovější
Matěj Balcar
SEO specialista
Představte si, že hledáte konkrétní knihu v obrovské knihovně, ale nemáte k dispozici katalog, který by vám pomohl kýženou knihu najít. Frustrující, že ano? V digitálním světě musí přesně tento problém řešit internetové vyhledávače jako Google, Bing a další. Vyhledávače nám dennodenně pomáhají rychle a snadno najít informace, které zrovna potřebujeme. Jak dokáží najít a uložit to obrovské množství dat, které se nachází na internetu? Pojďme se ponořit do fascinujícího procesu indexace stránek.
I. Vyhledávání: Detektivní práce
Vyhledávače neúnavně zkoumají stále se rozšiřující internet a hledají nový obsah, který by mohly přidat do svých indexů. Při této detektivní práci využívají crawlery - internetové robotí detektivy. Tito inteligentní průzkumníci automaticky sledují hypertextové odkazy z jedné stránky na druhou a po cestě si pořizují záznamy navštívených webových stránek. Stejně jako při skutečné detektivní práci je i zde důležité mít k dispozici správné nástroje.
⭐ Tip: přečtěte si náš blogový článek, ve kterém se dozvíte co jsou internetové vyhledávače a jak vydělávají peníze.
Sitemap.xml: Mapa pro roboty
Dobře uspořádaný a aktualizovaný soubor sitemap.xml slouží pro vyhledávače jako plán, který zaznamenává strukturu jednotlivých podstránek na vašem webu. Vyhledávačům pomáhá snadno a rychle najít obsah, který následně přidají do svých indexů.
⭐ Tip: Soubor sitemap.xml je důležitý především u velmi obsáhlých webů. U menších a středních webů, které obsahují 500 stránek nebo méně, nemá velký vliv.
II. Crawling: Safari internetem
Crawling je proces, při kterém roboti (crawleři) vyhledávačů procházejí odkazy ze stránky na stránku. Při procházení si tito roboti zaznamenávají každou stránku a hypertextový odkaz, na který narazí, aby mohli pokračovat v následném průzkumu a usnadnili si proces indexace jednotlivých stránek.
Věda o procházení
Stejně jako lze některá zvířata v přírodě spatřit jednodušeji než jiná, i crawleři navštěvují některé webové stránky častěji a důkladněji než jiné. Mezi faktory, které ovlivňují četnost a hloubku procházení, patří:
Důležitost webové stránky (měřeno počtem kvalitních zpětných odkazů, které míří na stránku).
Čerstvost obsahu (jak často je aktualizován).
Celková velikost webu.
Kvalitní interní prolinkování webu.
Rychlost načítaní stránky.
Optimalizace webu pro vyhledávače (SEO) crawlerům výrazně zjednodušuje proces indexace a zvyšuje následnou viditelnost webu v organických výsledcích vyhledávání.
⭐ Tip: Nevíte, co je to SEO a proč je pro váš web důležité? I na toto téma jsme připravili blogový článek. Můžete si ho přečíst.
Robots.txt a meta robots HTML tag: Instrukce pro roboty
Roboti potřebují určité pokyny, aby dokázali správně procházet internet. K tomu slouží tyto dva nástroje – soubor robots.txt a <meta robots> HTML tag.
Robots.txt je samostatný soubor, který robotům říká, jaké stránky na daném webu mají procházet. Existují tyto dvě základní instrukce:
Allow – roboti budou procházet danou stránku.
Disallow – roboti mají zakázáno procházet danou stránku.
V souboru lze uvést odlišné instrukce pro různé druhy robotů, například lze specifikovat, že Google robot, který má na starosti obrázky, danou stránku procházet nebude, a naopak general Google robot, který se zaobírá základním indexováním, stránku procházet bude. Roboti také v tomto souboru mají uvedenou URL cestu k sitemap.xml souboru.
<meta robots> HTML tag je instrukcí pro roboty, která se nachází přímo v HTML kódu stránky. Umisťuje se do HTML hlavičky <head>. Poskytuje robotům instrukce o tom, co mají s konkrétní stránkou dělat. Existuje mnoho instrukcí, které lze robotům zadat a navzájem kombinovat. Například, aby stránku neindexovali, ale přesto ji procházeli.
Dobře nastavený soubor robots.txt a meta robots tag jsou klíčové faktory k správné indexaci webu. Pokud bude u všech podstránek nastaveno, že je roboti nemají procházet, nikdy se nezobrazí ve výsledcích vyhledávání (SERP).
⭐ Tip: Pro generování robots.txt souboru existuje spoustu bezplatných online nástrojů, které lze využít. Není potřeba psát kód manuálně.
III. Renderování a zpracovávání: Přeměna chaosu v řád
Poté, co crawler projde webovou stránku, zpracuje a vykreslí její obsah tak, aby vytvořil verzi, které rozumí a kterou může indexovat. Během této fáze bot interpretuje HTML, CSS, JavaScript a další prvky, které tvoří danou webovou stránku.
Vliv JavaScriptu, CSS na indexaci
Pokud webová stránka obsahuje velké množství JavaScriptu nebo obsáhlý CSS soubor, bude pro vyhledávač náročnější vykreslit a plně pochopit její obsah. Proto je zásadní zajistit, aby váš web dokázal poskytovat cenné informace i po zakázání Javascriptu a CSS.
IV. Indexování: Vytvoření dokonalého katalogu knihovny
Jakmile vyhledávač objeví, projde, zpracuje a vykreslí webovou stránku, je připraven na zásadní krok: indexování. To znamená uložení informací o webové stránce do rozsáhlé databáze vyhledávače, její kategorizaci a uspořádání. Vyhledávače jsou potom schopny poskytnout ve výsledcích hledání (SERP) relevantní webové stránky. Pokud stránka není indexována, není možné ji v SERPU vyhledat.
⭐ Tip: Indexaci stránky můžete urychlit tím, že na ni odkážete interními odkazy z jiných stránek na vašem webu. Indexaci v Google můžete urychlit také manuální žádostí o indexaci dané URL v nástroji Google Search Console.
Mobile-first Indexing: Přizpůsobení se modernímu světu
V současnosti se k vyhledávání na internetu nejvíce používají mobilní zařízení. Vyhledávače se přizpůsobily a pomocí mobile-first indexing upřednostňují webové stránky vhodné pro mobilní zařízení. U tohoto přístupu vyhledávače pro indexaci a řazení používají mobilní verzi stránky.
⭐ TIP: Optimalizace webových stránek pro mobilní zařízení je klíčová pro indexaci a celkovou viditelnost ve výsledcích vyhledávání. Dbejte na to, aby se web na mobilu dobře používal a rychle se načítal. Rychlost jednotlivých stránek si opět můžete ověřit v nástroji Google Search Console v sekci Core Web Vitals.
🔎 Internetové prohlížeče jsou s námi pouze pár desítek let. Přečtěte si o historii vyhledávání na internetu - od počátku až po současnost.
Závěr
Pochopení toho, jak vyhledávače vytvářejí své indexy, je klíčové pro optimalizaci výkonu vašich webových stránek ve výsledcích vyhledávání. Usnadněte proces indexace, aby vaše webové stránky byly přístupné všem uživatelům na internetu.