Как работят роботите на търсачките? SEO въпрос за начинаещи и напреднали
Как търсачките търсят уеб сайтове и как работят ботовете на търсещите машини
Не само SEO специалистите се чудят как става мигновенното търсене в Интернет от роботите на търсачките
Чудили ли сте се понякога защо Гугъл извежда толкова бързо и толкова много страници с резултати, когато правите търсене? Как може търсачката да претърси целият Интернет, да открие билиони страници, да претърси измежду милиони сайтове, намиращи се навсякъде по земното кълбо и да върне резултатите, които е намерила често за по-малко от две секунди, а понякога и още по-малко? Тайната е в това, че Google вече има локализирана информация в многото си центрове с данни, и бързо ви връща обратно тази информация, без да се рови в интернет всеки път, когато има запитване към него. Всеки ден към гугъл се изпращат между 100 и 200 милиона запитвания понякога и повече.Тук даваме пример с Гугъл, но по принцип всяка една търсеща машина действа на същия принцип. Съвременните търсещи машини използват роботи /още наречени паяци или краулери/, за да откриват и индексират новите уеб сайтове или страници на по-старите сайтове, които са били обновени. Един паяк може да се сравни с малък робот, който “излиза в интернет” през различни промеждутъци от деня или нощта, в търсене на ново или обновено съдържание в различните уеб сайтове, които са предоставени. След като е намерил всичката тази нова, прецизна информация, търсещият робот, или краулер, ако предпочитате, препраща тази информация на центровете с данни на Гугъл, където евентуално ще бъде включена в базата данни на търсачката, веднъж, щом Google извърши пълен ъпдейт на своя индекс, обикновено веднъж или два пъти месечно.
Всички търсачки използват краулери
Днешните най-големи търсещи машини разполагат с множество различни търсещи роботи или краулери и носят различни имена с цел да можем ние да ги разпознаваме. Следващият лист идентифицира днешните най-популярни паяци и към коя търсеща машина принадлежат:Гугъл: Freshbot, GoogleBot и Backrub (Backrub е експериментален робот)
Yahoo: Slurp
Inktomi: Slurp/2.0 (Бележка: Inktomi е собственост на Yahoo)
AltaVista: Scooter (Бележка: AltaVista е собственост на Yahoo)
EuroSeek: Arachnoidea
Lycos: LyCos_Spider
Northern Light: Gulliver
Има и още, но тук ви представихме най-популярните. Техните функции са подобни, въпреки че технологията използвана от търсещите машини за паяците им варира понякога.
SEO Friendly Design. Важността на приятелски ориентиран дизайн за търсещите машини
За да разберем как точно работят търсещите паяци, трябва да знаете, че когато създавате сайт, то той трябва да има приятелски-ориентиран дизайн към търсачката. Ако търсещите паяци не успеят да достигнат до вашият сайт или ако срещнат затруднение в неговата навигация или в отделните части на сайта, е ясно че ще отделят доста време, за да включат сайта ви в техните бази данни. Ако всичко е възможно, то тогава би трябвало да имате възможност да забраните менюта, създадени на JavaScript или линкове, които са пълни с графики. Ако пък наистина имате полза от употребата на тези два компонента, то се уверете, че сте сложили коренсподиращо текстово меню в началото или отстрани на вашите страници. Правейки това вие си гарантирате, че търсещите паяци, че успеят да достигнат до тези специфични страници и да ги индексират правилно. Друг начин, с помощта на който можете да си подсигурите правилно и бързо индексиране е да съставите карта на сайта, за да може краулера или паяка, да се ориентира в секциите на вашият сайт. За да е ефективна картата, тя трябва да е свързана директно с началната страница на вашият сайт.В заключение
Паяците или роботите на търсещите машини са относително лесно устроени и разбираеми от всеки един. Тяхната основна цел е да “изследват” Мрежата за нови уеб сайтове и да записват промени, допълнения или изменения в страниците на по-стари сайтове. Ако качвате нов уен сайт се убедете, че имате няколко линка от други сайтове към новият. По този начин ще си подсигурите пристигането на паяците и откриването на новият сайт от тях и евентуално включването ви в базата им от данни.
