SPIS TREŚCI:
Indeksowanie to gromadzenie informacji o portalu WWW przez wyszukiwarki internetowe. Proces gromadzenia możliwy jest dzięki specjalnym skryptom nazywanymi potocznie robotami indeksującymi. Zebrane informacje są przetwarzane, a następnie wykorzystywane do ustalania pozycji portalu internetowego w wynikach wyszukiwania (SERP).
SEO – dzieci we mgle
Powyższe wyjaśnienie jest duzym uproszczeniem. Na wynik wyszukiwania wpływają także inne czynniki. Może to być pytanie zadane wyszukiwarce przez internautę oraz lokalizacja i język, którym się posługuje. Jeśli na naszej stronie nie ma czegokolwiek, co mogłoby zasugerować odpowiedź na zadane pytanie, to siłą rzeczy nie pojawimy się w wynikach wyszukiwania.
Mechanizmy stojące za indeksowaniem i ustalaniem pozycji w wynikach wyszukiwania są pilnie strzeżone. Nie znamy pełnego katalogu czynników, które są brane pod uwagę podczas analizy naszych serwisów. To samo odnosi się do algorytmów stojących za ustalaniem pozycji w wynikach wyszukiwania. Pomimo tego jesteśmy w stanie zarysować ogólne ramy pozycjonowania.
Nasza wiedza bierze się głównie z analizy i obserwacji zachowania portali WWW w wynikach wyszukiwania. Projektanci wyszukiwarek starają się nam pomóc informując o tym, na co powinniśmy położyć szczególny nacisk. Dzięki temu wiemy, że bardzo dobrze oceniane są strony wykorzystujące certyfikat bezpieczeństwa, przystosowane do wyświetlania na urządzeniach mobilnych i takie, które błyskawicznie się ładują.
Wizyta robota indeksującego
Roboty indeksujące bardzo szybko docierają do świeżo opublikowanych portali WWW. Możemy ten proces przyśpieszyć lub zablokować roboty indeksujące. Wymaga to od nas podjęcia pewnych określonych działań. Możemy precyzyjnie wskazywać te strony, które powinny podlegać indeksowaniu. Podobnie jest z odnośnikami – robot może podążać za odnośnikiem lub go zignorować.
Jeśli pozostawimy robota indeksującego w spokoju, to standardowo przeczyta wszystko, co znajdzie pod naszym adresem WWW. Roboty są zachłanne, ale nie wszystkie obszary serwisu WWW mogą być dla nich osiągalne – nasza rola sprowadza się do moderacji tego procesu.
Warto pamiętać, że Google to nie jedyna wyszukiwarka. Naszą stronę odwiedzają także roboty innych firm: Microsoft Bing, Yandex… Przy odrobinie wysiłku możemy sterować pracą robotów poszczególnych wyszukiwarek. Przyjęło się także używać liczby pojedynczej mówiąc o robocie indeksującym, a tymczasem mamy do czynienia z wieloma robotami, które są oddelegowane do różnych zadań.
Czytanie strony przez robota indeksującego
Właścicielom wyszukiwarek zależy na tym, aby roboty indeksujące czytały strony tak, jak człowiek. Robią jednak znacznie więcej. Oprócz tego, że analizują treść, zwracają także uwagę na to w jaki sposób jest ona budowana i prezentowana. Oczywiście robot nie widzi i nie rozumie tego, co analizuje. Dlatego musi jednocześnie czytać treść i kod programistyczny stojący za stroną WWW. W ten sposób poznaje strukturę treści oraz to, jak jest prezentowana
Aby zorientować się w strukturze treści robot indeksujący musi odczytać znaczniki HTML porządkujące zawartość strony internetowej; jednocześnie wyszukuje słowa kluczowe, zwraca uwagę na sąsiadujące wyrazy, a wszystko to liczy i porównuje. Jeśli robot znajdzie obrazki na stronie WWW, to sprawdzi obecność alternatywnego opisu. Jeśli napotka odnośnik, to będzie starał się odczytać atrybut title. Musimy pamiętać, że pomimo ograniczeń komputery znakomicie liczą i analizują. Dlatego wszystkie znane i ordynarne techniki SEO – zaliczane do tzw. czarnego SEO – są dzisiaj skutecznie wychwytywane.
W stronę indeksacji…
Najważniejsze w procesie indeksowania i sterowania pracą robotów, jest zrozumienie tego, co możemy kontrolować i za pomocą jakich narzędzi. Na roboty możemy wpływać odwołując się bezpośrednio do sekcji head strony WWW. Inna metoda związana jest ze specjalnym plikiem robots.txt, w którym umieszczamy odpowiednie dyrektywy sterujące. Ostatecznie możemy także zdecydować się na dedykowane wtyczki umożliwiające sterowanie robotami na poziomie interfejsu. Niezależnie od obranej metody warto także pamiętać o tym, co robić, aby nie utrudnić pracę robotom indeksującym.