Kawałki roztrzaskanego telefonu eksplodowały na płytach chodnika. Chwilę wcześniej wpisała do wyszukiwarki „salon fryzjerski warszawa”, wstrzymała oddech… i nic. Dalej nic! Wyszukiwarka uparcie nie chciała indeksować jej strony, nie mówiąc już o wysokich pozycjach. Prychnęła z niezadowoleniem. Każdą komórką ciała czuła wzbierającą złość. Tętno przyspieszyło, szczęka się zaciskała, na czoło wystąpiły krople potu. Właśnie wtedy zadzwonił telefon. To koleżanka z konkurencyjnego salonu… nie miała ochoty z nią rozmawiać. Nie miała na to ochoty tak bardzo, że z całej siły rzuciła telefonem w ziemię. Przeczytaj, jeśli nie wiesz, czemu Google tak „źle” Cię traktuje i przestań mieć kompleksy w stosunku do konkurentów!
- Błędy w pliku robots.txt
Większość stron internetowych ma w swojej strukturze na serwerze plik robots.txt, zawierający dyrektywy kierujące zachowaniem robotów wyszukiwawczych.
Popularna dyrektywa disallow pozwala na wykluczenie z indeksowania zarówno plików, jak i katalogów. Aby zablokować dostęp robota dla pojedynczego pliku wpisz w robots.txt:
User-agent: * Disallow: /nazwa-folderu/nazwa-pliku.html
Z kolei wykluczenie całego folderu jest równie proste:
User-agent: * Disallow: /nazwa-folderu/ Disallow: /nazwa-folderu/
Jeśli zatem Twoja strona zawiera plik robots.txt – upewnij się, że nie wyłączasz robotowi dostępu do ważnych folderów lub plików w Twojej strukturze katalogów.
Pamiętaj, że wpis w robots.txt powoduje, że tylko ROBOTY nie mogą indeksować odpowiedniej części strony, podczas gdy prawdziwy, żywy użytkownik zobaczy całą stronę.
To powoduje, że błędy w pliku robots.txt mogą czasem pozostawać niezauważone i powodować, że znaczne części strony nie będą indeksowane, a co za tym idzie – w dalszej kolejności nie będą mogły znaleźć się wysoko w wynikach wyszukiwania.
- Strona zawiera blokujący metatag
W nagłówku strony internetowej można zawrzeć metatag o nazwie „robots” i wartości wskazującej na zakaz wstępu robotowi wyszukiwarki. W ten sposób można zakazać robotowi indeksowanie treści oraz podążanie za linkami na danej stronie:
<meta name="robots" content="noindex, nofollow">
Natomiast tak pozwolisz robotowi podążać za linkami, choć wciąż nie może on indeksować treści:
<meta name="robots" content="noindex, follow">
Jeśli chcesz, aby robot swobodnie indeksował Twoją stronę, upewnij się, że nie masz takich tagów, a jeśli są – usuń je. Mogły powstać przykładowo podczas początkowego etapu wdrażania strony i ktoś zwyczajnie zapomniał je usunąć.
Ponownie, zwróć uwagę, że umieszczeni takich tagów powoduje, że tylko ROBOTY nie mogą indeksować odpowiedniej części strony, podczas gdy prawdziwy, żywy użytkownik zobaczy całą stronę.
- Blokowanie hasłem
W wielu wypadkach stosuje się dostęp do określonej części strony po wpisaniu nazwy użytkownika i hasła. Może się zdarzyć, że w tej chronionej części znajduje się wiele słów kluczowych i unikatowej treści, która zainteresowałaby robota… gdyby tylko mógł się do niej dostać.
Przykładowo strony programów partnerskich i lojalnościowych często wymagają logowania. Po zalogowaniu dostępne jest natomiast bardzo dużo informacji, które mogłyby zostać zaindeksowane.
Jeśli zatem obserwujesz trudności z indeksowaniem konkretnej podstrony w Twoim serwisie – upewnij się, czy dostęp do niej jest swobodny. Uważaj tylko, żeby nie było tak, że to przeglądarka ma zapisane Twoje hasło i automatycznie loguje Cię do tej części serwisu, a Ty tego nawet nie zauważasz. Sprawdź to najlepiej z osobnego komputera lub przeglądarki w trybie incognito.
Jeśli świadomie blokujesz hasłem dostęp do części strony, ale zależy Ci, żeby robot mógł przeczytać znajdujące się tam treści – musisz niestety przeprojektować strukturę informacji na Twojej stronie tak, żeby jak najwięcej z tych treści uwidocznić „z przodu”, tam, gdzie będą dostępne dla robota wyszukiwarki.
- Blokada na poziomie serwera
Może się zdarzyć, zwłaszcza pod presją różnego rodzaju ataków sieciowych albo ataków na strony internetowe, że operator hostingowy odetnie ruch do serwerów z niektórych lokalizacji. Zazwyczaj tego rodzaju blokady nakładane są doraźnie, na krótki czas. Może to jednak oznaczać, że robot w tym czasie nie będzie miał dostępu do Twojej strony (robot może chcieć dostać się na stronę właśnie z takiej lokalizacji).
Jeśli zatem do tej pory wszystko było w porządku, a nagle dostajesz powiadomienie, że robot Google nie mógł uzyskać dostępu do Twojej witryny – sprawdź u Twojego operatora hostingu, czy nie została nałożona tego rodzaju blokada. Gdyby problem trwał dłużej niż kilka dni, a Tobie bardzo zależy na wysokich pozycjach w Google, rozważ przeniesienie witryny do innego operatora, ponieważ dłuższy czas niedostępności strony dla robota może negatywnie wpłynąć na ocenę Twojej strony przez wyszukiwarkę.
- Błędny kod odpowiedzi serwera
Kiedy ktoś (w tym robot) próbuje wejść na Twoją stronę, zanim pojawi się treść, serwer zwraca kod odpowiedzi, świadczący o tym, czy strona może być wyświetlona.
Prawidłowy kod odpowiedzi to liczba „200”. Oznacza ono, że po stronie serwera nie ma przeszkód do wyświetlenia strony i taką odpowiedź robot uznaje za satysfakcjonującą.
Kod „301” oznacza, że strona została trwale przeniesiona pod inny adres i jest to również wskazówka dla robota wyszukiwawczego. Jeśli przenosisz swoją stronę pod nowy adres, a stary był już zaindeksowany w Google, to polecamy przygotowanie tzw. przekierowania 301.
Inne kody odpowiedzi świadczą o problemach. Jeśli napotka je robot – nie licz zaindeksowanie strony
401 Unauthorized Nieautoryzowany dostęp – żądanie zasobu, który wymaga uwierzytelnienia.
403 Forbidden Zabroniony – serwer zrozumiał zapytanie lecz konfiguracja bezpieczeństwa zabrania mu zwrócić żądany zasób.
404 Not Found Nie znaleziono – serwer nie odnalazł zasobu według podanego URL.
503 Service Unavailable Usługa niedostępna – serwer nie jest w stanie w danej chwili zrealizować zapytania klienta ze względu na przeciążenie.
Jeśli widzisz ten ostatni kod – to najpewniej musisz skonsultować się z Twoim operatorem hostingu lub twórcą Twojej strony. Strona może być stworzona w sposób nieoptymalny i nadmiernie eksploatować zasoby serwera, albo po prostu wymagać mocniejszego serwera – może to oznaczać, że czas przenieść się np. z hostingu współdzielonego na VPS, albo z VPS na serwer dedykowany.
- Urządzenia mobilne
Od kwietnia 2015 roku Google szczególnie mocno zwraca uwagę na mobilne wersje stron. Konkretnie: Jeśli wyszukiwanie następuje z urządzenia mobilnego, a Twoja strona nie jest przystosowana do wyświetlania na urządzeniach mobilnych – zapomnij o widoczności w wynikach wyszukiwania.
Jeśli nie widzisz swojej strony w Google, a korzystasz z urządzenia mobilnego – sprawdź, jak to wygląda na zwykłym komputerze. Być może strona jest prawidłowo indeksowana, tylko zwyczajnie Google uznaje ja za tak mało wartościową do wyświetlania w urządzeniu mobilnym, że nie znajdziesz linków do siebie w telefonie lub na tablecie.