Najprostrzym sposobem na sprawdzenie czy robot będzie ładnie indexować naszą stronę należy :
sprawdzić czy w znacznikach meta umieściliśmy INDEX, FOLLOW
<html>
<head>
<meta name="robots" content="index,follow">
<meta name="description" content="opis strony ....">
<title>...</title>
</head>
<body> ... szczegółowe informacje ...