robots.txt

[Semens]

Помогите мне пожалуйста!!! Я создал сайт, а роботы его не индексируют!!! Они приходят, просматривают файл robots.txt и уходят!!!

Вот файл robots.txt :

User-agent: *

Allow: /

Host: www.taxiug.com

Я наверное что не правильно в этом файле написал или в его имени!!!

В мета-тегах есть:

<META NAME="robots" CONTENT="ALL">

Мой сайт только яндекс проиндексировал!

Сайт: http://www.taxiug.com/

[abram4]

Файл robots.txt предназначен для отгона поисковиков от сайта или от его определенных папок.

Например, запись

User-agent: slurp@inktomi

Disallow: /

прогонит бота inktomi совсем с сайта. (он все равно по-русски не понимает)

Запись

User-agent: *

Disallow: /actions/

не пустит всех ботов в папку /actions.

Если не надо отгонять ботов, то просто удали этот файл и не морочься.

[Semens]

Если не надо отгонять ботов, то просто удали этот файл и не морочься.

Я пытался так сделать, но тогда роботы приходят, ничего не находят и в результате появляется надпись об ошибки в лог-файле, это как-то душу грызёт, я люблю порядок! А вообще тебе спасибо, хоть кто-то ответил!..

[Ф@РТОВЫЙ]

Semens: Если ошибка в логах, то не в поисковых ботах дело, а в твоём коде, или в файле .htaccess

Когда просто с браузера заходишь ошибок нет?

[Semens]

Semens: Если ошибка в логах, то не в поисковых ботах дело, а в твоём коде, или в файле .htaccess

Когда просто с браузера заходишь ошибок нет?

Ошибки были до того как я создал robots.txt а потом всё нормально стало! Мне важно знать правильно ли я сделал этот файл или нет. А так вообще ни каких ошибок с браузером.

[Ф@РТОВЫЙ]

Исходники твоего скрипта надо почитать, блокировать поисковых ботов не решение!

[Semens]

Исходники твоего скрипта надо почитать, блокировать поисковых ботов не решение!

Ладно, забей! В яндексе я есть, рамблер зону com не принимает в гугле целых 2 страници из 6 проиндексированно... пойдёт!

[Dimon#ic]

Semens: быстрый способ индексации - это регистрация в разного рода каталогах таких, как Rambler TOP 100 например, и я тебя уверяю, проблемы никакой нет! Можешь оставить robots.txt и идти спать =) для индексации в любом случае надо время. Оставляй ссылки на форумах, блогах, гостах в других местах и используй все хитрости раскрутки и все будет - ОК

Удачи, млин =)

[Гость Trojanso Malwarez]

быстрый способ индексации - это регистрация в разного рода каталогах таких, как Rambler TOP 100 например

Быстрый способ индексации - это повесить ссылку на свой сайт на каком-нибудь крутом ресурсе, который поисковые роботы часто индексируют (типа Софтодрома). Робот зайдет на крутой ресурс и найдет ссылку на ваше страничко. А если просто зарегистрироваться в каталоге типа Рамблера, то это будет гораздо дольше - от момента регистрации в каталогах до индексации могут пройти недели, а то и месяцы (для Гугла точно месяцы).

[Dimon#ic]

Trojanso Malwarez: слухай, я это также отметил! Попытка показаться умнее?

[Гость Trojanso Malwarez]

Dimon#ic: Я просто уточнил твою мысль. Ты написал "для индексации в любом случае надо время", а я уточнил, что может потребоваться до нескольких месяцев. К тому же я написал про самый быстрый способ индексации. По поводу файла robots.txt я с тобой не согласен. Я бы не стал заявлять "можешь его оставить и идти спать". Я бы изменил его и сделал таким:

User-Agent: *

Так он выглядит на Софтодроме. Если нет необходимости что-то запрещать, то больше в файл добавлять ничего не нужно.

[OGR]

Тоже вопрос. А тег "Host" всеми поисковиками воспринимается?