IP база поисковиков (бета) 
Хотите почитать позже? Добавьте в социальные сети или закладки
В тестовом режиме запущен сервис по бесплатному предоставлению постоянно обновляемой ip базы крупнейших англоязычных поисковиков (Google, Yahoo, MSN, Ask, etc). На данный момент это один из самых больших публичных списков ip адресов западных поисковиков.
База прежде всего предназначена для использования в программных решениях статистики сайтов, а так же для личных нужд пользователей. Обновления баз планируется один раз в 3 недели, вы можете отлеживать обновления по нашей RSS ленте.
Использование парсеров, в автоматическом режиме забирающих базу,
возможно только с нашего разрешения, пожалуйста, известите нас об
этом.
По возможности, прокомментируйте появление такого сервиса, нужен ли он, если
да, какие новые возможности вы бы хотели увидеть.
| База англоязычных поисковиков | Информация о базе |
|---|---|
| Дата последнего обновления: 19 марта 2007 года Скачать базу: ip_database.txt ip_database.csv |
Сейчас в базе:
Записей: 1065 Формат записей: TXT: 316.131.41. excite CVS: 74.6.68.152,yahoo |
При отсутствии последнего значения подсети в ip адресе по умолчанию считается
- *, т.е. все адреса в данной подсети.
Обновление от 6 января 2007 года, 1031 запись.
Интересно, а возможно ли сделать базу сервисов обновления для поисковых служб. Было бы очень удобно, если б при обновлениях на сайте, WP оповещаал все службы автоматически. Я знаю только 2:
http://rpc.pingomatic.com/
http://ping.blogs.yandex.ru/RPC2
Собственно, такое уже давно сделано, поищите списки в google, например как у нас:
http://blogsearch.google.com/ping/RPC2
http://rpc.pingomatic.com
http://api.feedster.com/ping
http://api.my.yahoo.com/RPC2
http://api.my.yahoo.com/rss/ping
http://www.blogdigger.com/RPC2
http://www.blogshares.com/rpc.php
http://www.blogstreet.com/xrbin/xmlrpc.cgi
http://coreblog.org/ping/
http://ping.blo.gs/
http://ping.feedburner.com
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://www.popdex.com/addsite.php
http://rpc.blogrolling.com/pinger/
http://rpc.technorati.com/rpc/ping
http://rpc.weblogs.com/RPC2
http://topicexchange.com/RPC2
http://xping.pubsub.com/ping/
http://api.moreover.com/ping
http://rpc.icerocket.com:10080/
другое дело, что pingomatic к большинству этих сервисов сам отсылает пинги.
Большое спасибо. Не знаю может быть проблема только в моём браузере(Firefox 2), но когда пытаюсь перейти в поле “Введите код проверки”, при печатании комментария к Вашему сайту, так почему-то перескакивает в поле “Ваш вебсайт”. Удалось перейти только через Tab
Спасибо за замечание, сейчас протестируем…
Update: действительно, такая ошибка имела место быть, сейчас все исправлено, еще раз спасибо за замечание.
Александр, подскажите пожалуйста, как можно применить данную базу поисковиков.
Владимир, ее можно применить в разных целях, смотря какой путь вы выбрали, для точного подсчета поисковых роботов в статистике, например, или для клоакинга…
Спасибо,получил общее представление.
Я заметил, что каждые 40 секунд происходит запрос моего сайта с адреса crawl-ru-89-208-19-7.webaltabot.com
Хочу спросить, это хорошо или плохо?
Можно ли запретить эту активность, и к чему может привести запрет?
Да, это поисковый бот webalta.ru, которая славится частыми запросами на индексируемые ресурсы, многие сайты вследствие этого запретили доступ. Запретить можно с помощью .htaccess, прописав там соответствующую команду, запрет приведет к отсутствию индексации, но не исключения из индекса Webalta.ru.
Обновление от 19 марта 2007 года, 1065 записей.
Бобрый вечер ;)
Подскажите пожалуйста планируете ли вы создать аналогичную базу IP для “наших” поисковиков? Это вообще возможно? Да, и учитываются ли в вашем списке роботы-шпионы от поисковых систем, например, James Bond от Яндекса (но англ. аналоги)?
Для русскоязычных поисковиков беспатной базы мы не планируем, собсвенно как и платной.
Отвечаю на втоторой вопрос: Нет, зесь содержаться только адреса поисковых ботов, crawlers, но не проверяющих.
Жаль…
А Вы можете прокомментировать почему такая база не планируется? Есть ряд чисто технических причин, юридических или еще каких-нибудь?
Спрос на такую базу будет огромен…
В ответе заинтересован, буду искренне рад и благодарен, если ответите.
С уважением, Noby
Причина довольно прозрачна: нет технической базы с крупными русскоязычными данными(логов) для анализа и выявления IP.
А что нужно, чтоб такая база была? можт организуем совместными усилиями?
Олег,
нужен не один ресурс с высокой посещаемостью и возможностью доступа к лог-файлам для анализа.
Так давайте помаленьку, да соберём базу.
Не проще через ripn и nic.ru проюить айпишники зареганные на яндекс и т.п.?
извиняюсь. пробить IP-адреса
А не проще через ripn.net nic.ru пробить IP-адреса зареганные на яндекс и т.п. поисковые компании
ВОТ
Игорь, не проще, а сложнее, во-первых, я пока еще не слышал про поиск по названию кампании в ripn, во-вторых, помимо этого надо выяснить с какого из них приходит именно бот, а не что-то другое.
Спасибо за список, пригодится однозначно
никаких изменений за 2 года не произошло ? или этот сайт умер уже давно ?!
спасибо, как раз очень нужно по работе
критик
сайт не умер, а вот обновлений баз данных не будет.
Да, хорошая база,
жаль что не обнавляется
спасибо, для клоакинга самое то! =)
Спасибо за полезную информацию, много искал до того как найти.
Спасибо за базу ip, очень полезно будет для работы.
Только действительно смущает, что она еще от 2007 года. Ждем обновлений :)
Классная база - до сих пор актуальна! Давненько я ее в сети искал! Спасибо, что выложили!