Задача поисковика - искать. Поэтому если где-то что-то есть, задача поисковика это найти. Чем меньше задержка между появлением сущности и полной индексацией по теме - тем лучше поисковик. И логично исследовать качество поиска на грабельных и заковыристых случаях. Какокнить "hardcore XXX" извините любой дурак найдет, оптом. Потому что индексер не сможет нарваться на это словосочетание только в случае если он не работает совсем. А вот насколько индексация и глобальный поиск у кого работает, с какой скоростью и качеством - мы и узнаем из не очень популярных и не очень частых результатов, где это видно с вопиющей очевидностью. И покуда будут вот такие соотношения - не важно сколько и кто будет троллить и шипеть, пользоваться будут гуглем. Не потому что идолопоклонники. А потому что деловые качества. И если я вижу гуглоботов-индексеров в логах/визитерах/ком там еще в разы больше остальных - выводы напрашиваются, а? Яндекс вообще редкий вид - найти в логах сервера его ботов - редкое везение :)
А когда результатов поиска много - гугл еще и умудряется наиболее вменяемые и ценные показывать сначала. Поэтому когда вам выпало 30 000 000 результатов - есть даже некий шанс среди них что-то найти, а не просто утонуть в куче гуано.