Рассуждают часто так: раз страница опубликована, поисковик её найдёт и покажет. Но между публикацией и показом лежит конвейер из нескольких стадий, и ранжирование - выбор места в выдаче - начинается лишь в самом конце, когда страница уже обнаружена, загружена и понята. Застряла на ранней стадии - и никакие ключевые слова и ссылки не помогут: ранжировать нечего.

Путь к выдаче складывается из обнаружения URL, загрузки содержимого, при необходимости - рендеринга JavaScript, извлечения контента, выбора канонической версии и, наконец, индексирования. Любая стадия способна отсеять страницу, и до ранжирования она тогда просто не дойдёт. Конвейер стоит держать перед глазами целиком: большинство проблем поиска - это не ранжирование, а обрыв на ранней ступени.

Обнаружение опирается на ссылки и карты сайта: поисковик узнаёт об URL по ссылке с известной страницы или из sitemap. Страница без единой входящей ссылки для краулера почти не существует. Дальше сканирование - робот делает HTTP-запрос и скачивает HTML. Но сначала Googlebot читает robots.txt: если путь запрещён, запрос не отправляется и содержимого робот не видит.

Современный сайт часто отдаёт пустой каркас, а контент дорисовывает JavaScript в браузере. Googlebot это умеет - у него сервис рендеринга на движке актуального Chromium, - но рендеринг откладывается и стоит ресурсов, так что происходит не сразу. Возьмём карточку товара в мультиязычном магазине: если цена, описание и заголовок приходят только после запроса к API из клиентского кода, поисковик увидит их лишь дождавшись рендера. Пока критичный контент и ссылки не выживают в отрендеренном HTML, для поиска их нет - надёжнее отдавать их сервером.