Оптимизация: как отдавать заголовок Last Modified

Заголовки HTTP LastModified ETAG

Для управления кэшированием на стороне клиента (в данном случае - поисковых роботов) применяются HTTP-заголовки LastModified и Robot Header ETAG (изменение несущественной части страницы). Все остальные заголовки ХТТП не позволяют нормально управлять кэшированием. Поисковые роботы ПС Гугла и Яндекса понимают заголовок LastModified и обращают мало внимания на остальные заголовки, связанные с кэшированием содержимого страниц. При этом не надо путать http-заголовки с HTML-заголовками страниц title, которые имеют совсем другую заголовочную сущность.

Как правильно отдавать заголовки Last Modified?

Просто отдавать заголовок LastMidified для сервера недостаточно - надо еще обработать запросы If-Modified-Since и If-None-Match, грамотно возвращая поисковому роботу статус-код "304 Not Modified" или "200 OK". Иначе кэширования на стороне клиента - поискового робота не произойдет.

Если Вы слабо разбираетесь, на что и как отдавать HTTP-заголовок LastModified роботу поисковых систем (ПС) - то лучше этого не делайте вообще, поскольку в случае ошибки могут образоваться проблемы с повторной индесацией страниц сайта поисковыми роботами Google и Yandex. Отдавать же поисковику по запросу If-Modified-Since текущую дату в http-заголовке last-modified можно, но это не имеет никакого смысла.

Помните, что при коде статуса 304 контент со страницы поисковикам не отсылается, как и при 301 или 302 редиректе (код 301 - постоянный редирект, а 302 - временное перенаправление). Тема, как правильно отдавать заголовки LastModified поисковым роботам для сайтов с небольшим числом страниц не так актуальна, как для крупных порталов с часто обновляемым содержимым.

ПС: как ведет себя поисковый робот-индексатор?

Робот-индексатор поисковой системы по части кэширования ведет себя точно так же, как и обычный компьютерный браузер (например, Internet Explorer или Mozilla Firefox):

• не изменившиеся страницы поисковые роботы не загружают
• так же отсылают даты загрузки, имеющихся у них в индексе

Для лучшей индексации сайтов необходимо учитывать, что за один проход робот-индексатор поисковой системы сканирует лишь ограниченное число страниц, поэтому, правильно отдавая заголовки LastModified и ETAG, можно существенно улучшить индексацию новых и повторное сканирование старых, изменившихся со времени последнего посещения страниц на сайте.

Разделять страницу на код header'а и контент (по-правильному - на http-заголовки и тело документа) нужно и полезно, поскольку содержание страницы, или тело документа, отдается поисковым роботам ПС Гугла и Яндекса далеко не всегда и не на каждый HTTP-запрос, а вот заголовки с ХТТП-кодом статуса требуется отдавать всегда: этот закон поисковые роботы, как и общие законы обмена по этому протоколу, установили уже давно.