Проверяем все страницы сайта на PR
Мой способ проверки PR
Чтобы массово проверить PR всех внутренних страниц, понадобиться две программы. Первая — которая получит все url страниц сайта. Вторая — позволяющая массово проверять PR страниц.
Парсим страницы сайта
Ждём когда закончит работу программа и копируем список найденных ссылок в текстовый файл, который нам пригодиться для работу в другой программе. Я использую именно эту программу, потому, что у неё есть настройки парсинга (изъятия данных):
Проверяем на PR
Для этого программу PaRaMeter, импортируем в неё ссылки сайта, которые мы сохранили в текстовом файлике:
И запускаем проверку. Для наглядности я проверил 1500 страниц блога Димка:
На проверку 1.5 тысячи страниц понадобилось минуты 2-3 примерно. После того, когда программа закончит свою работу, нажимаем кнопочку PR и в таблице все значения от сортируются по убыванию, чтобы удобно было анализировать список. Все обработанные данные можно экспортировать в Excel, для последующего использования. На этом всё, спасибо за внимание.
UPDATE 8.11.2011
Программа PaRaMeter уже не определяет PR, пользуйтесь сервисом, который я описал в статье — Проверка всех страниц сайта на Page Rank.
Как найти и удалить с сайта скрытые внешние ссылки
Такой подход к сайтостроению экономит массу времени и сил, но он может таить в себе скрытую опасность.
Чем опасны скрытые ссылки
Одна внешняя ссылка на тот же сайт разработчика вряд ли нанесет вред вашему ресурсу, иное дело если таких ссылок окажется много и проставлены они будут на многих страницах. А это уже ссылочный спам, за который полагаются санкции — фильтры Панда или Пингвин от того же Google. Поэтому, если вы всё же решите использовать бесплатные шаблоны, модули или компоненты, обязательно проверяйте свой сайт на предмет внешних ссылок. Увы, такая проверка может оказаться нетривиальной задачей, поскольку ссылки нередко кодируются или подгружаются скриптами с внешних источников.
Как узнать, есть ли на сайте внешние ссылки
Вбив на странице pr-cy.ru/link_extractor URL проверяемой страницы, можно вывести все внутренние и внешние ссылки, в том числе неиндексируемые.
Для анализа всего сайта лучше использовать программу Xenu Link Sleuth, предназначенную для аудита внутренних и внешних ссылок веб-ресурсов.
Запустив приложение, выберите в меню «File» опцию «Check URL», введите в поле адрес вашего сайта, отметьте, если не отмечен, чекбокс «Check external links» и нажмите «OK».
Готово, останется только внимательно изучить список найденных ссылок, отсортировав их по доступным параметрам.
Другой способ проверить сайт на предмет «левых» ссылок — воспользоваться скриптом Find-Link, ссылку на который вы найдете в конце статьи.
Скрипт Find-Link не работает на локальном сервере, использовать его есть смысл после того как сайт будет залит на сервер.
Как удалить внешние ссылки сайта
Далее всё просто, открываем найденные файлы Notepad++ и удаляем ссылки.
Естественно, работу с файлами выполняем на локальном компьютере во избежание случайных ошибок.
Увы, не все ссылки можно обнаружить таким способом.
Меры предосторожности
В действительности, всё может быть сложнее. Особо хитрые авторы шаблонов или компонентов прописывают условия проверки наличия ссылки, при несоблюдении которых функционал или вывод последних нарушается. К сожалению, без знаний языков программирования наладить правильную работу скрипта не получится, ищите шаблон или компонент, чистка которого от ссылок не нарушает его работу или обращайтесь за помощью к специалистам.
Как вариант, скрытые ссылки можно закрыть от индексации, добавив в исходный код значение атрибута rel nofollow, но не факт, что после такой модификации всё будет работать. А вообще, чтобы было меньше хлопот и головной боли, скачивайте шаблоны, компоненты и плагины с официальных сайтов разработчиков, по крайней мере, так вы убережете свой сайт от совершенно левых добавок, которые столь часто встречаются в ПО, выложенном на варезных ресурсах.
Проверка индексации сайта. Как найти мусорные или недостающие страницы
Как проверить индексацию для неподтвержденного сайта мы рассказали ранее. Сейчас же расскажем о проверке с помощью данных, которые предоставляет Яндекс Вебмастер и Google Search Console.
Для того чтобы получить полный список проиндексированных страниц в Яндексе, необходимо зайти в раздел Индексация > Страницы в поиске > вкладка «Все страницы».
Ниже представлен список всех страниц, находящихся в поиске, и возможность выгрузить таблицу в XLS и CSV.
В новой версии Google Search Console также появилась возможность увидеть список всех проиндексированных страниц. Для этого нужно зайти в отчет «Покрытие» (в разделе «Индекс»).
В списке ниже представлена информация о страницах, о которых известно поисковой системе и дополнительная информация по ним.
Детальный список проиндексированных страниц можно получить из списка со статусом «Страница без ошибок».
Чтобы обнаружить «мусорные страницы», нужно следовать следующему алгоритму:
В ходе сравнения могут возникнуть следующие ситуации:
Для удаления страниц в Вебмастере существует инструмент «Удаление страниц из поиска», позволяющий единовременно удалить до 500 отдельных страниц или группу страниц по префиксу в url. Главное, чтобы страницы были закрыты от индексации.
Инструмента для принудительного удаления страниц у Google нет, но можно временно удалить свои URL из результатов поиска.
Для этого необходимо зайти в старую версию Search Console и в левом меню выбрать «Индекс Google» > «Удалить URL-адреса».
Далее указываем URL страницы, которую вы хотите скрыть. Выбираем из списка необходимое действие и отправляем запрос.
Ждите новые заметки в блоге или ищите на нашем сайте.
Чистка кода — как найти скрытые ссылки на сайте и удалить?
Наличие ссылок на внешние ресурсы негативно влияет на вес сайта.
Это значит, что присутствие так называемых линков необходимо контролировать и удалять все ненужные, дабы не оказаться под фильтром могущественных поисковиков.
Проблема в том, что не все ссылки могут быть видны посетителю или владельцу сайта.
Специалисты студии «Медиакод» выработали определенный алгоритм действий по поиску и удалению несанкционированных ссылок на внешние ресурсы. Об этом расскажем в данной статье.
Поиск и анализ ссылок
1. Первым делом открываем сайт с помощью браузера Firefox на котором установлено расширение RDS bar
Даже если такое расширение не установлено, то рекомендуем его установить, в будущем оно еще не раз пригодится.
2. Далее смотрим показатель Links (ссылки, выделены красным)
Например, вот какой результат выдал сайт одного из наших клиентов.
3. Третий этап. Находим заботливо подсвеченные расширением RDS bar ссылки.
Из восьми обнаруженных ранее ссылок четыре ведут к разработчикам установленных на сайте модулей. Они подсвечены красным пунктиром и удаляются в случае необходимости без особого труда. Это делается либо путем настройки соответствующих расширений, либо удалением кода в файлах шаблона. Об этом в глобальной сети написано много.
4. На следующем этапе разбираемся со ссылками, которые оказались невидимыми на экране монитора.
Основная проблема состоит в том, чтобы найти зафиксированные браузером ссылки, которые мы не видим на сайте визуально. Это так называемые ссылки для роботов. Они невидимы для посетителей ресурса, но зашиты в коде страницы, а значит, будут учтены роботами поисковых систем и с большой вероятностью передадут вес с ресурса клиента обладателю ресурса, на который ведет скрытый линк.
Итак, с помощью комбинации клавиш «Ctrl+U» открываем исходный код страницы. Перед нами то, что видят роботы. На странице с кодом набираем комбинацию клавиш «Ctrl+F» и в появившемся окошке вбиваем слово «http:». Далее перебираем все элементы кода, которые содержат внешние ссылки. Вот, что у нас получилось:
Анализируя код делаем вывод, что ссылки зашиты в контейнер «rt-sp».
Данный контейнер находится после контейнера с названием статьи на сайте. Для интереса инспектируем код с помощью расширения Firebug и видим, что для контейнера прописан следующий стиль:
Вот и раскрыта загадка, почему ссылки не были видны нам на экране монитора.
Они смещены на 5000 пикселей — это примерно пять небольших мониторов, а значит находятся за пределами видимости.
Удаление кода
5. А теперь, на пятом этапе начинается самое интересное.
Дело в том, что для удаления указанных ссылок обычный метод поиска искомого кода не дает результатов. А почему так происходит, расскажем далее.
Итак, мы выяснили, что ссылки зашиты в код статьи сайта. Поэтому ищем среди файлов шаблона файл, который отвечает за вывод статьи: default.php. Открываем его с помощью визуального редактора и видим следующий набор символов:
Этот набор символов и будет тем самым кодом скрытой ссылки.
Теперь просто удаляем этот кусок кода, обновляем файл default.php на сервере и проверяем наличие нелегальных ссылок.
Они исчезли, а значит ликвидирована утечка веса с сайта клиента, задача выполнена.
Как найти и удалить скрытые внешние ссылки на сайте
Всё чаще замечаю, что сайты содержат внешние ссылки на разные ресурсы
Такие ссылки обычно прячут, поэтому они называются скрытые. Чаще всего они имеют значения: position:absolute; left:-5000px; Ну или что-то похожее. Неопытный владелец сайта может даже не догадываться, что на его сайте есть ссылка, ведущая на чужой ресурс.
Как обнаружить?
Как найти и удалить?
Вряд ли плохие люди установили просто ссылку! Скорее всего, они ее зашифровали в Base64, поэтому обычный поиск по этому адресу не даст результатов!
Способ удалить скрытую внешнюю ссылку немного долгий, так как требует локальное наличие всех файлов сайта, но зато самый действенный!
Итак! Нужно скопировать все файлы сайта на компьютер. Это можно сделать с помощью бэкапа. Пока бэкап будет скачиваться, можно налить себе кофе
После того, как бэкап скачался на компьютер, его нужно разархивировать в папку. А теперь самое важное! Вам понадобится редактор Notepad ++, чтобы найти и удалить эту гадость на сайте.
Берем и копируем код мерзкой чужой внешней ссылки, например: joomsam.ru /» title=» joomsam.ru «> joomsam.ru идем на сайт Online Base64 декодер и шифруем чужой код. Полученный результат: PGEgaHJlZj0iaHR0cDovL2pvb21zYW0ucnUvIiB0aXRsZT0iam9vbXNhbS5ydSI+am9vbXNhbS5ydTwvYT4= вставляем в поиск NotePad ++, там есть опция «Найти в файлах«. Остается только выбрать папку со всеми файлами сайта и нажать «Найти все«. Notepad++ найдет этот зашифрованный в base64 код, покажет в каком файле он находится и на какой строке! Это очень удобно!
Как попал этот код на сайт?
А также, часто встречаются готовые QuickStart с такими ссылками. Так что, проверьте ваш сайт на наличие или отсутствие скрытых внешних ссылок!
