Веб-скрейпинг: как бесплатно спарсить и извлечь данные с сайта
Часто у вебмастера, маркетолога или SEO-специалиста возникает необходимость извлечь данные со страниц сайтов и отобразить их в удобном виде для дальнейшей обработки. Это может быть парсинг цен в интернет-магазине, получение числа лайков или извлечение содержимого отзывов с интересующих ресурсов.
По умолчанию большинство программ технического аудита сайтов собирают только содержимое заголовков H1 и H2, однако, если например, вы хотите собрать заголовки H5, то их уже нужно будет извлекать отдельно. И чтобы избежать рутинной ручной работы по парсингу и извлечению данных из HTML-кода страниц – обычно используют веб-скраперы.
Веб-скрейпинг – это автоматизированный процесс извлечения данных с интересующих страниц сайта по определенным правилам.
Возможные сферы применения веб-скрейпинга:
Основными способами веб-скрейпинга являются методы разбора данных используя XPath, CSS-селекторы, XQuery, RegExp и HTML templates.
Обычно при помощи парсинга решаются задачи, с которыми сложно справиться вручную. Это может быть веб скрейпинг описаний товаров при создании нового интернет-магазина, скрейпинг в маркетинговых исследованиях для мониторинга цен, либо для мониторинга объявлений (например, по продаже квартир). Для задач SEO-оптимизации обычно используются узко специализированные инструменты, в которых уже встроены парсеры со всеми необходимыми настройками извлечения основных SEO параметров.
Существует множество инструментов, позволяющих осуществлять скрейпинг (извлекать данные из веб-сайтов), однако большинство из них платные и громоздкие, что несколько ограничивает их доступность для массового использования.
Поэтому нами был создан простой и бесплатный инструмент – BatchURLScraper, предназначенный для сбора данных из списка URL с возможностью экспорта полученных результатов в Excel.
Интерфейс программы достаточно прост и состоит всего из 3-х вкладок:
Как найти сетку сайтов?
Привет! Сегодня расскажу, как определить сетку сайтов одного владельца и какие для этого нужно использовать сервисы и инструменты.
Стоит отметить, что чужие проекты можно найти не только используя платные сервисы, но и при помощи бесплатных инструментов. В данной статье я расскажу и про те и про другие.
Способы поиска сеток чужих сайтов
Для двух первых бесплатных способов вам потребуется узнать IP адрес того сайта, который вы хотите пробивать на предмет наличия целой сетки сайтов одного владельца.
Для того чтобы узнать IP-адрес сайта нужно зайти в «Командную строку» Windows и вбить команду:
Винда любезно предоставит айпишник хостинга, на котором находится сайт.
Имея IP, переходим к двум способам, описанным ниже.
Поисковая система Bing
Самый простой, но при этом наименее информативный способ – это использовать команду в поисковике Bing.
Зная IP-адрес, вам необходимо вбить команду в Бинге вот таким образом:
Получаем такую выдачу:
Т.е. на данном IP у Яндекса лежит 77 доменов/поддоменов/сайтов.
Стоит отметить, что подобным образом нельзя вычислить сайты одного владельца, если у него не выделенный сервер, а хостинг типа Beget или Hostenko или любой другой, т.к. на одном IP будут размещаться сотни других сайтов, которые могут не иметь никакого отношения к человеку, сетку которого вы ищите.
В этой связи подобный метод работает только, когда вы уверены, что у владельца все его сайты размещаются на выделенном серваке.
2IP.ru
По такому же принципу можно определить сетку с помощью сервиса 2ip.ru. Вот прямая ссылка на него.
Однако, сервис очень часто глючит и не ищет ничего, выдывая ошибку или находит далеко не все сайты. Вот, например, если в Bing мы нашли 77 результатов для IP Яндекса, то 2ИП выдал всего один домен:
Keys.so – платно и БЕСПЛАТНО
И наконец, 146%-ый способ найти все сайты, принадлежащие одному человек – это платный сервис Keys.so.
Сервис ищет сетки анализируя код Adsense и Google Analytics, а также Relap.io, Moevideo, Leadia, Leetero, но как правило все палятся на Адсенсе или Аналитиксе 🙂
Что нужно, чтобы определить сайты нашей жертвы? Оплатить Базовый тариф (4800 рублей за месяц) и вбить домен в строку. Для эксперимента взял первый попавшийся домен на Телдери:
Всё очень просто, переходим и радуемся находке 🙂
Лайфхакерский метод спалить сетку в Кейс.со БЕСПЛАТНО
Купить подписку и узнать все сайты “жертвы” – метод “для слабаков” 🙂 Есть вариант посмотреть максимальное количество чужих сайтов бесплатно. Что нужно сделать?
Вначале перейти в раздел – Сайты владельца:
В бесплатном режиме мы увидим только 2 сайта, однако, если поочерёдно кликать по параметрам фильтрации, список доменов будет меняться:
Таким образом можно увидеть довольно много (а зачастую и все) сайты одного владельца.
Для чего это нужно?
Зачем вообще палить чьи-то сайты? Лично я использую чужие сетки сайтов для анализа и выбора ниши.
Анализируя чужие проекты можно взять себе на вооружение какие-то новые или особенные фишки в оформление статей, в SEO в целом или монетизации.
Палево чужих сайтов незаменимый помощник при выборе ниши для запуска новых проектов. Лично у меня есть целый алгоритм действий поиска ниши и не последнее место в этом алгоритме занимает именно определение чужих сеток.
7 инструментов, которые позволят вам узнать многое о сайтах конкурентов
Есть два основных способа учиться – на своих ошибках и на чужих успехах. Согласитесь, второй вариант явно более предпочтительный, так как позволяет сэкономить время и деньги. А эти два ресурса в дефиците у всех.
Анализ конкурентов в интернет-маркетинге в полной мере соответствует заявленному принципу, так как дает возможность понять, что работает, а что нет, перенять успешные практики и приложить усилия в тех направлениях, которые потенциально могут обеспечить наибольшую отдачу.
В наше время достаточное количество инструментов, которые дают возможность узнать о сайтах конкурентов если не все, то очень многое. Причем большая часть из них еще и совершенно бесплатны.
И вот 7 полезных лайфхаков, как применять их на практике.
Смотрим посещаемость чужих сайтов
Пожалуй, один из самых популярных инструментов, которые используются для решения этой задачи – Similarweb.com. Анализировать интересный вам домен можно как на главной странице самого сервиса, так и через плагин для Chrome. Второй вариант просто удобнее, так как получить данные можно буквально одним кликом, никуда не уходя с сайта.
Но в последнее время сервис перестал показывать цифру посещаемости для сайтов со сравнительно небольшим количеством трафика, примерно от 10 тыс. посетителей в месяц и ниже. А для многих коммерческих проектов это вполне себе нормальный показатель, и данные в итоге не отображаются.
Поэтому рекомендуем обратить внимание на еще один интересный сервис – Be1.ru. Это комплексный анализатор сайтов по большому числу параметров, но данные относительно посещаемости он подтягивает с того же Similarweb.
Правда в отличие от последнего показывает цифру посещаемости, даже если у анализируемого сайта она на уровне всего нескольких посетителей в месяц:
Только имейте в виду, что это приблизительные цифры. Очень часто они бывают завышены на 30–50%. Например, для сайта, который в апреле месяце посетило 11 628 пользователей, сервис показывает следующие цифры:
Проверяя через данный анализатор список основных конкурентов, можно отобрать тех из них, у кого больше всего трафика, а значит их анализу стоит уделить особое внимание.
Ищем самые трафиковые страницы
Сегодня, когда ссылки отошли на второй план, контенту уделяется особое внимание. Но далеко не все тексты одинаково полезны. И ситуация, когда большую часть трафика на сайте генерирует 5–10% страниц от общего числа, совсем не редкость.
Если изначально грамотно подходить к составлению контент-плана и стратегии, хороший трафик может давать как минимум каждая вторая статья или страница. Это в разы увеличивает эффективность работы и ускоряет возврат инвестиций от сайта, так как посетителей вы получаете и быстрее, и больше.
Как этого добиться? Есть проверенный способ: проанализировать сайты конкурентов, найти страницы/темы с наибольшей видимостью и создать такие же на своем ресурсе.
В этом деле поможет Serpstat.com, а сам алгоритм работы состоит из следующих шагов:
1. Берем интересный нам сайт, вводим его адрес в строку для анализа на главной Serpstat, выбираем поисковую систему актуальную для целевого региона и жмем «Поиск»:
2. Теперь открываем меню «Анализ ключевых фраз», затем «SEO-анализ» и переходим к пункту «Страницы лидеры». Теперь вы можете видеть страницы сайта, отсортированные по такому показателю, как количество фраз в поиске:
3. Можно экспортировать весь список страниц для дальнейшего анализа или скачать отчет со списком запросов по наиболее трафиковым. Для этого нужно просто нажать на число в колонке «Фраз в поиске» возле конкретного URL, а затем в правом верхнем углу нажать на кнопку «Экспорт» и выбрать нужный формат сохранения данных:
Для того чтобы использовать возможности Serpstat в полной мере, нужно перейти на платный тариф. Но и на бесплатном аккаунте вполне можно собрать хороший набор тем для старта.
Анализируем тексты
Чтобы найти закономерности между эффективным контентом на разных сайтах, можно использовать специальные анализаторы, которые выдают сводку по различным характеристикам исследуемого текста. Один из них, на который стоит обратить внимание, – Istio.com. Сервис удобный и полностью бесплатный.
Просто копируем нужный фрагмент статьи в поле и жмем кнопку «Анализ текста»:
Через несколько секунд получаем результаты анализа со сводной статистикой по таким параметрам, как:
Ниже можно переключаться между вкладками с проверкой орфографии, картой с выделением наиболее популярных слов. Также здесь есть такая интересная возможность, как копирование текста с указанного URL с фильтрацией всего лишнего:
Эта опция – удобный способ проверять страницы чужих сайтов прямо на лету, изучая различные показатели. Например, можно понять, что общего у страниц из ТОПа по конкретному запросу.
Изучаем, откуда идут переходы
Анализ реферальных переходов позволяет найти интересные источники получения посетителей в дополнение к органическому трафику. Для контентных проектов это возможность задействовать дополнительные каналы привлечения аудитории, а для коммерческих – увеличить продажи и получить дополнительные лиды.
Чтобы узнать, откуда идут переходы на чужой сайт, используем также Similarweb. Просто переходим на вкладку Referrals в отчете и смотрим колонку слева – Top Referring Sites:
Бесплатная версия сервиса показывает только ТОП 5 источников, с которых идут переходы, но даже этого вполне достаточно, чтобы собрать хорошую базу для работы. Если работать с внешними площадками регулярно, можно привлекать неплохой дополнительный трафик:
Также стоит обратить внимание на вкладку Social. Здесь выводятся данные по социальным сетям, из которых идут переходы на сайт, с сортировкой источников от большего к меньшему:
Где у них проставлены ссылки
Как уже упоминалось выше, ссылки уже нельзя назвать первоочередным фактором ранжирования, но к списку основных их все еще можно отнести. Даже для информационного сайта они будут полезны, так как придают определенный «траст» при оценке алгоритмами поисковиков. А для коммерческих проектов хороший ссылочный профиль может стать той самой золотой акцией, которая поможет дойти до ТОПа.
Проблема в том, что получать действительно хорошие ссылки становится все сложнее, хороших доноров в биржах мало и стоят они дорого. В Рунете начинают набирать популярности те же методы линкбилдинга, что и за рубежом – крауд-маркетинг и контент-маркетинг на внешних ресурсах.
Проще всего собрать базу для линкбилдинга путем анализа сайтов-конкурентов через такие сервисы, как Ahrefs.com и Megaindex.com. Пример отчета, полученного через Ahrefs:
И отчет по тому же сайту, но уже через Megaindex.com (модуль «Внешние ссылки»):
Разница в объеме данных небольшая по сравнению с переплатой почти в два раза.
И что пользуется популярностью в соцсетях
Если анализ видимости страниц чужих сайтов в поиске является одной из наиболее распространенных задач при анализе конкурентов, то о виральности контента большинство специалистов совершенно не задумываются. А ведь это не менее важно, так как вирусное распространение в соцсетях может привести на сайт тысячи посетителей за короткое время и с минимальными вложениями на старте.
Существует множество медиапроектов и в Рунете, и за рубежом, которые ориентированы именно на социальные сети (преимущественно Facebook) как основной источник получения трафика. Просто взгляните на пример ниже:
Для такой аналитики можно посоветовать только один действительно мощный инструмент – сервис Buzzsumo.com. Он умеет как выдавать наиболее популярный в социальных сетях контент по искомой фразе/ключевому слову, так и показывать самые расшариваемые страницы на конкретном сайте:
Как видно по скриншоту, по умолчанию сортировка осуществляется по общему числу расшариваний, но также выводится и счетчик отдельно по конкретной социальной сети (Facebook, LinkedIn, Twitter, Pinterest). При желании можно сортировать результаты по нужной платформе.
Бесплатный аккаунт показывает список из 5 самых популярных страниц за последний год. Негусто, но, если есть большой список ресурсов для анализа, этого будет достаточно, чтобы составить хорошую подборку потенциально виральных тем.
Подведем итоги
Анализ конкурентов поможет получить достаточный объем информации для составления грамотной стратегии продвижения, которая позволит добиться большего с меньшими затратами времени и денег. Полученные данные можно использовать как для оценки ниши при запуске сайта, так и для «подтягивания» в ТОП важных посадочных страниц даже в тематиках с действительно высокой конкуренцией.
Многие инструменты, которые пригодятся в этом деле, доступны для использования совершенно бесплатно. Другие же предлагают ограниченные возможности для триал-аккаунтов, которыми можно воспользоваться на старте, а затем уже переходить на платные тарифы.
Надеемся, перечисленный в этой статье джентельменский набор инструментов, пригодится вам в работе не раз. Неважно – для своих или для клиентских проектов – они будут одинаково полезны, позволяя получать больше результатов с меньшими усилиями.
Как проверить посещаемость чужого сайта
Зачем нужно знать статистику посещаемости
Узнать посещаемость сайта необходимо для того, чтобы:
Как определить, охват каких сайтов стоит знать
Равняться лучше на конкурентные площадки из топ-10 в поисковой системе (исключая контекстную рекламу). Ищите в режиме инкогнито, чтобы поиск не учитывал историю запросов и cookies. Для сравнения данные сайтов можно занести в таблицу.
Как узнать посещаемость чужого сайта
Узнать посещаемость чужого сайта можно несколькими способами:
Рассмотрим особенности всех методов.
Счетчики
Сайты с доступом к статистике встречаются все реже. Установкой счетчиков занимается владелец сайта, он же принимает решение о доступе к ним. Наиболее популярны среди пользователей два счетчика: Яндекс.Метрика и LiveInternet.
Яндекс Метрика
Счетчик Метрики отражает средний показатель посещаемости за месяц, неделю или сутки. Для того, чтобы узнать данные, нужно кликнуть на значок внизу страницы. Если информации нет на сайте, введите в строку браузера ссылку:
Номер можно найти через «Просмотр кода страницы» (Ctrl+U). Но этот метод сработает при открытой статистике.
LiveInternet
При открытом доступе пользователи могут проверить посещаемость чужого сайта и время нахождения пользователей на сайте.
LiveInternet показывает частичную статистику, то есть охват только за определенный период. Так можно приблизительно рассчитать средний показатель посещаемости за месяц.
Если статистика закрыта, введите в строку браузера ссылку:
где « site.ru » заменяют именем нужного сайта. В результате появится та же информация, что и при публичном доступе.
Погрешность в показателях счетчиков может быть большой. Для перестраховки используют другие методы сбора статистики.
Сервисы для анализа трафика чужого сайта
Узнать закрытую информацию о посещаемости ресурса помогают онлайн-сервисы. Сведения собираются через тулбары.
SimilarWeb
Сервис англоязычный, с помощью него можно узнать:
Сбор информации выполняется при помощи:
Similarweb имеет платную и бесплатную версии. Без регистрации можно просматривать конкурирующих доменов с трафиком не выше 12 тысяч в месяц, а после регистрации – от 5 тысяч посетителей. Подписка также открывает дополнительные функции в сборе статистики сторонних сайтов: ее можно опробовать бесплатно в течение 7 дней. Полный пакет стоит от 1099$ в месяц.
SEMRush
Сервис доступен на русском языке. Посмотреть посещаемость можно во вкладке «Анализ трафика» и в свободное поле ввести все необходимые домены. SEMRush покажет:
Индивидуальные тарифы – от 1400 рублей в месяц, а для компаний – от 35 тысяч.
Keys.so
Keys.so расскажет, какие позиции сайт занимает, охват ключей, количество страниц в выдаче и трафик. Также сервис разбирает рекламную кампанию конкурентов. Учет этих деталей поможет повысить эффективность собственного сайта.
Стартовый тариф стоит 1500 рублей в месяц.
PR-CY.RU
Отечественный сервис, который проводит SEO-анализ ресурса и определяет посещаемость. Чаще используется для собственного сайта, поскольку для сторонних показывает усредненные показатели. Чтобы воспользоваться расширенным функционалом, нужно оформить платную подписку: начальный тариф – 990 рублей и профи – 1990 руб.
ALMOST.RU
Сайт находит на проверяемом ресурсе коды счетчиков Яндекс.Метрика и LiveInternet и собирает только количество просмотров и хостов в день. Ресурс бесплатный, но существует ограничение на количество проверок – до 20 сайтов.
Web-ru.net
Сервис предлагает узнать трафик чужого сайта двумя способами: старым и новым. Однако новизна относительна – второй метод появился в 2013 году. Старый способ берет данные у счетчика Яндекс.Метрика, а новый у LiveInternet. Также можно узнать объем мобильного трафика. Но если данные охвата закрыты, то сервис не покажет результат.
BE1.RU
На сайте можно посмотреть не только посещаемость ресурса, но и индексацию в поисковых системах, возраст и стоимость домена. Эта информация подскажет, сколько времени и средств уйдут на раскрутку собственной площадки. Также у Be1.ru есть собственный плагин, который показывает данные о ресурсе быстрее, чем сайт. Для того, чтобы ее посмотреть нужно кликнуть на значок плагина в правой строке браузера и выбрать функцию.
2IP.RU
У 2ip.ru много инструментов, но большинство из них опирается на данные других сайтов (например, Alexa.ru или Яндекс.Метрика). Сервис бесплатный, но из-за отсутствия собственных алгоритмов анализ многих ресурсов недоступен.
RASKRUTY.RU
Ресурс не только показывает посещаемость при открытой статистике, но и определяет индекс качества сайта от поисковой системы Яндекс (заменил тИЦ). Этот показатель полезно знать и для своей площадки при чистке базы каталогов.
Проверять можно одновременно до 10 сайтов. Данные показываются по счетчику Liveinternet, Яндекс.Метрика, рейтинг Alexa.
SerpStat
Минимальный тариф в Serpstat стоит от 1350 руб. Есть и бесплатная версия с ограниченным функционалом.
Alexa
Сервис составляет рейтинг, который основывается на статистических данных: соотносит количество уникальных посетителей и число просмотренных страниц. Также сервис показывает ключевые фразы конкурента, неиспользуемые запросы, которые приведут новых клиентов. Стоит учесть, что анализ проводится только среди англоязычных ресурсов.
Alexa собирает информацию при помощи следующих инструментов:
Сервис допускает погрешность в расчете трафика, потому что учитывает не все визиты на страницы. Также важно помнить, что недолгое время после появления сайт может занять высокую позицию рейтинга (например, за счет активной рекламной кампании), поэтому проверяют позицию раз в 3 месяца.
Альтернативные методы оценки статистики
Если точный анализ посещаемости сайта – это не главная цель и нет возможности оформить подписку на сервисы и инструменты, можно воспользоваться альтернативой. Показатели в этом случае будут усредненными.
Изучите рейтинги популярных сервисов, например, Alexa, LiveInternet, Ruward – они ранжируют сайты по посещаемости. Найдите в списке конкурента и посетите ресурсы его соседей: возможно, их счетчики открыты и вы сможете узнать трафик у конкурента.
Заключение
Рекламные ресурсы любят открывать статистику охвата для привлечения заказчиков. Но если вы столкнулись с закрытой статистикой, раздобыть информацию о посещении помогут сервисы. Большинство из сервисов платные, но есть возможность опробовать их в течение бесплатного периода. Также можно воспользоваться данными рейтингов посещаемости. Используйте сразу несколько способов, чтобы получить достоверные данные о трафике.
