Блог

В рамках проекта www.digincore.org для определения категории сайта мы используем, в частности, критерий связности сайта. Проще говоря, мы анализируем, куда ссылается данный сайт, и какие иные сайты, в свою очередь, ссылаются на него. Понятно, что для расчета этого критерия требуется достаточно большой граф связности. В тот прекрасный момент, когда размер таблицы с графом в MySQL перевалил за 80 гигабайт (700+ млн. записей), а время на просчет по нему уже составило больше двух часов, мы задались вопросом, а что же, в конце концов, за связи в нем лежат.

 

Исходные данные

Количество известных в системе доменов на момент просчета статистик составило чуть больше 181 миллиона. Полностью собранными были доменные зоны .com, .org, .net., .biz, .us, .ru, .su, .рф, а также сайты в других доменных зонах, на которые вели внешние ссылки с ранее собранных сайтов. Также были собраны все сайты из топа www.alexa.com. Анализировались только ссылки, размещенные на первой странице сайта. Количество сайтов, на которых была найдена хотя бы одна внешняя ссылка, составило 102 792 929. Количество сайтов, на которые ссылался хотя бы один сайт – 67 860 144.

 

Расчеты и красоты

Мы рассчитали топ 30 сайтов, имеющих максимальное количество входящих ссылок. Что же получилось? С огромным отрывом лидирует w3.org, что не мудрено, ибо каждая страница мнит о себе что написана она в соответствии со стандартами HTML (прим. автора: в этом месте Владимир, ответственный за разработку парсера вебстраниц отпустил скупую мужскую слезу)

Домен

Количество ссылок на домен

Тип ресурса

w3.org

70106556

Стандарт оформления страниц HTML

pagead2.googlesyndication.com

22904654

Онлайн-реклама, служебный сервер

godaddy.com

13644727

Регистратор доменов

as.casalemedia.com

13586566

Онлайн-реклама, служебный сервер

trialpay.com

11529281

Онлайн-реклама

facebook.com

9523588

Социальная сеть

ak.imgaft.com

7908982

Хостинг картинок, служебный сервер (в данный момент недоступен)

twitter.com

7286417

Социальная сеть

gmpg.org

7155501

Стандарт оформления страниц XHTML

ak2.imgaft.com

5151639

Хостинг картинок, служебный сервер (в данный момент недоступен)

google.com

5118101

Поисковой сервис

download.macromedia.com

4776758

Загрузка Macromedia Flash Player

ajax.googleapis.com

4308517

Google API

youtube.com

4099509

Социальная сеть

wordpress.org

2900424

Блог-платформа

adobe.com

2500189

Adobe, Inc

chevrolet.promo.eprize.com

2407292

Онлайн-реклама, служебный сервер отдельной промо-акции

c4.zedo.com

2355189

Онлайн-реклама, служебный сервер

img.sedoparking.com

1890108

Паркинг сервис

fonts.googleapis.com

1829726

Google API

i.nuseek.com

1617022

Хостинг картинок, служебный сервер (в данный момент недоступен)

whoisprivacyprotect.com

1598798

Сервис по обеспечению приватности в открытых базах данных Whois

sedo.com

1563316

Паркинг сервис

apis.google.com

1495732

Google API

ogp.me

1423130

Стандарт оформления страниц OGP

linkedin.com

1326338

Социальная сеть

google-analytics.com

1308646

Google сервис

networkadvertising.org

1236541

Онлайн-реклама

liveinternet.ru

1214307

Социальная сеть

dsparking.com

1189073

Паркинг сервис

Просмотрев лидеров, мы выделили шесть типов ресурсов. После чего сгруппировали по ним сайты  и суммировали количество входящих ссылок по группам (пахнет средней температурой пациентов по больнице, но почему бы и нет :-)

Тип интернет-ресурса

Количество ресурсов

% от числа сайтов в топ-30 по типу ресурса

Количество входящих ссылок

% от количества ссылок на тип ресурса

Стандарты оформления веб-страниц

3

10,0

78685187

36,6

Онлайн реклама

6

20,0

54019523

25,1

Хостинги файлов, загрузка ПО, API

8

26,7

28397022

13,2

Социальные сети и блог-платформы

6

20,0

26350583

12,3

Отдельные компании

4

13,3

22861815

10,6

Паркинг сервисы

3

10,0

4642497

2,2

Всего

30

100,0

214956627

100,0

Углубляться в анализ далее смысла нет, дабы не получить лычку капитана Очевидности, и так все достаточно  прозрачно. Можно разве что сделать примерную оценку, какое количество ссылок в поисковых системах является шумом, и дать пару поясняющих диаграмм:


b2ap3_thumbnail_links-per-type.jpg

 b2ap3_thumbnail_count-per-type_20121204-122044_1.jpg