Устройство системы

Как связка Squid+SquidGuard использует блэклист?

Большое количество возникающих в последнее время вопросов вида "Как использовать ваши блэклисты в реальной ситуации?", дали нам возможность осознать необходимость написания серии статей на эту тематику.  Последнюю пару недель мы потратили на сборку и нагрузочное тестирование системы фильтрации доменов и URL-ей на базе связки iptables, Squid и SquidGuard под наши блэклисты. Узнали достаточно много интересных нюансов, которыми и начинаем делиться в данной статье. 

Понятие "единообразный домен"

Сайты, расположенные, либо имеющие вложенные домены третьего и выше уровней - один из камней преткновения в автоматизированных системах контентной фильтрации, основанных на парадигме блокирования по URL. Рассмотрим, каким образом возможно разрешить эту проблему в гибридной системе, совмещающей автоматическую и экспертную оценку сайтов.

Исходные идеи

Понемногу доходят руки до описания того, что мы делаем. Для начала зафиксируем несколько основополагающих идей, которые мы заложили в нашу систему классификации сайтов.

Методика оценки качества блэклистов

Основная идея, лежащая в основе способа оценивания качества предоставляемых блэклистов заключается в сравнении оценок, выставленных экспертами (рейтерами) и автоматикой. Чем больший процент оценок совпадает, тем выше качество.