Блог

В свете удачно осуществленной операции решил поделиться новым опытом.

Начну с описания ситуации. Была у нас в MySQL одна о-очень большая таблица (84 Gb, 700+ млн. записей), в которой хранился граф связности собранных нами сайтов. По мере накопления данных размер таблицы стал таков, что ее производительность перестала нас удовлетворять, да и появилось желание немного изменить структуру данных. Возникла задача трансформации достаточно большого объема данных в условиях нагруженного  сервера.

На продакшн сервере мы используем InnoDB движок на Mysql версии 5.5.28 под Ubuntu 10.04. На днях, а именно в новогодние праздники, случилась у нас потеря соединения с MySQL, которая привела к вылету взаимодействующих с БД модулей с ошибкой: «Lost connection to MySQL server during query».

После установки связки Squid+squidGuard для URL-фильтрации на основе блэклистов (см. Настройка URL-фильтраций на локальном компьютереНастройка iptables на сервере локальной сети) перед вами встали несколько вопросов:

  • Как обрабатывать запросы к заблокированным блэклистами доменам?
  • Если перенаправлять их на какой-либо домен, то как предоставить пользователям возможность обратной связи (например, при помощи удобной отсылки запроса на исключение домена из блэклиста)?

Аннотация: Статья посвящена описанию установки полнотекстового поискового движка Sphinx Search Engine в Mysql. Рассмотрены особенности и тонкости сборки SphinxSE в качестве плагина для MySQL.

Введение 

Исторически, особенностью MySQL практически всех поколений является достаточно слабый (медленный) алгоритм полнотекстового поиска. Когда объемы обрабатываемых текстовых данных превысили определенный предел, мы задумались над альтернативным способом реализации полнотекстового поиска.

Таким решением для нас стал свободно распространяемый проект Андрея Аксенова Sphinx (http://sphinxsearch.com). На данный момент Sphinx является одним из самых сильных и активно развиваемых проектов. Он позволяет быстро индексировать данные из различных источников, имеет множество API, с помощью которых организуется поиск данных на различных программных платформах/языках программирования.

Т.к. мы активно используем в своей работе базу данных Percona MySQL (http://percona.com), наилучшим решением для нас стал SphinxSE - engine для MySQL.

Об особенностях установки этой связки эта статья.

Продолжаем рассматривать возможности squidGuard по фильтрации URL. Ранее мы рассказывали о том, как установить и настроить squidGuard (см. Настройка URL-фильтраций на локальном компьютере, Настройка перенаправления в squidGuard 1.4.).

В этой статье речь пойдет об использовании регулярных выражений при фильтрации URL связкой: прозрачный прокси squid3 и squidGuard 1.4