AndreyCherezov /28.06.2004 10:22/ Спецификации проверки email адреса отправителя SenderPolicyFramework (SPF) и Microsoft CallerID объединились в общую SenderID ! (подробности см. на странице SenderID). Публикацию этой спецификации Microsoft и IETF приурочили к моему дню рождения — 23 июня
AndreyCherezov /28.06.2004 06:57/ С начала июня на наши домены пришло более 0.5 Гб спама (целый CD от 36 000 разлиных IP (сколько спамеров используют такое к-во машин — неизвестно). С этих IP было предпринято 330 тысяч попыток отправки почты. 44 тысячи из них дошли до стадии проверки содержания (т.е. сессии миновали предварительные фильтры, и письма были приняты). EservPopFile доблестно их классифицировал. Ложных срабатываний ЧЕТЫРЕ (три из них переклассифицировано отправителями, о четвертом сообщено по другим каналам), несрабатываний (просочившегося спама) — 30.
AndreyCherezov /26.05.2004 23:08/ Первым внешним адресатом среди YDK-подписанных писем, попавших на наш Eserv, оказался сам Mark Delany (разработчик спецификации YDK). Проверили с ним YDK в обе стороны. Работает! Так что рекомендую, проверено YDK-ключи для вашего домена на Eserv~acSMTP можно сделать прямо сейчас на нашем сервере: http://www.eserv.ru/ru/ca/ydk.php
AndreyCherezov /25.05.2004 23:12/ Готов YdkPlugin для Eserv/3, поддерживающий YahooDomainKeys. Только вот во входящих письмах ни разу не встречалось заветное "~DomainKey-Signature", испытывать пока не на ком, кроме себя
AndreyCherezov /19.05.2004 15:46/ В сегодняшней рассылке "Спамтеста" утверждается, что высокие показатели фильтрации спама у некоторых антиспамов объясняются некорректным тестированием (Цитата: "ОДНА И ТА ЖЕ ВЫБОРКА ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ. Наиболее грубой ошибкой является использование одной и той же выборки и для обучения, и для тестирования (уровень распознавания в результате будет резко завышенным). Именно такими некорректными условиями тестирования чаще всего объясняются рекламируемые производителями невероятные уровни распознавания наподобие 99,98%"). В связи с этим должен ответственно заявить: "рекламируемые" нами цифры для PopFile (99.99% и выше) вычисляются по РЕАЛЬНЫМ ежедневным данным нашего сервера, обслуживающего около сотни почтовых ящиков на нескольких доменах на почте самой разнообразной тематики (в одни только мои ящики сейчас приходит около 2000 сообщений в день). Начальное обучение словарей нашего PopFile выполнялось около 2 лет назад (когда вышла первая версия PopFile), с тех пор просто аккуратно дообучался в течение этих 2 лет (popfile.db имеет размер 30 мб). Напомню, PopFile нами не "рекламируется" (это бесплатный opensource проект, разрабатывамый не нами), а просто рекомендуется нашим пользователям, недовольным уровнем фильтрации широко рекламируемых отечественных и импортных фильтров (которые вместо работы над ошибками пеняют на методику тестирования Мы, напротив, используем намеренно жесткий метод оценки качества PopFile: в общее число остановленных антиспамерскими средствами Eserv/3 писем НЕ включаются письма, остановленные RBL, SPF, антивирусами, черными списками, проверкой доменов и т.д. Считаются только письма, которые без PopFile легли бы в inbox, а благодаря PopFile попадают в spam, т.е. учитывается работа ТОЛЬКО байесового движка. Если же считать весь остановленный всеми способами спам, то по этому показателю можно ставить оценку 99.999%.
AndreyCherezov /06.04.2004 00:42/ Статистика работы SpfPlugin на нашем сервере за 3 дня — SpfStatistics. Позволяет оценить степень использования SPF в интернете и пользу от его применения на данный момент. Если трактовать neutral и softfail как fail, то можно уменьшить спам на процентов 25 уже на этапе MAILFROM. Т.е. сэкономить трафик.
AndreyCherezov /03.04.2004 16:07/ На нашем сервере Eserv3 установлена новая версия SpfPlugin (поддержка SenderPolicyFramework), теперь на базе RMSPF 1.1 (автор Roger Moser выпустил эту версию в виде dll специально для нас). Пока этот plugin работает на сервере в режиме сбора статистики, не блокируя неавторизованные домены.
AndreyCherezov /24.03.2004 09:18/ Снижение объемов спама (см. новость от 11 марта) подтверждают также AOL и SpamTest.ru. Значит это уже глобальная тенденция.
AndreyCherezov /16.03.2004 11:03/ Последние несколько дней резко возросла активность спамеров в списках рассылки, расположенных на sourceforge.net (причем спам русскоязычный). До получателей рассылок спам, правда, обычно не доходит, т.к. спамеры еще плохо освоились со средствами защиты sf.net Но админам списков рассылки на sf.net часть этого спама приходит в качестве "подозрительной" почты, требующей подтверждения администратора для пропуска в список. Раньше это были единицы писем в неделю, теперь десятки в день. Очевидно, по мере вытеснения умными фильтрами из обычной почты, спамеры активно ищут новые "среды обитания".
AndreyCherezov /14.03.2004 08:03/ Спам-фильтры CRM114 и DSPAM в 10 раз точнее человека. CRM114 использует Markovian (цепи Маркова), а DSPAM — Bayesian Noise Reduction — два разных способа получения исходных данных для байесова обучения. Оба претендуют на точность классификации выше 99.9% (уже достигнутую традиционными байесовыми фильтрами, включая PopFile).
AndreyCherezov /13.03.2004 17:55/ Довольно пессимистичная, но толковая статья с обзором антиспам-методов (из двух частей)
AndreyCherezov /11.03.2004 16:10/ За 10 дней марта на мой основной личный email поступило 4906 сообщений. Из них 3239 — спам (остановлено PopFile; сессии остановленные до стадии DATA по другим спам-проверкам здесь не учтены), 909 — вирусы (остановлено KAV). По-моему, и спама и вирусов стало заметно меньше в процентном отношении Всего за эти 10 дней сервером отвергнуты 19819 писем, т.е. в среднем по 2000 сообщений в день — тоже меньше, чем недавние 5000.
AndreyCherezov /10.03.2004 11:20/ Вышла версия 0.21.0 спам-фильтра и классификатора почты PopFile. Основное нововведение — смена формата БД. Пользователи нашей версии EservPopFile используют эти новинки уже 2 месяца.
AndreyCherezov /10.03.2004 09:00/ В сегодняшней рассылке spamtest приводятся цитаты обсуждения спамерами моей статьи (без ссылки на источник цитаты) и признания спамерами байесового фильтра как самого эффективного. Со своей стороны отмечу, что рекомендуемый там способ борьбы с фильтрами — рассылка спамерами сообщений с не-спам содержимым наряду со спамом (для порчи словарей фильтров) — мало эффективен, т.к. переклассификации ложных срабатываний проходят проверку антиспам-админом и "анекдоты" в спам-словари не попадут.
AndreyCherezov /09.03.2004 14:13/ Голосование на cnews.ru "какие меры могли бы принести наибольший эффект в борьбе со спамом": установка антиспамовых фильтров 13%, борьба провайдеров со спаммерами 47%, принятие антиспамового закона 25%, введение платы за отправку сообщений с почтовых серверов 10%, никакие 4%.
AndreyCherezov /02.03.2004 17:49/ Летом Microsoft начнет тестированиеCallerID for Email на своих SMTP-серверах и у партнеров. Если этот метод получит широкое распространение (в Eserv/3 мы реализуем CallerID и SenderPolicyFramework в ближайшее время), то подделка адреса отправителя спамерами и вирусами станет невозможной. На мой взгляд, это в несколько раз снизит остроту проблем спама и вирусов, но поначалу создаст больше проблем из-за необходимости изменений в DNS, SMTP-серверах и, главное, в привычках пользователей.
AndreyCherezov /19.02.2004 18:09/ Автоматическое вычисление белого списка Email для конкретного получателя — преподносится как новый способ борьбы со спамом. Видимо авторы забыли, что натренированный байесовый фильтр эти списки ведет тоже автоматически, причем учитывается контекст... Да и в некоторых небайесовых фильтрах эта идея используется. В общем, большой новизны в этой идее я не заметил.
AndreyCherezov /21.01.2004 18:19/ http://www.russ.ru/culture/network/20040117.html — читал и сочувствовал. Почему даже известные и неглупые люди так мучаются от спама? Ну есть же хорошие фильтры! Я вот от 1000 спам-писем в день нисколько не страдаю, их сервер за меня читает Он, конечно, страдает, но на то он и сервер (Eserv/3 + PopFile на сервере). Про решение проблемы ложных срабатываний я уже писал — это связка с веб-сервером. Антону Носику, который там жаловался на проблему ложных срабатываний, следовало бы антиспам-статьи почитать вместо спама
AndreyCherezov /19.01.2004 18:21/ В связи с приближением "конца света" (завершения эпохи надежной доставки Email) можно еще раз подумать о "жизни после смерти" — моё мнение см. в HashCash
AndreyCherezov /09.01.2004 18:03/ Вслед за Osirusoft RBL прекратил работу or.orbl.org. Если вы используете этот RBL в Eserv/3, почта теряться не будет — в отличие от некоторых других почтовых серверов (разославших сегодня предупреждения своим пользователям) Eserv умеет отличать неработающий RBL от работающего
Поэзия из спама
Мы, напротив, используем намеренно жесткий метод оценки качества PopFile: в общее число остановленных антиспамерскими средствами Eserv/3 писем НЕ включаются письма, остановленные RBL, SPF, антивирусами, черными списками, проверкой доменов и т.д. Считаются только письма, которые без PopFile легли бы в inbox, а благодаря PopFile попадают в spam, т.е. учитывается работа ТОЛЬКО байесового движка. Если же считать весь остановленный всеми способами спам, то по этому показателю можно ставить оценку 99.999%.