Слишком большой траффик на почту

[jcsuper]

Ребята, добрый день, не знаю правильный ли раздел, но..

Есть такая ситуация, за прошлый месяц провайдер выставил огромный счет за траффик, при детализации увидели, что

83.222.26.36 7 506 893 938 (in bytes) pop1.masterhost.ru.

То есть почтовый траффик превысил 7 гигов. Имхо многовато, с учетом, что панель управления почтой на мастерхосте показывает писем, дай Бог, 1 гиг на все ящики в сумме. Сам мастерхост не может дать информацию по траффику, говорит можно только локально его контролить. Как его контролить я хз..

Настройки сети у нас такие:

Сервак Win2003 и 8 компов на XP. Стоят Керио винрут и UserGate.

Настройки след:

Керио

UG

Авторизацию делаю на комп директора, то есть судя по описанию, весь почтовый трафик должен идти на него, но у него еле 500мб за месяц по статистике набегает.

Компы клиентов настроены на получение почты через сервер 110.110.1.1 с портами 2110 2025 (как в UG назначили)

Кто может подсказать какие причины такого огромного трафа и как контролить правильно?

[Timba]

jcsuper

Не знаю как работают(и работают ли вообще) вместе KWF и UG, обычно используют что-то одно. С IP адресами тоже не совсем явно:

 ~ $ whois 83.222.26.36% This is the RIPE Database query service...........................................inetnum:		83.222.26.0 - 83.222.26.255netname:		MASTERHOST-SERVICESdescr:		  Masterhost servicescountry:		RU..................................address:		Lyalin lane 3, bld 3address:		105062 Moscowaddress:		Russia 

и

 ~ $ whois 110.110.1.7% [whois.apnic.net node-2]..........................................inetnum:	  110.96.0.0 - 110.127.255.255netname:	  CTTNETdescr:		China TieTong Telecommunications Corporationdescr:		Jinze Mansion, 2 Guangningbo Street,descr:		Xicheng District, Beijing, China, 100032country:	  CN 

Но исходя из скринов я бы обратил внимание и предложил в Traffic Policy в KWF сделать следующее:

Вместо второго правила, которое разрешает любой трафик наружу:

Name Source Destination Service Action

NAT Local Internet Any Allow

создать следующие:

Name Source Destination Service Action

DNS Local Internet dns Allow

HTTP Local Internet http Allow

HTTPS Local Internet https Allow

SMTP Local smtp.masterhost.ru smtp Allow

POP Local pop.masterhost.ru, pop.yandex.ru pop3 Allow

И добавить сюда еще (если нужно) правила для остальных необходимых сервисов (ICQ, FTP...)

Этим закрывается использование всех остальных ненужных протоколов и использование "чужих" почтовых серверов.

Большой входящий почтовый трафик возникает, если работать по протоколу IMAP.

Кстати, непонятно, что там делает почтовый сервер yandex? Можно же пересылку на masterhost.ru сделать.

Как настроить здесь UG не подскажу, не использую.

По почтовому хостингу "Мастерхост" отдельно могу сказать следующее, сталкивался с ОГРОМНЫМ количеством приходящего спама и если он у вас чем-то "режется", то копните в этом направлении, возможно эти входящие Гигабайты относятся именно к спаму.

Изменено 23 сентября, 2009 пользователем Timba

[jcsuper]

Timba, спасибо. Подправлю 110.110.1.1-7 это внутренние адреса локалки, типа 192.168.0.1 (просто они использовались до моего прихода, я их и не меняла на более мне привычные)

Попробую настроить траффик через керио, как вы говорите - но керио не подсчитывает статистику по каждому юзеру, по этому местный настоящий админ (в отличие от меня) добавил нам Юзер гейт. Столкнулась еше с тем, что ограничения трафика через керио не работают, видимо перехватываются Юзер гейтом - пришлось туда правила дублировать.

Яндекс там добавлен как тестовый - я на нем училась :) - с ним все в порядке.

А вот за наводку на спам - огромное спасибо, тоже пришли к выводу, что мог быть и он (но на 7 гигов :blush2: ). С другой стороны спам до нас не доходит - его режут прямо на мастерхосте (как нам объяснили), значит не может он учитываться... у меня лично никаких фильтров на спам не стоит

[Timba]

jcsuper

Странно, да и сомнительно что KWF не умеет подсчитывать статистику по пользователям. Наверняка в логах информация есть, если авторизация по пользователям включена. В этом случае к нему лучше было какой-нибудь ProxyInspector прикрутить специально для KWF, а не UserGate ставить.

А вот за наводку на спам - огромное спасибо, тоже пришли к выводу, что мог быть и он (но на 7 гигов doh.gif ). С другой стороны спам до нас не доходит - его режут прямо на мастерхосте (как нам объяснили), значит не может он учитываться... у меня лично никаких фильтров на спам не стоит

А вы уверены? :blush2: А то вдруг этот настоящий админ, который китайские IP-адреса во внутренней подсети прописал, UserGate вместе с KWF установил, еще и анти-спам какой-нибудь поставил, да вы о нем не знаете? :)

У Masterhost вообще со спамом странная ситуация. Либо его так "режут", что вообще никакого не приходит, но тогда и не приходит часть нужных писем, либо открывают, чтобы письма приходили, но тогда валится спама по 500 писем на ящик в день. С "золотой серединой", когда я с ними сталкивался, у них было плохо.

Изменено 23 сентября, 2009 пользователем Timba

[Maikll]

jcsuper: а как у вас сейчас настроена авторизация доступа в нет и подсчет трафика? На скрине видно, что по крайней мере почта идет привязка по ip. Как совпадает ваша статистика с провайдерской?

Попробую настроить траффик через керио, как вы говорите - но керио не подсчитывает статистику по каждому юзеру, по этому местный настоящий админ (в отличие от меня) добавил нам Юзер гейт. Столкнулась еше с тем, что ограничения трафика через керио не работают, видимо перехватываются Юзер гейтом - пришлось туда правила дублировать.

Найдете себе нормального админа. Настоящего.

Смысла использования связки UG+KWF нет, тем более что UG по функционалу не может и половины того, что умеет керио, тем более такая устаревшая версия как 2,8.

Исходя из представленных скринов, шлюз с керио у вас сейчас напоминает распахнутые настеж ворота - разрешено все и всем. Не хватает только и извне все разрешить. :blush2:

Советую полностью переделать схему: UG убрать, настроить авторизацию через керио (он умеет авторизовать по ip, с использованием dhcp еще и ip+mac, через веб-интерфейс, по логину и паролю, средствами AD) В правилах явно указать только те службы, которые нужны для работы. Для почты сделать отдельное правило, с маппированием на адреса мастерхоста, весь остальной трафик по smtp-pop3 запретить.

Таким образом у вас будет полный учет трафика, почта будет учитываться отдельно (в графе незарегистрированные пользователи, тут уж ничего не сделаешь). В керио последних версий есть и собственные неплохие средства для отображения статистики, но всегда можно использовать бесплатный WinRoute Spy

По спаму конечно в идеале свой почтовый домен, но можно и по pop3 кое-что сделать, вот к примеру как я вышел из похожей ситуации в свое время - http://www.softboard.ru/index.php?s=&s...st&p=420733

Изменено 23 сентября, 2009 пользователем Maikll

[jcsuper]

Ребят, боюсь моих знаний на описываемые вами действия у меня не хватит :1eye: а нанимать админа никто не будет, это точно- не тот уровень компании. А я честно говоря, побоюсь рушить работающую сетку

А вы уверены? smile.gif А то вдруг этот настоящий админ, который китайские IP-адреса во внутренней подсети прописал, UserGate вместе с KWF установил, еще и анти-спам какой-нибудь поставил, да вы о нем не знаете? smile.gif

В антиспаме да, почту здесь поднимала я, и спамов не стоит.

По поводу адресов 110.110.1.1 - точно помню, что заинтересовавшись этим вопросом, я находила какую-то документацию, что это используемый в локальной сети адрес - сейчас лень ворошить инет :1eye:

Maikll:

Авторизации доступа нет, просто все программы, выходящие в инет, идут через прокси сервер (локальный сервак) и по IP юзера в ЮГ подсчитываются. К сожалению при такой схеме не знаю, как добавить в статистику сам сервер, а так он является моей рабочей машиной- то траффик на ней есть (угум, я знаю, что это дикое нарушение ТБ, но я уже все уши прожжужала руководству про покупку мне отдельной машины -кризис :thumbup: )

Статистика ЮГ за август выдала около 6 гб на машины юзеров без моих трат и без почты по видимому.

У нас кстати используется собственный домен, он на скрине замазан, то есть почту мы может принимать как по pop.masterhost.ru, так и по pop.домен.ru

Изменено 24 сентября, 2009 пользователем jcsuper

[Maikll]

jcsuper: Да вы не бойтесь - не так страшен черт... Особо большие перенастройки, кстати, и не понадобятся. Просто настроить авторизацию на Керио и убрать прокси UG. Тем более что всегда можно попросить помощи здесь, я, да и Тим думаю тоже, не откажемся помочь :)

Все-таки авторизация у вас есть - по ip. Вот то же самое можно (и нужно сделать на kwf) Я так все-таки понимаю, что эти две программы находятся на разных компьютерах?

Если все же решитесь, от вас нужно больше информации: примерный графический план сети, можно просто нарисовать схему как расположены компы и как соединены, интересуют не все, а в первую очередь шлюз, ваш компьютер, пара клиентов сети. На следующих компьютерах выполните в командной строке команду ipconfig /all, результаты выполнения выложите на форуме (желательно в виде текста):

- компьютер с установленным керио

- ваш компьютер где юзергейт (все же надеюсь это разные машины)

- с одного из клиентских компьютеров сети, любого.

обязательно укажите какой лог откуда.

После этого уже можно будет давать конкретные рекомендации.

По почте: можно будет либо оставить все как есть (каждый клиент сам индивидуально получает почту), либо поставить собственный почтовый сервер и собирать письма на него а уже оттуда к клиентам.

В общем, прикидывайте, решайтесь... Так как есть - это не дело, имхо.

Изменено 24 сентября, 2009 пользователем Maikll

[jcsuper]

Спасибо, если надумаю, то конечно обращусь. Но хочу разобраться с ситуацией. Сейчас провела небольшое исследование детализации траффика

Ситуация примерно следующая

20090803 83.222.26.36 166 692 153

20090804 83.222.26.36 201 114 424

20090805 83.222.26.36 222 687 842

20090806 83.222.26.36 263 218 059

20090807 83.222.26.36 245 145 588

20090808 83.222.26.36 195 782 005

20090809 83.222.26.36 195 356 774

20090810 83.222.26.36 215 764 075

20090811 83.222.26.36 252 767 944

20090812 83.222.26.36 260 600 938

и так до конца месяца. То есть ежедневно выкачивается около 200 мегов почты. У нас на почте как раз 277 мегов. Думаю как то связано.. Неужели сервер выкачивает всю почту, вместо новых писем? Но смущают цифры тогда: после 250 падает на 195, потом снова повышается..

Почту с сервера не удаляем, забираем Батом.

[Timba]

Сейчас провела небольшое исследование детализации траффика

..........................................................................

20090808 83.222.26.36 195 782 005

20090809 83.222.26.36 195 356 774

20090810 83.222.26.36 215 764 075

20090811 83.222.26.36 252 767 944

20090812 83.222.26.36 260 600 938

и так до конца месяца. То есть ежедневно выкачивается около 200 мегов почты. У нас на почте как раз 277 мегов. Думаю как то связано.. Неужели сервер выкачивает всю почту, вместо новых писем? Но смущают цифры тогда: после 250 падает на 195, потом снова повышается..

Почту с сервера не удаляем, забираем Батом.

Боже ж мой, как все запущено... :) Вы в качестве локального почтового сервера Бат используете? :clap_1:

Так может стоит в его настройках "покопать"? Его версию скажите заодно.

[jcsuper]

Бат не является локальным сервером, на Бат скачивается общая почта, расшаривается по сети папка и доступ к Бату имеет каждый + у каждого юзера Outlook Express для личной именной почты, в котором вместо smtp и pop.masterhost стоит IP сервака 110.110.1.1 (но размер ящиков юзеров не превышает 20мб)

Версия 3.0.1.33

В настройках как раз и копалась... В том то и дело, что ничего в настройках с мая месяца не менялось, а трафик такой именно в августе.

Изменено 25 сентября, 2009 пользователем jcsuper

[Timba]

jcsuper

Версия 3.0.1.33

Это же версия 2004 года!

За это время уже много багов исправили. Обновиться с 3 на 4 руководство не хочет случайно?

Ее уже не скачать с оффсайта, чтобы посмотреть. :) В данный момент только The Bat! v4.2.10 и v4.0.38 доступны.

Посмотрю тогда 4-ю версию. Может что ясно станет...

А вы вот эту тему смотрели уже? Может там найдется ответ?

[Maikll]

К сожалению, по выложенному логу ничего сказать нельзя.

Bat так не должен принимать почту, в норме ззакачиваются только новые письма, если это конечно не imap. Давно не пользуюсь этим почтовиком, но не думаю, что там все так поменялось. Возможно, bat неправильно работает...

Попробуйте понаблюдать как работает получение почты в реале, для этого скачайте программу Trivial Proxy, настройте ее таким образом, чтобы Bat обращался по pop3 сперва к ней а уже дальше через ug или как там у вас. По логам можно будет посмотреть сколько писем принято за день и примерно подсчитать объем. Сравните это с логами детализации от провайдера да и просто с числом принятых за день новых писем.

[Andrey_al]

а может быть, для начала, навести банальный порядок в сети, как то - оставить один нормально настроенный прокси (нравится UG, пусть будет он, его проще настроить, хотя, на мой взгляд, Kerio предпочтительней), отказаться от левых IP, установить простенький почтовый сервер, например Courier Mail Server, простой в настройке, бесплатный и русифицированный, работает достаточно надежно, тогда и трафик проследить будет проще

керио не подсчитывает статистику по каждому юзеру, ... Столкнулась еше с тем, что ограничения трафика через керио не работают

могу, конечно, ошибаться (давно не имел дело с kerio), но, по-моему, он прекрасно со всем этим справляется, в крайнем случае для подсчета трафика вполне подходит TMeter, кстати в последних версиях добавлен NAT и firewall, так что он способен выступать в роли шлюза, с достаточно хорошо организованным подсчетом и ограничением трафика.

Изменено 25 сентября, 2009 пользователем Andrey_al

[jcsuper]

Проблему решили, оказалось все прозаичнее. Прием почты была настроен на проверку с интервалом в 1 минуту, в итоге за день он этих проверок на 200-300 мб и накачивал. Почистили почту на сервере, увеличили интервал - теперь дневной трафик нормальный - 5-6 мб.

Всем спасибо за участие в решении

Изменено 8 октября, 2009 пользователем jcsuper