Тестирование анти-вирусных продуктов.

[Saule]

Обратила внимание на то, что результаты тестирования продуктов безопасности раскиданы в случайных местах (в темах антивирусов, просто в обсуждениях и т.д.). Пусть будет тема с собранными результатами.

Тест САМОЗАЩИТЫ антивирусов (сентябрь 2010) от anti-malware.ru .

http://www.anti-malware.ru/...

Самозащита необходима, если вирус имеет намерения удалить антивирус или повредить его настолько, чтобы он перестал работать... Это проверка на устойчивость. На другие характеристики антивирусного продукта этот тест не влияет.

Основные результаты:

(чем выше процент - тем самозащита/устойчивость надежнее)

Kaspersky Internet Security 2011: ........... 100%

DrWeb Security Space 6.0: ..................... 99%

Online Solutions Security Suite 1.5: ......... 97%

Outpost Security Suite Pro 2010: ............. 97%

Norton Internet Security 2010: .................. 91%

Avast! Internet Security 5.0: ..................... 91%

Comodo Internet Security 4.1: .................. 89%

Avira Premium Security Suite 10.0: ........... 88%

BitDefender Internet Security 2011: ........... 86%

ZoneAlarm Internet Security Suite 2010: .... 86%

Eset Smart Security 4.2: .......................... 76%

Panda Internet Security 2011: ................... 70%

G DATA Internet Security 2011: ................ 70%

----

McAfee Internet Security 2010: ............. 63%

AVG Internet Security 9.0: ................... 59%

F-Secure Internet Security 2010: .......... 57%

VBA32 Personal 3.12: ......................... 55%

Trend Micro Internet Security 2010: ...... 50%

PC Tools Internet Security 2010: .......... 49%

Microsoft Security Essentials 1.0: ........ 29%

_____________________________________

Proactive Security Challenge от matousec.com .

http://www.matousec.com/projects/proactive-security-challenge/results.php

Тестирование проактивной защиты (firewall leak-тесты, spying-тесты, модификация автозагрузки, тестирование контроля целостности системы, самозащита и др.)

Любой пользователь может повторить тестирование, так как все тесты находятся в открытом доступе (скачать).

Опять-таки тестируются не антивирусные базы (!), а реакция на потенциально опасное поведение.

Результаты на сайте постоянно обновляются (по мере добавления и пере-тестирования продуктов), поэтому тут в зафиксированном виде:

Чем выше процент - тем больше атак программа смогла отразить (в скобках находится уровень, до которого программа сумела дойти).

Лето 2010

Comodo Internet Security 4.0.141842.828: ............... 100 % (10+)

Online Solutions Security Suite 1.5.14905.0: ............. 99 % (10+)

Online Armor Premium 4.0.0.44: ............................... 97 % (10+)

Outpost Security Suite Pro 7.0.1.3376.514.1234.401: . 97 % (10+)

Online Armor Free 4.0.0.35: ..................................... 97 % (10+)

Malware Defender 2.6.0: .......................................... 90 % (10)

Kaspersky Internet Security 2010 9.0.0.736: ............. 86 % (10+)

Privatefirewall 7.0.20.36: .......................................... 74 % (9)

Outpost Firewall Free 2009 6.5.1.2725.381.0687: ...... 71 % (9)

ZoneAlarm Extreme Security 9.1.008.000: ................ 59 % (7)

PC Tools Firewall Plus 6.0.0.88: ............................... 51 % (7)

Norton Internet Security 2010 17.5.0.127: .................. 40 % (6)

Jetico Personal Firewall 2.1.0.7.2412: ....................... 28 % (4)

BitDefender Internet Security 2010 13.0.19.347: ......... 24 % (4)

CA Internet Security Suite Plus 2010 6.0.0.285: ......... 12 % (3)

F-Secure Internet Security 2010 10.00.246: ................. 9 % (2)

Trend Micro Internet Security Pro 2010 17.50.1647.0000: . 9 % (2)

avast! Internet Security 5.0.418.0: ............................... 3 % (1)

Avira Premium Security Suite 10.0.0.542: .................... 3 % (1)

McAfee Internet Security 2010 11.0.378: ...................... 3 % (1)

Panda Internet Security 2010 15.01.00: ........................ 2 % (1)

Ноябрь 2010

Comodo Internet Security 4.0.141842.828: ............... 100 % (10+)

Online Solutions Security Suite 1.5.14905.0: ............. 99 % (10+)

Outpost Security Suite Pro 7.0.1.3376.514.1234.401: . 97 % (10+)

Kaspersky Internet Security 2011 11.0.1.400: ............ 92 % (10+)

Malware Defender 2.6.0: .......................................... 90 % (10)

Privatefirewall 7.0.21.1: ............................................ 86 % (9)

BitDefender Internet Security 2011 14.0.24.330:.......... 84 % (10+)

Outpost Firewall Free 2009 6.5.1.2725.381.0687: ....... 71 % (9)

ZoneAlarm Extreme Security 9.1.008.000: ................. 59 % (7)

Rising Internet Security 2010 22.33.00.01: ................. 55 % (8)

PC Tools Firewall Plus 6.0.0.88: ............................... 51 % (7)

Norton Internet Security 2010 17.5.0.127: .................. 40 % (6)

Jetico Personal Firewall 2.1.0.7.2412: ........................ 28 % (4)

Dr.Web Security Space Pro 6.0.2.07290: ................... 14 % (3)

CA Internet Security Suite Plus 2010 6.0.0.285: ......... 12 % (3)

F-Secure Internet Security 2010 10.00.246: ................. 9 % (2)

Trend Micro Internet Security Pro 2010 17.50.1647.0000: . 9 % (2)

FortKnox Personal Firewall 6.0.205.0:.......................... 7 % (2)

ZoneAlarm Free Firewall 9.2.076.000: .......................... 7 % (2)

avast! Internet Security 5.0.418.0: ............................... 3 % (1)

Avira Premium Security Suite 10.0.0.542: .................... 3 % (1)

McAfee Internet Security 2010 11.0.378: ..................... 3 % (1)

Panda Internet Security 2010 15.01.00: ....................... 2 % (1)

[Downloader]

Там у AM чисто тест самозащиты, а у Матусека глобальный. Там от самозащиты ничего и нет. Сравниваешь то, что сравнить напрямую нельзя.

[Форматцевт]

@Saule, а информация про McAfee VSE&ASE 8.7.Xi Path 4 от 2010 - отсутствует? Просто этот продукт по моим тестам очень отличается от McAfee Internet Security 2010, как по степени обнаружения, так и по другим параметрам.

[Saule]

Там от самозащиты ничего и нет.

"Там" - это где? У matousec?

Всё, что касается завершения и порчи процессов/их частей, удаления и модификации файлов (относящихся к программе), удаления и порчи данных в реестре (относящихся к программе), остановки драйверов и служб... - имеет прямое отношение к самозащите. И у matousec целая пачка таких тестов..

Сравниваешь то, что сравнить напрямую нельзя.

Кто сравнивает? matousec?))

Мне показалось, что суть отражена в первых предложениях темы. Если не отражена: то тут ничего не сравнивается - просто выкладываются результаты тестов по факту (тесты различных проектов, не только anti-malware и matousec). Чем тесты актуальней - тем лучше.. Кратко отразить суть тестирования + выложить итоговый результат.

@Saule, а информация про McAfee VSE&ASE 8.7.Xi Path 4 от 2010 - отсутствует? Просто этот продукт по моим тестам очень отличается от McAfee Internet Security 2010, как по степени обнаружения, так и по другим параметрам.

Не думаю, что для McAfee что-либо выше кардинально изменилось.. Там тестируются не способности программы действовать как классический антивирус + у matousec очень важно наличие firewall'а.. (изначально там только firewall'ы и тестировались.. позже выросло до проактивной защиты в целом).

В любом случае, если у matousec какого-либо продукта не хватает, то можно сделать запрос сюда:

http://www.matousec.com/matousec/contact-us.php

http://www.matousec.com/matousec/contact-us.php' rel="external nofollow">

В выпадающем меню: "Testing request" (запрос на тестирование)

В поле "I would like to ask you to test the following products" (я хотел бы попросить вас проверить следующие продукты) - вписываем продукт.. Не McAfee, так может еще какую-нибудь программу..

[Saule]

Тестирование антивирусных баз от британского журнала Virus Bulletin .

http://www.virusbtn.com/

Награду VB100 получают антивирусы, которые способны обнаружить 100% вирусов из коллекции "in the wild" без ложных срабатываний. Если хотя бы один вирус из предоставленных не будет найден или будет хотя бы одно ложное срабатывание - антивирусу засчитывается провал.

- антивирус получил награду VB100

- антивирус не получил VB100 (провалил тестирование)

- антивирус не учавствовал в тестировании

Первая иконка (рядом с компанией ниже): тестирование на Windows Vista SP2 Business Edition (август 2010)

Вторая иконка: на Windows Server 2003 (октябрь 2010)

Только наиболее известные в России вендоры (полный список ниже на скриншоте):

Agnitum:

Avast:

AVG:

Avira:

BitDefender:

Comodo AntiVirus:

Eset:

F-Secure:

Kaspersky:

McAfee:

Microsoft Forefront:

Microsoft Security Essentials:

PC Tools Spyware Doctor:

Symantec:

VirusBuster:

Тут в том числе февраль, апрель, июнь 2010 (SUSE Linux, Windows XP, Windows Server 2008 R2):

_____________________________________

Сравнение HIPS на предотвращение проникновения в ядро Windows от anti-malware.ru

http://www.anti-malware.ru/...

Опять-таки в этом тесте рассматривается лишь небольшая часть того, что должна бы делать система защиты (не детектирование вирусов, а только возможность программы защитить ядро Winsows).

Копирую из теста:

Если вредоносной программе удается проникнуть на уровень ядра, то она получает полный контроль над компьютером жертвы. В этом сравнительном тестировании мы проводили анализ популярных персональных антивирусов, сетевых экранов и специализированных продуктов с функциями HIPS (Host Intrusion Prevention Systems) на возможность предотвращения проникновения вредоносных программ на уровень ядра (далее Ring 0) операционной системы Microsoft Windows.

По результатам тестирования оказалось, что в антивирусных продуктах AVG, Norton, Avira, McAfee и Panda по факту отсутствуют HIPS-компоненты. Этими продуктами были провалены все тестовые кейсы, поэтому из итоговых результатов теста они были исключены.

Плюс в таблице означает, что была реакция HIPS на некое событие со стороны тестовой утилиты на проникновение в Ring 0 и была возможность пресечь это действие.

Минус - если тестовая утилиты сумела попасть в Ring 0, либо сумела открыть диск на посекторное чтение и произвести запись.

Важная часть тестирования для пользователя - количество запросов от программы:

("очень много" запросов - для пользователя не очень хорошо и не годиться для новичков в безопасности)

Все тестируемые методы проникновения в ядро были отражены только следующими вендорами/программами: Comodo, DefenseWall, Kaspersky, Online Armor, Online Solutions, Outpost, Safe`n`Sec, Spyware Terminator.

[Downloader]

"Там" - это где? У matousec?

Всё, что касается завершения и порчи процессов/их частей, удаления и модификации файлов (относящихся к программе), удаления и порчи данных в реестре (относящихся к программе), остановки драйверов и служб... - имеет прямое отношение к самозащите. И у matousec целая пачка таких тестов..

Угу, у Матусека. СЗ в его тесте - это этапы :) Порча? :) Ну, в каких кейсах?

Кто сравнивает? matousec?))

Мне показалось, что суть отражена в первых предложениях темы. Если не отражена: то тут ничего не сравнивается - просто выкладываются результаты тестов по факту (тесты различных проектов, не только anti-malware и matousec). Чем тесты актуальней - тем лучше.. Кратко отразить суть тестирования + выложить итоговый результат.

Нет, ты. Вот Матусек, вот АМ, почему, мол, результаты так отличаются.

[Saule]

Я ничего не сравниваю :) Это отдельные тесты.

Сравнительные посты обычно выглядят не так.

Там от самозащиты ничего и нет.

По поводу того, что в тестах matousec нет тестов на самозащиту...

(логический вопрос: а как можно делать глобальную проверку, никак не тестируя самозащиту?)

Ниже кусок конфигурационного файла от тестов Matousec, которые напрямую направлены на тестирование самозащиты. Процессы - уничтожение, "замораживание", закрытие описателей в них, что приводит к падениям (что в свою очередь равносильно уничтожению процесса) и другие способы. Службы и драйвера - уничтожение, деинсталляция, остановка и т.п. Исполняемые файлы тестируемого продукта (службы, gui, драйверов) - уничтожаются разными способами (переименование, удаление большим числом способов, обнуление, затирание, доступ через физический диск напрямую по секторам и т.д.). Записи в реестре - блокирование доступа (изменение security attributes, как в conficker), уничтожение, переименование и т.д.

Все эти тесты являются тестами самозащиты. Большая часть из них была добавлена год назад, при расширении набора тестов у matousec.

Если слово "порча" в русском языке не используется(?), то: damage/crash/corrupt.

По уровням:

Этап 1/Level1, к самозащите относятся: [3] filedel2, kill1, kill2

Этап 2/Level2, к самозащите относятся: [5] filemov2, kill3, kill3b, kill6, regdel1

Этап 3/Level3, к самозащите относятся: [6] filerep1, kill3f, kill4, kill7, regset1, suspend1

Этап 4/Level4, к самозащите относятся: [5] filerep2, kill3e, kill8, kill9, suspend2

Этап 5/Level5, к самозащите относятся: [9] crash1, crash2, crash3, crash4, filewri1, kill3c, killd3d, regdel2, svckill

Этап 6/Level6, к самозащите относятся: [5] crash5, crash6, filewri2, kill10, kill11

Этап 7/Level7, к самозащите относятся: [6] crash4b, filedel1, filemov1, filewri3, kill12, regacc1

Этап 8/Level8, к самозащите относятся: [4] filedel3, fileopn1, fileopn2, kill5

Этап 9/Level9, к самозащите относятся: [4] crash7, fileacc1, filectl1, filewri4

-----------------------

Итого: 47 тестов (если нигде ничего не пропустила, что могла, т.к. делала быстро)

47/148 = ~32%, то есть больше 1/3 тестов - по самозащите продукта.

Конфигурационный файл от тестов:

===================================================================

#

# The list of important processes, usually the processes of the tested product.

# The first line determines the number of the processes in the list.

# Then the names of the processes follows.

# This list must be modified before testing.

#

processes=3

important.exe

process.exe

svcproc.exe

#

# The list of important services and drivers, usually those that belong to the tested product.

# The first line determines the number of the services and drivers in the list.

# Then the names of the services and drivers follows.

# This list must be modified before testing.

#

services=2

ProductDriver

ProductService

#

# The list of files and directories, usually those that belong to the tested product.

# The first line determines the number of the files and directories in the list.

# Then the list of files and directories follows.

# This list must be modified before testing.

#

files=2

C:\Program Files\Security Suite

C:\Windows\system32\drivers\suitedrv.sys

#

# The list of registry entries, usually those that belong to the tested product.

# The first line determines the number of the registry entries in the list.

# Then the list of registry entries follows.

# Registry values, unlike registry keys, are written in format "KEY_NAME\\VALUE_NAME".

# These registry roots are valid: HKCR, HKCU, HKLM.

# This list must be modified before testing.

#

registry=3

HKLM\SOFTWARE\SecurityVendor

HKLM\SOFTWARE\Microsoft\Windows\CurrentVersion\Run\\SecuritySuite

HKLM\SYSTEM\CurrentControlSet\Services\ProductService

===================================================================

И еще раз на всякий случай: кейсы приведены не потому что их кто-то сравнивает с тестами anti-malware :)

Результаты отличаются, потому что тесты разные.. Это очевидно.

[Downloader]

Почти каждый из них - тест на обход, а не на "порчу" ;)

(логический вопрос: а как можно делать глобальную проверку, никак не тестируя самозащиту?)

Вообще легко. :) А вот еще и СЗ - значительно сложнее. По-моему, нет ни одного реально глобального теста по этой самой причине.

[Dann]

Почти каждый из них - тест на обход

Обход чего? Самозащиты? :-))

Тест и обход у матаусека в чем разница?

Оффтоп

Saule, игнорируй тролля. Занимайся более важными делами! :-))

по этой самой причине

Поэтому и тестов надо много. Разных. Как тут сделано. Очень полезная тема!

[aidarB]

Недавно тестировал Авира(фри), Аваст(фри), НОД32 и Ф-секьюре.

Распаковал архив содержащий около 100 вирусов.

От первых трёх остались 3-4 длл-ки, Ф-секьюре почистил 100% :D

Но, за такую защиту пришлось заплатить сотнями мБ. трафика-базы у Ф-секьюре огромные..

[aidarB]

Да, ещё, буквально час назад загрузился с лайф-сиди, там есть Каспер9, просканировал, так он мне определил файл npswf32.dll как "чрезвычайно опасный" :blink:

Походу и ещё пару, которые на 100% не вирусы!!

Если бы я разрешил их лечить-появились бы глюки.

Поэтому, Каспер сам хуже вируса.

ИМХО.

[Форматцевт]

@Saule, кстати я так не дождался ответа на McAfee VSE ASE 8.7.0i Path 4 или надо писать иначе?

[Downloader]

Обход чего? Самозащиты? :-))

HIPS.

Поэтому и тестов надо много. Разных.

Ну, кажется ты начал доходить до понимания :) Давай чуть-чуть подкину мыслей. Если ххх проводит тест ййй, а ууу проводит тесты ааа, ббб, ввв, ггг, ддд, ййй, то с бОльшей доли вероятности кто проверит ййй более полно?

Ну так вот цель Матусека - показать стойкость того или иного продукта к утечкам данных. Проверкой СЗ в том числе, да. Типа прибить процесс защитного ПО и установить соединение с удаленным сервером.

И кстати, почему Дефенс Вол Ильи Рабиновича не показан в тесте?

[Cameroon]

http://www.fcenter.ru/online.shtml?softnews/2010/12/21#material_id=30083

Широко известная организация AV-Comparatives выпустила очередные результаты тестирования в рамках своего "всеобъемлющего подхода" - Whole Product Dynamic Tests. Этот подход призван выявить общую степень защиты программного продукта из сферы компьютерной безопасности. То есть, проверяется защита в целом - блокирование вредоносных URL, выявление вирусов по имеющимся сигнатурам, поведенческий блокиратор и т.д. Тестовый алгоритм разработан совместно с кафедрой Вычислительной Техники Университета Инсбрука. В его основе лежит постоянно обновляемая база данных URL, переход по которым приводит к попыткам заражения пользовательской системы различными вариантами вредоносного кода (естественно, непрекращающийся мониторинг выявляет самые свежие образцы вирусов, троянских программ и т.п.).

• Рейтинг ADVANCED+ получили продукты: F-Secure Internet Security 2011, Symantec Norton Internet Security 2011, Avira Premium Security Suite 10 и Kaspersky Internet Security 2011.
  
• 
  
• Рейтинг ADVANCED получили продукты: G DATA Internet Security 2011, AVG Internet Security 10.0, Panda Internet Security 2011, avast! Internet Security 5.0, ESET Smart Security 4.2, PC Tools Internet Security 2011, Trend Micro Titanium Internet Security 2011, BitDefender Internet Security 2011.
  
• 
  
• Рейтинг STANDARD получил продукт: Norman Security Suite Pro 8.0.
  
• 
  
• Рейтинг TESTED получил продукт: Kingsoft Internet Security Plus 2011.
  

[Saule]

Тест самозащиты антивирусов на платформе x64 (январь 2011) от anti-malware.ru

http://www.anti-malware.ru/...

Основные результаты:

(чем выше процент - тем самозащита/устойчивость надежнее)

Kaspersky Internet Security 2011: ............... 100%

ZoneAlarm Internet Security Suite 2010: ....... 97%

Dr.Web Security Space 6.0: ........................ 94%

Comodo Internet Security 5.0: ...................... 92%

Outpost Security Suite Pro 2010: ................. 92%

Norton Internet Security 2011: ...................... 91%

BitDefender Internet Security 2011: ............... 89%

Trend Micro Titanium Internet Security 2011: . 86%

Avast! Internet Security 5.0: ......................... 83%

AVG Internet Security 2011: ........................ 77%

G DATA Internet Security 2011: ................... 73%

----

Avira Premium Security Suite 10.0: ...... 67%

McAfee Internet Security 2010: ............ 65%

Panda Internet Security 2011: .............. 65%

F-Secure Internet Security 2011: .......... 64%

Eset Smart Security 4.2: ..................... 59%

PC Tools Internet Security 2011: .......... 59%

Emsisoft Anti-Malware 5.0: .................. 52%

VBA32 Personal 3.12: ......................... 45%

Microsoft Security Essentials 1.0: ........ 30%

Сравнение уровня самозащиты антивирусных программ Windows 7 x64 и x86

(тесты anti-malware.ru)

[Saule]

AV-Comparatives (www.av-comparatives.org)

август 2010 года (PDF)

Тестирование скорости сканирования

(подробности на 11-ой странице PDF)

Самые быстрые в этом тесте: Avast, Avira, Panda

Самые медленные: Microsoft, Norman

* для определения скорости сканирования на вашем компьютере и ваших файлов, рекомендуется пробовать продукт самостоятельно.

Тестирование на ложные срабатывания

http://www.av-comparatives.org.../false-alarm-tests

Чем меньше число, тем меньше ложных срабатываний:

F-Secure ........ 2 (ложных срабатываний очень мало)

Microsoft ........ 3

BitDefender .... 4

ESET ............. 6

PC Tools ........ 7

Avast ............. 9

Symantec ...... 9

Avira ............. 10

G DATA ........ 15

AVG ............. 19

Trend Micro ... 23

McAfee ......... 24

Kaspersky ..... 46

Panda ........... 98 (ложных срабатываний очень много)

Тестирование антивирусных баз

(~ 0.9 миллиона malware)

Чем больше процент, тем больше вирусов было обнаружено:

G DATA ......... 99.9% (найдены почти все предоставленные malware/вирусы)

Avira .............. 99.8%

McAfee .......... 99.4%

Avast ............. 99.3%

BitDefender .... 99.3%

F-Secure ........ 99.2%

Panda ............ 99.2%

Symantec ....... 98.7%

ESET ............. 98.6%

AVG .............. 98.3%

Kaspersky ...... 98.3%

PC Tools ........ 98.1%

Microsoft ........ 97.6%

Trend Micro .... 90.3% (не было обнаружено почти 10% от общего количества вирусов)

Суммарный итог

ADVANCED+ (лучший результат)

- G DATA Antivirus 21.0.3.1: 99,9% (мало ложных срабатываний, средняя скорость)

- Avira AntiVir Premium 10.0.0.603: 99,8% (мало ложных срабатываний, быстрая скорость)

- avast! Free Antivirus 5.0.594: 99,3% (мало ложных срабатываний, быстрая скорость)

- BitDefender Anti-Virus 14.0.23.312: 99,3% (мало ложных срабатываний, средняя скорость)

- F-Secure Anti-Virus 10.50.197: 99,2% (очень мало ложных срабатываний, средняя скорость)

- Symantec Norton Anti-Virus 18.1.0.30: 98,7% (мало ложных срабатываний, средняя скорость)

- Eset NOD32 Antivirus 4.2.58.3: 98,6% (мало ложных срабатываний, средняя скорость)

- PC Tools Apyware Doctor with Antivirus 8.0.0.594: 98,1% (мало ложных срабатываний, средняя скорость)

ADVANCED

- McAfee Antivirus Plus 14.5.113: 99,4% (много ложных срабатываний, средняя скорость)

- Panda Antivirus Pro 10.00.00: 98,3% (много ложных срабатываний, быстрая скорость)

- AVG Anti-Virus 9.0.851: 98,3% (много ложных срабатываний, средняя скорость)

- Kaspersky Anti-Virus 11.0.1.400: 98,3% (много ложных срабатываний, средняя скорость)

- Microsoft Security Essentials 1.0.1963.0: 97,6% (очень мало ложных срабатываний, медленная скорость)

TESTED

- Trend Micro AntiVirus plus AntiSpyware 2010: 90,3% (много ложных срабатываний, средняя скорость)

* осознанно не вбивала в результаты TrustPort и др. неиспользуемые у нас антивирусы.

[Saule]

@Saule, кстати я так не дождался ответа на McAfee VSE ASE 8.7.0i Path 4 или надо писать иначе?

Попробуй написать аргументировано, почему с твоей точки зрения VirusScan Enterprise должен показать себя лучше, чем McAfee Internet Security. Желательно подкрепив техническими данными.

Я бы тоже не обратила внимания на такую просьбу, потому что дело тут не в вариациях продукта, а в подходе и технической составляющей.

Кстати, Девид перетестировал PC Tools Internet Security (2011 8.0.0.623).

С 51% снова резко поднялись до 99% (у PC Tools так уже однажды было), не пройден только Driver Verifier от Microsoft.

[Dann]

не пройден только Driver Verifier от Microsoft.

А зачем тестируют Driver Verifier[ом]? И как влияет на безопасность провал этого теста?

[Saule]

А зачем тестируют Driver Verifier[ом]? И как влияет на безопасность провал этого теста?

Этот тест проводится для контроля качества (Driver Verifier выявляет ошибки в драйверах). То есть по тем же причинам, по которым и Microsoft просит тестировать разработчиков свои драйвера этой утилитой... Чтобы удостоверится в том, что программа не будет падать (из-за наиболее часто встречающихся ошибок) и ронять за собой в синий экран всю систему...

На безопасность может влиять так: если обычное непривилегированное приложение (тест) может "уронить" систему, то это не очень хорошо для системы. Кроме того, такие ошибки в работе драйверов, часто подразумевают собой наличие уязвимостей в них. В некоторых случаях, используя подобные ошибки, можно повысить уровень доступа на системе или (даже) исполнить код в ядре.

И в целом ошибки в драйверах просто влияют на стабильность работы компьютера.

[Dann]

Юль, спасибо! Буду разбираться с тестами.

А почему OSSS не прошла Crash 7 тест на matousec?

И не понял почему на anti-malware OSSS не прошла тест DLL injection? А на matousec прошла. OSSS ведь контролирует внедрение DLL :g:. Странно что не засчитали.

[Saule]

А почему OSSS не прошла Crash 7 тест на matousec?

Этот вопрос уже немного затрагивали:

Этот тест служит в следующих целях: теоретически (в большинстве случае - практически) существует возможность получить доступ к каналу связи между GUI и драйвером, если оригинальное приложение будет не запущено или "уничтожено" (неважно каким способом). Этот тест пытается уничтожить оригинальное приложение, "уронив" его, за счет использования всей доступной памяти.

Matousec не занимается анализом - можно или нельзя внедриться в канал связи после этого. Не занимаются, так как на это нужно потратить слишком много времени, и вести отдельные (иногда - достаточно глубокие) исследования для каждого из продуктов.

В нашем случае, даже если один из процессов упадет, получить доступ в канал связи физически/теоретически невозможно.

В любом случае, добавить в некоторых местах проверок на выделение памяти стоит. (Они есть во многих местах, но все-таки, как показывает тест, не везде).

То есть crash7 пытается уничтожить приложение путем использования всей доступной памяти (создает стрессовую ситуацию нехватки памяти). Защита должна выдержать эту ситуацию и остаться работоспособной. Но фактом непрохождения теста тут считается падение/закрытие целевого приложения. И matousec не проверяет функциональность продукта после этого закрытия (то есть засчитывает провал даже в том случае, если защита продолжает работать; в случае OSSS она продолжает работать не смотря на закрытие GUI; речь идет о Windows XP/2003).

Не проверять - это нормальная практика, так как какие-то модули вполне могут перестать работать и это не всегда легко заметить. Разобраться с этим - тяжелый труд, а в некоторых случаях, может и невыполнимая задача - только разработчику могут быть известны все тонкости модулей продукта.

Что касается GUI OSSS в целом (GUI - графический интерфейс пользователя).

На самом деле на XP/2003 OSSS работает и без GUI (то есть для обеспечения защиты программе не важно запущен ли пользовательский интерфейс или нет; на Vista/Win 7 - в данный момент немного не так; говорю про XP, на которой тестирование производилось). Поэтому лично меня (так как я тоже использую программу для защиты) никак не трогает то, что этот тест не был пройден (безопасность системы всё равно не пострадала).

Другими словами, закрытие GUI и завершение этого процесса - на защищенности никак не скажется. OSSS будет иметь возможность выдавать запросы пользователю, работать по правилам, принимать решения, и защита будет полностью работоспособна.

Но как мы уже заметили, это не повод не исправлять ошибки, из-за которых при нехватке памяти можно получить падение/закрытие GUI.

И не понял почему на anti-malware OSSS не прошла тест DLL injection? А на matousec прошла. OSSS ведь контролирует внедрение DLL.

Естественно OSSS контролирует DLL inject. В тесте anti-malware - оконный перехват был разрешен эвристикой.

Там использовался тест, подписанный цифровой подписью "System Safety Ltd" (разработчик HIPS software "System Safety Monitor") + событие: установка глобального (оконного) перехвата + из-за совокупности еще некоторых факторов - пользовательская эвристика дала добро.

Если бы это событие выполнял вирус или обычная программа/тест - было бы предупреждение (сам можешь провести эксперимент).

Поэтому на matousec всё хорошо, а на anti-malware засчитано как "fail".

Политика продукта в этом отношении в любом случае уже изменена (даже при "разрешении" глобального перехвата - внедрение в окно OSSS происходить не будет).

[Vovan555971]

Здравствуйте! Кто нибудь тестировал MICROSOFT FOREFRONT ENDPOINT PROTECTION 2010

[Timba]

Здравствуйте! Кто нибудь тестировал MICROSOFT FOREFRONT ENDPOINT PROTECTION 2010

Может продукт и хороший, но он завязан на MS SQL, без него он и не работает. Остальные антивирусы используют либо MSDE либо бесплатный MS SQL Express, посему по Forefront статистики мало.

[Vovan555971]

Спасибо!

[ser208]

AV-Comparatives (www.av-comparatives.org)

август 2010 года (PDF)

Не знал, что Dr.Web не котируется в антивирусном мире.