Системы обработки данных при проведении тестирования на проникновение

При проведении тестирования на проникновение необходимо агрегировать данные из нескольких источников и проводить сравнение результатов периодических тестов. Для этой цели служат специализированные фреймворки, которые будут рассмотрены в этой статье.

При проведении тестирования на проникновение большого проекта либо командой участников, встает вопрос командного взаимодействия и систематизации полученных результатов — это и отчеты различных инструментальных средств анализа и уязвимости выявленные в ручном режиме — все это представляет из себя огромный объем информации, в котором без должного порядка и системного подхода можно упустить что-то важное или «разгребать» возможные дубли. Также существует необходимость сведения отчетов и их нормализация и приведение к единому виду. Для решения этих задач существует несколько популярных продуктов.

Trello

Одно из популярных решений из мира разработки пришло и в мир информационной безопасности. Trello помогает увидеть все детали проекта с первого взгляда. Основным преимуществом Trello является возможность видеть несколько одновременно запущенных проектов и их состояние в текущий момент времени. Если вы руководите группой разработчиков или иных исполнителей, работающих над проектами с конечной датой выполнения или фиксированной целью, то данная система может дать вам представление о ходе проектов в любой момент времени. Это хорошо применимо при проведении аудита несколькими сотрудниками. Данная система часто используется CTF-игроками для координации действий.

Официальный сайт: trello.com

MagicTree

MagicTree хранит данные в виде древовидной структуры. Довольно удобный вид для представления информации, которая собирается во время тестирования сети: хост, порты, сервисы, приложения, уязвимости и т.д.

Схема хранения является довольно гибкой для добавления новой информации, не нарушая существующих данных структуры: например необходимо добавить MAC-адрес хоста — для этого добавляется дочерний узел к хост-узлу.

MagicTree позволяет извлекать данные в виде таблицы или списка. Интерфейс запросов использует XPath выражения для извлечения данных. Также, эта программа позволяет использовать переменные для взаимодействия с внешними компонентами, например nmap или nessus и вносить данные сразу в дерево хостов:

Официальный сайт: www.gremwell.com/what_is_magictree

Dradis

Один из старейших и популярных фреймворков. Нативно установлен в Кali Linux. Dradis Framework является платформой с открытым исходным кодом для упрощения совместной работы и отчетности в области информационной безопасности.

Dradis является автономным веб-приложением, которое обеспечивает централизованное хранение информации. Существуют две версии — Community Edition (бесплатная) и Professional Edition (от $59). В про версии больше функционала, в том числе в возможностях интеграции, системе отчетов, поддержке (в том числе и приоритетной), доступных методологиях и т.д. Возможно расширение функционала в виде плагинов/аддонов.

Поддерживает работу со следующими утилитами:

Acunetix
Brakeman
Burp Suite
Metasploit
Nessus
NeXpose
Nikto
Nmap
NTOspider
OpenVAS
OSVDB
Qualys
Retina
SureCheck
VulnDB
w3af
MediaWiki
wXf
Zed Attack Proxy

Существуют версии под Linux/Mac, можно установить из репозитория git. Также есть виртуальный аплайнс под облачного провайдера Cloud9.

У проекта неплохое коммюнити, что позволяет улучшать и расширять возможности фреймворка.

Официальный сайт: dradisframework.org

Faraday

Faraday — самая мощная среда для совместной работы, true multiplayer penetration testing. Поддерживает работу в ArchAssault, Archlinux, Debian, Kali, OSX, Debian. Работает в режиме реального времени, моментально обрабатывая результаты, присланные тем или иным пентестером. В этом фреймворке заложен концепт геймификации, специалистам дается возможность померяться скиллами по количеству и качеству зарепорченных уязвимостей.

В этом фреймворке существует система оценки рисков в финансовом эквиваленте (что лично для меня довольно субъективно — прим. автора), но может дать должную информацию для владельцев бизнеса или топ-менеджмента компании.

Также существуют дополнительные Workspace для участников BugBounty программ следующих вендоров:

Airbnb
Facebook
Github
Google
Imgur
Mozilla
ownCloud
Pinterest
Twitter
Vimeo
Western Union
Yahoo

Фреймворк отличает довольно продуманный интерфейс, позволяющий интуитивно разобраться в функционале (на скриншотах представлена веб-версия клиента).

Фреймворк доступен в 3 редакциях: Community, Professional и Corporate.

Faraday существует в виде клиентского сервиса и сервера (в Professional и Corporate версиях). Клиентский сервис существует в виде:

QT GUI

GTK GUI

ZSH UI

Web UI

CLI

ZSH web

Данный фреймворк может взаимодейстовать со следующими утилитами (как виде импорта, так и виде API или плагинов):

Acunetix (REPORT) (XML)
Amap (CONSOLE)
Arachni (REPORT, CONSOLE) (XML)
arp-scan (CONSOLE)
BeEF (API)
Burp, BurpPro (REPORT, API) (XML)
Core Impact, Core Impact (REPORT) (XML)
Dig (CONSOLE)
Dnsenum (CONSOLE)
Dnsmap (CONSOLE)
Dnsrecon (CONSOLE)
Dnswalk (CONSOLE)
evilgrade (API)
Fierce (CONSOLE)
ftp (CONSOLE)
Goohost (CONSOLE)
Hydra (CONSOLE) (XML)
Immunity Canvas (API)
Listurls (CONSOLE)
Maltego (REPORT)
masscan (REPORT, CONSOLE) (XML)
Medusa (CONSOLE)
Metagoofil (CONSOLE)
Metasploit, (REPORT, API) (XML) XML report
Nessus, (REPORT) (XML .nessus)
Netsparker (REPORT) (XML)
Nexpose, Nexpose Enterprise, (REPORT) (simple XML, XML Export plugin (2.0))
Nikto (REPORT, CONSOLE) (XML)
Nmap (REPORT, CONSOLE) (XML)
Openvas (REPORT) (XML)
PasteAnalyzer (CONSOLE)
Peeping Tom (CONSOLE)
ping (CONSOLE)
propecia (CONSOLE)
Qualysguard (REPORT) (XML)
Retina (REPORT) (XML)
Reverseraider (CONSOLE)
Shodan (API)
Skipfish (CONSOLE)
Sqlmap (CONSOLE)
SSHdefaultscan (CONSOLE)
Telnet (CONSOLE)
Theharvester (CONSOLE)
Traceroute (CONSOLE)
W3af (REPORT) (XML)
Wapiti (CONSOLE)
Webfuzzer (CONSOLE)
whois (CONSOLE)
X1, Onapsis (REPORT) (XML)
Zap (REPORT) (XML)

Иногда бывает необходимость в написании собственного плагина — для существует документация для их создания и интеграции в систему. Также есть возможность провести отладку плагина с помощью механизма live debug.

Официальный сайт: www.faradaysec.com

Заключение
Некоторые фреймворки довольны специфичны и узконаправлены, некоторые, как Faraday, обладают избыточным функционалом и мощными возможностями для расширения, но все они созданы для выполнения одной роли — качественно и структурированно обрабатывать результаты аудита информационной безопасности в рамках проведения тестирования на проникновение.