Web tools, или с чего начать пентестеру?

На модерации Отложенный

Продолжаем рассказывать о полезных инструментах для пентестера. В новой статье мы рассмотрим инструменты для анализа защищенности веб-приложений.

Наш коллега BeLove уже делал подобную подборку около семи лет назад. Интересно взглянуть, какие инструменты сохранили и укрепили свои позиции, а какие отошли на задний план и сейчас используются редко.

Отметим, что сюда же относится и Burp Suite, но про него и его полезные плагины будет отдельная публикация.

Содержание:

 

  • Amass
  • Altdns
  • aquatone
  • MassDNS
  • nsec3map
  • Acunetix
  • Dirsearch
  • wfuzz
  • ffuf
  • gobuster
  • Arjun
  • LinkFinder
  • JSParser
  • sqlmap
  • NoSQLMap
  • oxml_xxe
  • tplmap
  • CeWL
  • Weakpass
  • AEM_hacker
  • JoomScan
  • WPScan

 

Amass


Amass — инструмент на Go для поиска и перебора поддоменов DNS и составления карты внешней сети. Amass — проект OWASP, созданный, чтобы показать, как для стороннего наблюдателя выглядят организации в Интернете. Имена поддоменов Amass получает различными способами, в инструменте используется как рекурсивный перебор поддоменов, так и поиск по открытым источникам.

Для обнаружения связанных между собой сетевых сегментов и номеров автономных систем Amass использует IP-адреса, полученные во время работы. Вся найденная информация используется для построения карты сети.

Плюсы:

 

  • Техники по сбору информации включают в себя:
    * DNS — перебор поддоменов по словарю, bruteforce поддоменов, “умный” перебор с использованием мутаций на основе найденных поддоменов, обратные DNS-запросы и поиск DNS-серверов, на которых возможно сделать запрос на трансфер зоны (AXFR);

    * Поиск по открытым источникам — Ask, Baidu, Bing, CommonCrawl, DNSDB, DNSDumpster, DNSTable, Dogpile, Exalead, FindSubdomains, Google, IPv4Info, Netcraft, PTRArchive, Riddler, SiteDossier, ThreatCrowd, VirusTotal, Yahoo;

    * Поиск по базам данных TLS-сертификатов — Censys, CertDB, CertSpotter, Crtsh, Entrust;

    * Использование API поисковых систем — BinaryEdge, BufferOver, CIRCL, HackerTarget, PassiveTotal, Robtex, SecurityTrails, Shodan, Twitter, Umbrella, URLScan;

    * Поиск по веб-архивам Интернета: ArchiveIt, ArchiveToday, Arquivo, LoCArchive, OpenUKArchive, UKGovArchive, Wayback;
  • Интеграция с Maltego;
  • Обеспечивает наиболее полное покрытие задачи по поиску DNS-поддоменов.

 

Минусы:

 

  • Аккуратнее с amass.netdomains — он попытается обратиться к каждому IP-адресу в идентифицированной инфраструктуре и получить имена доменов из обратных DNS-запросов и сертификатов TLS. Это «громкая» техника, она может раскрыть ваши разведывательные действия в исследуемой организации.
  • Высокое потребление памяти, может потреблять до 2 ГБ RAM в разных настройках, что не позволит запустить этот инструмент в облаке на дешевой VDS.


Altdns


Altdns — инструмент на Python для составления словарей для перебора DNS-поддоменов. Позволяет генерировать множество вариантов поддоменов с помощью мутаций и перестановок. Для этого используются слова, которые часто встречаются в поддоменах (например: test, dev, staging), все мутации и перестановки применяются к уже известным поддоменам, которые можно подать на вход Altdns. На выходе получается список вариаций поддоменов, которые могут существовать, и этот список в дальнейшем можно использовать при DNS-брутфорсе.

Плюсы:

 

  • Хорошо работает с большими наборами данных.

 

aquatone


aquatone — ранее был больше известен как еще один инструмент для поиска поддоменов, но сам автор отказался от этого в пользу вышеупомянутого Amass. Сейчас aquatone переписан на Go и больше заточен для предварительной разведки по веб-сайтам. Для этого aquatone проходит по указанным доменам и ищет на них веб-сайты на разных портах, после чего собирает всю информацию о сайте и делает скриншот. Удобен для быстрой предварительной разведки по веб-сайтам, после которой можно выбрать приоритетные цели для атак.

Плюсы:

 

  • На выходе создает группу файлов и папок, которые удобно использовать при дальнейшей работе с другими инструментами:
    * HTML-отчет с собранными снимками экрана и сгруппированными по сходству заголовками ответов;

    * Файл со всеми URL, на которых были найдены веб-сайты;

    * Файл со статистикой и данными страницы;

    * Папка с файлами, содержащими заголовки ответа от найденных целей;

    * Папка с файлами, содержащими тело ответа от найденных целей;

    * Скриншоты найденных веб-сайтов;
  • Поддерживает работу с XML-отчетами от Nmap и Masscan;
  • Использует headless Chrome/Chromium для рендера скриншотов.

 

Минусы:

 

  • Может обратить на себя внимание систем обнаружения вторжений, поэтому требует настройки.


Скриншот сделан для одной из старых версий aquatone (v0.5.0), в которой был реализован поиск DNS-поддоменов. Старые версии можно найти на странице релизов.

Скриншот aquatone v0.5.0

MassDNS


MassDNS — еще один инструмент для поиска DNS-поддоменов. Главное его отличие в том, что он делает DNS-запросы напрямую к множеству разных DNS-резолверов и делает это со значительной скоростью.

Плюсы:

 

  • Быстрый — способен разрешать более 350 тысяч имён в секунду.

 

Минусы:

 

  • MassDNS может вызвать значительную нагрузку на используемые DNS-резолверы, что может привести к бану на этих серверах или жалобам к вашему провайдеру. Помимо этого, вызовет большую нагрузку на DNS-сервера компании, если они у них есть и если они отвечают за домены, которые вы пытаетесь резолвить.
  • Список резолверов в настоящее время устарел, однако если отобрать неработающие DNS-резолверы и добавить новые известные — всё будет хорошо.


nsec3map


nsec3map — инструмент на Python для получения полного списка доменов, защищённых DNSSEC.

Плюсы:

 

  • Быстро обнаруживает хосты в DNS-зонах с минимальным количеством запросов, если в зоне включена поддержка DNSSEC;
  • В составе плагин для John the Ripper, который можно использовать для взлома полученных хэшей NSEC3.

 

Минусы:

 

  • Многие DNS-ошибки обрабатываются некорректно;
  • Нет автоматического распараллеливания обработки NSEC-записей — приходится разделять пространство имён вручную;
  • Высокое потребление памяти.

 

Acunetix


Acunetix — сканер веб-уязвимостей, автоматизирующий процесс проверки безопасности веб-приложений. Тестирует приложение на наличие SQL-инъекций, XSS, XXE, SSRF и многих других веб-уязвимостей. Однако, как и любой другой сканер множества веб-уязвимостей не заменяет пентестера, поскольку сложные цепочки уязвимостей или уязвимости в логике не сможет найти. Зато он покрывает очень много различных уязвимостей, в том числе разных CVE, о которых пентестер мог и забыть, поэтому очень удобен для освобождения от рутинных проверок.

Плюсы:

 

  • Низкий уровень ложных срабатываний;
  • Результаты можно экспортировать в виде отчетов;
  • Осуществляет большое количество проверок на разные уязвимости;
  • Параллельное сканирование нескольких хостов.

 

Минусы:

 

  • Нет алгоритма дедубликации (одинаковые по функциональности страницы Acunetix сочтет разными, т.к. на них ведут разные URL), но разработчики над этим работают;
  • Требует установки на отдельный веб-сервер, что усложняет тестирование клиентских систем с подключением по VPN и использованию сканера в изолированном сегменте локальной клиентской сети;
  • Может “зашумить” исследуемый сервис, к примеру, послать в форму связи на сайте слишком много атакующих векторов, тем самым сильно усложнив бизнес-процессы;
  • Является проприетарным и, соответственно, небесплатным решением.


Dirsearch


Dirsearch — инструмент на Python для брутфорса директорий и файлов на веб-сайтах.

Плюсы:

 

  • Может отличать настоящие “200 ОК” страницы от страниц “200 ОК”, но с текстом “страница не найдена”;
  • Поставляется вместе с удобным словарем, имеющим хороший баланс между размером и эффективностью поиска. Содержит стандартные пути, характерные для многих CMS и стеков технологий;
  • Свой формат словаря, который позволяет достичь хорошей эффективности и гибкости перебора файлов и директорий;
  • Удобный вывод — простой текст, JSON;
  • Умеет делать throttling — паузу между запросами, что жизненно необходимо для любого слабого сервиса.

 

Минусы:

 

  • Расширения нужно передавать в виде строки, что неудобно, если нужно передать много расширений сразу;
  • Для того, чтобы использовать свой словарь, его нужно будет немного доработать до формата словарей Dirsearch для максимальной эффективности.


wfuzz


wfuzz — Python-фаззер веб-приложений. Наверное, один из самых известных веб-фазеров. Принцип прост: wfuzz позволяет фазить любое место в HTTP-запросе, что дает возможность фазить GET/POST-параметры, HTTP-заголовки, включая Cookie и иные аутентификационные заголовки. В тоже время удобен и для простого брутфорса директорий и файлов, для чего нужен хороший словарь. Также имеет гибкую систему фильтров, с помощью которой можно фильтровать ответы от веб-сайта по разным параметрам, что позволяет добиться эффективных результатов.

Плюсы:

 

  • Многофункциональный — модульная структура, сборка занимает несколько минут;
  • Удобный механизм фильтрации и фаззинга;
  • Можно фазить любой HTTP-метод, а также любое место в HTTP-запросе.

 

Минусы:

 

  • В состоянии разработки.


ffuf


ffuf — веб фаззер на Go, созданный по “образу и подобию” wfuzz, позволяет брутить файлы, директории, URL-пути, названия и значения GET/POST-параметров, HTTP-заголовки, включая заголовок Host для брутфорса виртуальных хостов. От своего собрата wfuzz отличается более высокой скоростью и некоторыми новыми фичами, например, поддерживаются словари формата Dirsearch.

Плюсы:

 

  • Фильтры похожи на фильтры wfuzz, позволяют гибко настроить брутфорс;
  • Позволяет фаззить значения HTTP-заголовков, данные POST-запросов и различные части URL, включая имена и значения GET-параметров;
  • Можно указать любой HTTP-метод.

 

Минусы:

 

  • В состоянии разработки.


gobuster


gobuster — инструмент на Go для разведки, имеет два режима работы.

Первый используется для брутфорса файлов и директорий на веб-сайте, второй — для перебора DNS-поддоменов. Инструмент изначально не поддерживает рекурсивный перебор файлов и директорий, что, конечно, экономит время, но с другой стороны брутфорс каждого нового эндпоинта на веб-сайте нужно запускать отдельно.

Плюсы:

 

  • Высокая скорость работы как для перебора DNS-поддоменов, так и для брутфорса файлов и директорий.

 

Минусы:

 

  • В текущей версии не поддерживает установку HTTP-заголовков;
  • По умолчанию считает валидными только некоторые из HTTP-статус кодов (200,204,301,302,307).


Arjun


Arjun — инструмент для брутфорса скрытых HTTP-параметров в GET/POST-параметрах, а также в JSON. Встроенный словарь имеет 25 980 слов, которые Ajrun проверяет почти за 30 секунд. Фокус в том, что Ajrun не проверяет каждый параметр отдельно, а проверяет сразу ~1000 параметров за раз и смотрит, изменился ли ответ. Если ответ изменился, то делит эту 1000 параметров на две части и проверяет, какая из этих частей влияет на ответ. Таким образом, с помощью нехитрого бинарного поиска находится параметр или несколько скрытых параметров, которые влияли на ответ и, следовательно, могут существовать.

Плюсы:

 

  • Высокая скорость работы за счет бинарного поиска;
  • Поддержка GET/POST-параметров, а также параметров в виде JSON;


По схожему принципу работает и плагин для Burp Suite — param-miner, который тоже очень хорош в поиске скрытых HTTP-параметров. Подробнее мы о нём расскажем в грядущей статье про Burp и его плагины.

LinkFinder


LinkFinder — скрипт на Python для поиска ссылок в JavaScript-файлах. Полезен для поиска скрытых или забытых эндпоинтов/URL в веб-приложении.

Плюсы:

 

  • Быстрый;
  • Есть специальный плагин для Chrome на основе LinkFinder-а.

.

Минусы:

 

  • Неудобный итоговый вывод;
  • Не анализирует JavaScript в динамике;
  • Довольно простая логика поиска ссылок — если JavaScript каким-либо образом обфусцирован, или ссылки изначально отсутствуют и генерируются динамически, то не сможет ничего найти.


JSParser


JSParser — скрипт на Python, который использует Tornado и JSBeautifier для анализа относительных URL-адресов из JavaScript-файлов. Очень полезен для обнаружения AJAX-запросов и составления списка API-методов, с которыми взаимодействует приложение. Эффективно работает в паре с LinkFinder.

Плюсы:

 

  • Быстрый парсинг JavaScript-файлов.


sqlmap


sqlmap — наверное, один из самых известных инструментов для анализа веб-приложений. Sqlmap автоматизирует поиск и эксплуатацию SQL-инъекций, работает с несколькими диалектами SQL, имеет в своем арсенале огромное количество различных техник, начиная от кавычки “в лоб” и заканчивая сложными векторами для time-based SQL-инъекций. Кроме того, имеет множество техник дальнейшей эксплуатации для различных СУБД, поэтому полезен не просто как сканер для SQL-инъекций, а еще и как мощный инструмент для эксплуатации уже найденных SQL-инъекций.

Плюсы:

 

  • Большое количество различных техник и векторов;
  • Низкое число ложных срабатываний;
  • Много возможностей по точной настройке, различные техники, целевая БД, тампер-скрипты для обхода WAF;
  • Возможность создания дампа выходных данных;
  • Много различных возможностей по эксплуатации, например, для некоторых БД — автоматическая загрузка/выгрузка файлов, получение возможности выполнения команд (RCE) и другие;
  • Поддержка прямого подключения к БД с использованием полученных в ходе атаки данных;
  • На вход можно подать текстовый файл с результатами работы Burp — не нужно вручную составлять все атрибуты командной строки.

 

Минусы:

 

  • Сложно кастомизировать, например, написать какие-нибудь свои проверки из-за скудной документации для этого;
  • Без соответствующих настроек проводит неполный набор проверок, что может вводить в заблуждение.


NoSQLMap


NoSQLMap — инструмент на Python для автоматизации поиска и эксплуатации NoSQL-инъекций. Удобно использовать не только в базах данных NoSQL, но и непосредственно при аудите веб-приложений, использующих NoSQL.

Плюсы:

 

  • Как и sqlmap, позволяет не только находит потенциальную уязвимость, но и проверяет возможность её эксплуатации для MongoDB и CouchDB.

 

Минусы:

 

  • Не поддерживает NoSQL для Redis, Cassandra, в этом направлении ведётся разработка.

 

oxml_xxe


oxml_xxe — инструмент для встраивания XXE XML-эксплойтов в различные типы файлов, в которых в каком-либо виде используется XML-формат.

Плюсы:

 

  • Поддерживает многие распространенные форматы, такие как DOCX, ODT, SVG, XML.

 

Минусы:

 

  • Не до конца реализована поддержка PDF, JPEG, GIF;
  • Создает только один файл. Для решения этой проблемы можно использовать инструмент docem, который может создать большое количество файлов с пейлодами в разных местах.


Вышеупомянутые утилиты отлично справляются с тестированием XXE в случае загрузки документов, содержащих XML. Но также не забывайте, что обработчики XML-форматов могут встречаться во множестве других случаев, например, XML может использоваться как формат данных вместо JSON.

Поэтому рекомендуем обратить внимание на следующий репозиторий, содержащий большое количество разнообразных пейлоадов: PayloadsAllTheThings.

tplmap


tplmap — инструмент на Python для автоматического выявления и эксплуатации уязвимостей Server-Side Template Injection, имеет схожие с sqlmap настройки и флаги. Использует несколько различных техник и векторов, включая blind-инъекции, а также имеет техники для выполнения кода и загрузки/выгрузки произвольных файлов. Кроме того, имеет в своем арсенале техники для десятка разных движков для шаблонов и некоторые техники для поиска eval()-подобных инъекций кода в Python, Ruby, PHP, JavaScript. В случае успешной эксплуатации открывает интерактивную консоль.

Плюсы:

 

  • Большое количество различных техник и векторов;
  • Поддерживает множество движков для рендера шаблонов;
  • Много техник эксплуатации.

 

CeWL


CeWL — генератор словарей на Ruby, создан для извлечения уникальных слов с указанного веб-сайта, проходит по ссылкам на сайте на указанную глубину. Составленный словарь из уникальных слов в дальнейшем можно использовать для брутфорса паролей на сервисах или брутфорса файлов и директорий на том же веб-сайте, либо для атаки на полученные хэши с помощью hashcat или John the Ripper. Полезен при составлении “целевого” списка потенциальных паролей.

Плюсы:

 

  • Прост в использовании.

 

Минусы:

 

  • Нужно быть осторожнее с глубиной поиска, чтобы не захватить лишний домен.

 

Weakpass


Weakpass — сервис, содержащий множество словарей с уникальными паролями. Крайне полезен для различных задач, связанных с взломом паролей, начиная от простого онлайн брутфорса учетных записей на целевых сервисах, заканчивая офф-лайн брутфорсом полученных хэшей с помощью hashcat или John The Ripper. В составе около 8 миллиардов паролей длиной от 4 до 25 символов.

Плюсы:

 

  • Содержит как специфичные словари, так и словари с наиболее часто встречающимися паролями — можно подобрать конкретный словарь под собственные нужды;
  • Словари обновляются и пополняются новыми паролями;
  • Словари отсортированы по эффективности. Можно выбрать вариант как для быстрого он-лайн брута, так и для обстоятельного подбора паролей из объемного словаря с последними утечками;
  • Есть калькулятор, показывающий время брута паролей на вашем оборудовании.




В отдельную группу мы хотели бы вынести инструменты для CMS-проверок: WPScan, JoomScan и AEM hacker.

AEM_hacker


AEM hacker — инструмент для выявления уязвимостей в приложениях Adobe Experience Manager (AEM).

Плюсы:

 

  • Может выявлять AEM-приложения из списка URL, поданных ему на вход;
  • Содержит в себе сценарии для получения RCE путем загрузки JSP-шелла или эксплуатацией SSRF.

 

JoomScan


JoomScan — инструмент на Perl для автоматизации обнаружения уязвимостей при развертывании Joomla CMS.

Плюсы:

 

  • Способен отыскивать недостатки конфигурации и проблемы администраторских настроек;
  • Перечисляет версии Joomla и связанные с ними уязвимости, аналогично для отдельных компонентов;
  • Содержит больше 1000 эксплойтов под компоненты Joomla;
  • Вывод итоговых отчетов в текстовом и HTML-форматах.


WPScan


WPScan — инструмент для сканирования сайтов на WordPress, имеет в своем арсенале уязвимости как для самого движка WordPress, так и для некоторых плагинов.

Плюсы:

 

  • Способен перечислять не только небезопасные WordPress-плагины и темы, но и получать список пользователей и TimThumb-файлы;
  • Может проводить брутфорс-атаки на WordPress-сайты.

 

Минусы:

 

  • Без соответствующих настроек проводит неполный набор проверок, что может вводить в заблуждение.




В целом разные люди предпочитают для работы разные инструменты: все они по-своему хороши, и то, что понравилось одному человеку, может совершенно не подойти другому. Если вы считаете, что мы незаслуженно обошли внимание какую-то хорошую утилиту — пишите о ней в комментариях!