Содержание[Скрывать][Показывать]
Интернет произвел революцию во всем, что нас окружает, от образования и здравоохранения до взаимодействия с правительством и социальных коммуникаций, которые оказали наибольшее влияние.
Это изменило то, как люди связываются друг с другом и как компании ведут бизнес. Поскольку земной шар продолжает оцифровываться, цифровые данные от отдельных лиц и деловых транзакций генерируют огромные объемы данных.
Правильное использование этой информации предоставит предприятиям государственного и частного секторов бесчисленные возможности для увеличения доходов и более эффективного функционирования в новом цифровом мире.
Вы можете сделать это, не нарушая каких-либо правил авторского права или конфиденциальности, с помощью аналитики с открытым исходным кодом (OSINT).
Например, общедоступная информация на веб-сайтах социальных сетей, сообщения на дискуссионных форумах и в групповых чатах, незащищенные каталоги веб-сайтов и любая информация, которую можно получить с помощью поиска в Интернете.
На этапе анализа инструменты OSINT используются для сбора информации об их потенциальной цели. Программы OSINT используют искусственный интеллект для выявления конфиденциальных материалов в Интернете.
Давайте рассмотрим это подробно.
Что такое разведка с открытым исходным кодом?
Сбор информации из общедоступных источников для использования в контексте разведки называется OSINT (Open-Source Intelligence). На сегодняшний день мы живем в «цифровом мире», и его влияние на нашу жизнь будет как полезным, так и вредным.
Наличие разнообразной информации и простота, с которой каждый может получить к ней доступ, являются двумя преимуществами использования Интернета. Недостатки, с другой стороны, заключаются в эксплуатации знаний и уделении им чрезмерного времени.
Информация может принимать различные формы, включая аудио, видео, изображения, текст, файлы и так далее. Ниже приводится общий обзор категорий данных, доступных в Интернете:
- Правительственные отчеты, бюджеты, конференции и выступления — все это примеры общедоступных данных.
- Веб-сайты, блоги, дискуссионные форумы и социальные сети — все это примеры интернет-ресурсов.
- Изображения, финансовый и промышленный анализ и базы данных — все это примеры коммерческих данных.
- Газеты, журналы, телевидение и радио являются примерами средств массовой информации.
- Технические отчеты, патенты, коммерческие отчеты, неопубликованные статьи и информационные бюллетени — все это примеры серой литературы.
Зачем нам нужен OSINT?
Одно дело знать, что информация доступна. Второй шаг — это сбор информации, а третий — ее анализ или получение информации.
Вы также можете получить информацию вручную, хотя это потребует времени, которое лучше потратить на последних этапах.
Инструменты позволяют нам получать данные с сотен сайтов за считанные минуты, что упрощает сбор данных. Предположим, что цель состоит в том, чтобы определить, существует ли имя пользователя, и если да, то в каких социальных сетях он присутствует.
Один из способов — войти во все платформы социальных сетей (держу пари, вы не знаете их всех!), а затем протестировать имя пользователя на каждой из них.
Другой метод заключается в использовании приложения с открытым исходным кодом, которое подключено к большему количеству веб-сайтов, чем мы можем вспомнить, и одновременно проверяет наличие имени пользователя на всех из них.
Это занимает всего несколько секунд. Запускайте различные инструменты для сбора всей информации, связанной с целью, которая может быть подключена и использована впоследствии.
Давайте рассмотрим некоторые из лучших интеллектуальных инструментов с открытым исходным кодом для различных вариантов использования.
Инструменты OSINT для кибербезопасности
1. Лампайр
Lampyre — это премиум-приложение, созданное специально для OSINT. Это особенно полезно для должной осмотрительности, анализа киберугроз, уголовного расследования и финансовой аналитики. Его можно установить на свой компьютер или запустить онлайн.
Он автоматически анализирует более 100 обычно обновляемых источников данных, к которым вы можете получить доступ через приложения для ПК или вызовы API, если это необходимо, через свое решение SaaS Lighthouse, где вы платите за запрос API.
Тот факт, что Lampyre — это программа с одним щелчком мыши, является ее основной функцией продаж.
Начните с одной точки данных, такой как регистрационный номер компании, полное имя или номер телефона, и Lampyre будет просеивать огромные объемы данных для извлечения полезной информации.
Особенности
- Обработка больших массивов данных в удобной форме.
- Сокращение статистических данных, которые просты в использовании и оценке.
- Построение многочисленных графиков связей и наложение всех результатов на карту и временную шкалу.
- Невероятная выгода от экономии времени на аналитических работах.
Плюсы
- Существует более 100 источников данных, которые обычно обновляются.
- Импорт данных из файла при подготовке к автономной работе.
- Python API для самых сложных задач.
- Было подано более 100 запросов на сбор и обработку данных.
- При этом работая с данными на карте, графике и таблице.
- Доступ к данным можно получить одним щелчком мыши без необходимости регистрации или дополнительных сборов.
Минусы
- Интересно, что у Lampyre пока нет недостатков.
Цены
Лампайр имеет разумную цену.
Вы можете попробовать годовую демо-лицензию, прежде чем переходить на стандартную подписку за 32 доллара в месяц. Также доступна годовая версия за 313 долларов.
Членство в Lighthouse предлагает цены на SaaS от 3.25 до 130 долларов в месяц в зависимости от количества сделанных звонков.
2. Maltego
Maltego — это инструмент для анализа операционной системы и компьютерной криминалистики. Это обеспечивает эффективный анализ ссылок с помощью интерактивного интеллектуального анализа данных с богатыми визуальными эффектами.
Он проводит онлайн-расследования связей между данными из различных интернет-источников. Он может находить общедоступную информацию и выявлять связи между людьми и корпорациями.
Особенности
- Это технология, которая анализирует, собирает и связывает данные для следственных целей.
- Он без особых усилий собирает информацию из различных общедоступных источников.
- Благодаря простому пользовательскому интерфейсу он автоматически связывает и интегрирует информацию в график.
- Он выполняет запросы данных и использует анализ ссылок для выявления связей между источниками.
Плюсы
- Интерфейс довольно сложный, но в нем легко разобраться.
- Отлично подходит для построения диаграмм сложных сетей и взаимодействий, поскольку хорошо виден.
- Изначально выделяет связи между точками данных — через API можно добавить больше источников.
Минусы
- Небольшие предприятия могут найти версии премиум-класса дорогими.
Цены
План сообщества бесплатен для всех, а его премиальные планы упомянуты ниже:
- Pro — 999 долларов за пользователя в год.
- Цены на планы Enterprise и Enterprise On-Premise доступны по запросу. Вы можете связаться с командой Maltego для получения дополнительной информации.
3. Разведка-Нг
Recon-ng — это платформа веб-разведки и OSINT на основе Python. Он может автоматизировать процесс получения знаний, широко и быстро изучая контент с открытым исходным кодом в Интернете.
Он объединяет полезные данные и предоставляет их интегрированным и удобным для чтения способом.
Утилита имеет модульный интерактивный интерфейс командной строки. Его автономные компоненты включают разведку, отчетность, импорт, эксплуатацию и обнаружение.
Особенности
- Это комплексный набор модулей сбора информации. Он имеет множество модулей, которые можно использовать для сбора данных.
- Поскольку это бесплатный инструмент с открытым исходным кодом, вы можете загрузить и использовать его бесплатно.
- Это один из самых основных и полезных инструментов для ведения разведки.
- Выполняет работу сканера веб-приложений/веб-сайтов.
- Его интерактивная консоль имеет множество важных функций.
- Его пользовательский интерфейс очень похож на metasploitable 1 и metasploitable 2, что делает его очень простым в использовании.
- Он используется для сбора данных и оценки уязвимости веб-приложений.
- Он использует поисковую систему Shodan для сканирования устройств IoT.
Плюсы
- Имеет отличный пользовательский интерфейс.
- Одна из самых популярных утилит OSINT с сильным сообществом.
Минусы
- Требуется время, чтобы полностью понять и использовать все его возможности, потому что они настолько детализированы.
Цены
Это бесплатно для всех.
4. Паук
SpiderFoot — бесплатная разведывательная программа с открытым исходным кодом. Обычно это называется снятием отпечатков пальцев с наиболее существенным сбором OSINT.
Он может отправлять запросы более чем в 100 общедоступных источников и собирать данные об IP-адресах, доменных именах, веб-серверах, адресах электронной почты и другую информацию.
Чтобы начать использовать SpiderFoot, определите цель и выберите один из сотен различных модулей снятия отпечатков пальцев.
Особенности
- Исходный код находится в свободном доступе для всех, кто может внести свой вклад и улучшить его.
- Он хорошо написан в отношении кода, что позволяет пользователям лучше исследовать, понимать и понимать его функции.
- Пользователи могут только устанавливать цели и выбирать из более чем 100 модулей, которые поддерживают SpiderFoot при сборе данных и построении профиля.
- Он не требует установки или дополнительной настройки после регистрации.
- Он доступен в операционных системах Linux и Windows, а также в облачной версии.
Плюсы
- Интерфейс простой и базовый.
- Запрашивает множество общедоступных ресурсов — идеально подходит для крупномасштабного сбора данных.
- Новые модули предоставляют больше источников сбора данных.
Минусы
- Страницы, описанные как «noindex», не будут отображаться, что неадекватно отражает всю масштабность поверхности атаки.
Цены
Вы можете начать использовать его с тарифным планом Hobby, который является бесплатным, а также предоставляет премиум-планы, упомянутые ниже:
- Фрилансер — 79 долларов (оплачивается ежемесячно) или 749 долларов (оплачивается ежегодно).
- Бизнес — 249 долларов США (оплачивается ежемесячно) или 2,399 долларов США (оплачивается ежегодно).
- Предприятие – Цена по запросу.
5. OSINT Framework
Если вы еще не нашли свой идеальный инструмент OSINT (или если его нет в этом списке), OSINT Framework укажет вам правильное направление.
Инфраструктура OSINT обычно представляет собой не часть программного обеспечения, а скорее набор инструментов, которые сделают вашу работу с OSINT намного проще.
OSINT Framework предоставляет информацию в виде интерактивной сетевой карты разума, которая эстетически упорядочивает информацию. Он популярен среди тестировщиков на проникновение и исследователей кибербезопасности, которые ищут инструменты для определенных областей сбора и разведки информации.
С помощью этой структуры вы можете перемещаться по нескольким инструментам OSINT, которые разбиты на категории.
Особенности
- Инструменты и веб-сайты, которые он использует для запроса информации, в основном бесплатны или бесплатны.
- Он предлагает множество методов для сбора данных по любой заданной цели.
- OSINT Framework — это базовая веб-инфраструктура, используемая исследователями и тестировщиками безопасности для сбора цифровых следов и информации.
- Он классифицирует источники разведки и делится на темы и цели.
Плюсы
- Основная структура сообщества OSINT
- Отличный ресурс для открытия новых инструментов сбора данных.
- Инструменты можно сортировать по категориям.
Минусы
- Это может быть пугающим для начинающих пользователей, которые не знакомы с OSINT.
Цены
Это бесплатно для всех.
Инструменты OSINT для социальных сетей
6. СтебельЛицо
Facebook — самая известная социальная сеть, и теперь ею может пользоваться практически каждый.
StalkFace — отличный инструмент для исследования или «преследования» профиля Facebook. Вы даже можете просматривать сообщения, которые были прокомментированы или понравились пользователю.
Он использует запросы для выполнения расширенного поиска, который Facebook не позволяет нам просматривать с помощью стандартного поиска.
Вопреки тому, что предполагает название, обязательно используйте его только в этических целях.
Особенности
Просто введя URL-адрес Facebook или URL-адрес фотографии Facebook, вы можете найти:
- Фото
- Фотографии с тегами
- Истории понравились
- Фотографии понравились
- Фотографии прокомментированы
- Страницы понравились
Плюсы
- Лучший инструмент для изучения профиля Facebook.
Минусы
- Это не дает хороших результатов, когда профиль закрыт от вас.
Цены
Это бесплатно для всех.
7. Twitonomy
Twitter — еще одна известная служба новостей и социальных сетей, которая каждую минуту генерирует около 350,000 XNUMX твитов.
Twitonomy — это веб-программа аналитики социальных сетей, которая предоставляет организациям полезную информацию обо всех действиях в их учетных записях в Twitter.
Он позволяет пользователям отслеживать взаимодействие с другими пользователями Twitter с помощью лайков, твитов, ретвитов и других средств.
Особенности
- Он предлагает данные о производительности, панель инструментов, настраиваемые отчеты и мониторинг взаимодействия.
- Визуальные метрики доступны для твитов, ретвитов, упоминаний, ответов и хэштегов.
- Организации могут использовать отчет о подписчиках, чтобы получить представление о своих подписчиках и найти список людей, которые не подписаны на них.
- Это позволяет командам экспортировать и резервировать упоминания, ретвиты, твиты и отчеты в файлы Excel и PDF.
Плюсы
- Может захватывать и отслеживать ваши хэштеги, упоминания, твиты, ретвиты, комментарии и лайки, среди прочего.
- Используя свои аналитические исследования, он привлекает потенциальных клиентов и поддерживает рост брендов.
- Позволяет оптимизировать ваш контент в Твиттере и методы взаимодействия.
Минусы
- Предоставляйте аналитические данные и для старых твитов, что приводит к некорректным данным в отчетах.
- Меньше видов отчетов.
Цены
Он предоставляет бесплатную пробную версию и три других премиальных подписки, которые упомянуты ниже:
- План на 1 месяц со всеми премиальными функциями за 20 долларов.
- Ежемесячный план со всеми премиальными функциями за 19 долларов в месяц.
- Годовой план со всеми премиальными функциями за 1 долларов.
Инструменты OSINT для поисковых систем
8. Shodan
Shodan был первой поисковой системой для сетевых устройств, иногда называемых гаджетами IoT. Shodan индексирует все остальное в Интернете, тогда как Google индексирует только Интернет.
Он может обнаруживать камеры, серверы, маршрутизаторы, системы наблюдения, светофоры, смарт-телевизоры, холодильники и автомобили, подключенные к Интернету.
Эти гаджеты IoT не всегда доступны для поиска, но Shodan создал метод для поиска информации о них, включая открытые порты и уязвимости. Это одна из немногих программ, способных обнаруживать операционные технологии, распространенные в промышленных системах управления.
В результате Shodan также является ключевым инструментом кибербезопасности в отрасли.
Особенности
- Он помогает в мониторинге безопасности сети, отслеживая все устройства, подключенные к определенной сети.
- Он используется для обнаружения устройств IoT, а также их основных пользователей.
- С серверами, размещенными по всему миру, они сканируют Интернет 24 часа в сутки, семь дней в неделю и предоставляют самую последнюю информацию.
- Shodan обеспечивает конкурентное преимущество, помогая проводить эмпирическую рыночную аналитику.
- Он позволяет интегрироваться с другими технологиями.
Плюсы
- Вы можете экспортировать результаты и создавать отчеты из Shodan.
- Даже не разбирающиеся в технике люди найдут его довольно простым в использовании.
- Отличный пользовательский интерфейс, который показывает метрики с географической картой.
Минусы
- Это сервис, и, в отличие от Google, вы не можете вмешиваться в его внутреннюю работу.
Цены
Он предлагает три премиальных плана, которые упомянуты ниже.
- Фрилансер — 59 долларов в месяц.
- Малый бизнес — 299 долларов в месяц.
- Корпоративный — 899 долларов в месяц.
9. Google Доркс
GHDB (база данных взлома Google), часто известная как Google Dorks, представляет собой базу данных поисковых запросов Google, которая пытается найти общедоступную информацию.
Жертвы непреднамеренно размещают в Интернете конфиденциальную информацию, такую как незащищенные веб-консоли, открытые порты, входные порталы, конфиденциальные папки, открытые камеры, файлы, содержащие информацию об имени пользователя, и все остальное, что случайно оказывается в Интернете.
Каждый день сообщество Google Dorks выпускает серию сложных поисковых фраз Google.
Особенности
- Его можно использовать для отображения сети, поскольку Simple Dorks находит поддомены.
- Google Dorks доступны для различных инструментов сетевой аналитики с открытым исходным кодом (OSNITS) и поисковых систем.
- Это надежный инструмент OSINT, способный собирать конфиденциальную информацию.
- Это позволяет пользователям углубляться в архивы сервера и получать данные о различных аргументах.
Плюсы
- Поддерживается подавляющим большинством научного сообщества.
- Постоянно обновляется, чтобы отражать самые последние тенденции уязвимостей.
- Для поиска уязвимых активов применяются простые поисковые операторы.
Минусы
- Хакеры могут использовать его для осуществления незаконных действий.
Цены
Это бесплатно для всех.
10. Метагофил
Metagoofil — это бесплатная коллекция метаданных пассивной разведки на основе Python. Он используется для извлечения информации из таких документов, как pdf, doc, xls, ppt, ODP и ods, обнаруженных на целевом веб-сайте или любом другом общедоступном сайте.
Утилита находит документы с помощью Google, затем загружает их на локальный диск и извлекает все метаданные.
Он проверяет метаданные этих документов и собирает большое количество данных. Он может находить конфиденциальную информацию, такую как имена пользователей, фактические личности, версии программного обеспечения, электронные письма и пути/серверы.
Особенности
- Это позволяет распознавать информацию о пути, что помогает в отображении сетей.
- Он ищет и извлекает данные из локальных файлов или файлов на веб-странице.
- Его репозиторий можно легко клонировать и установить с помощью веб-сайта GitHub.
- Он также может извлекать MAC-адреса из различных документов.
Плюсы
- Бесплатное программное обеспечение с открытым исходным кодом.
- Отчеты можно сохранять в различных форматах, включая PDF.
- Может автоматически обнаруживать и загружать общедоступные текстовые документы внутри домена.
- Фильтры можно использовать для очистки имен пользователей, адресов электронной почты и паролей.
Минусы
- Визуализация данных довольно проста.
- Хакеры могут использовать Metagoofil для сбора имен пользователей и проведения более простых атак методом грубой силы.
Цены
Это бесплатно для всех.
11. TinEye
TinEye — это изображение поисковая система, которая работает наоборот.
Вы можете загрузить фотографии, чтобы узнать, где они были сделаны, где они использовались и существуют ли измененные версии; используется технология распознавания изображений, а не ключевые слова, метаданные или водяные знаки.
Исследование TinEye показывает, что он найдет точное изображение, даже если оно было уменьшено, обрезано и изменено. Если вы когда-нибудь смотрели телешоу Catfish, вы видели, как людям показывали фотографии людей, которые не являются теми людьми, с которыми они разговаривали.
Иногда это немного пугает. Однако мы живем в век высоких технологий, когда приложения для знакомств, живые чаты и другие формы общения становятся все более популярными.
Так что, если вы когда-нибудь задавались вопросом, присылает ли вам кто-то фальшивые фотографии или «вылавливает» вас, проверьте TinEye.
Особенности
- Обратный поиск чтобы узнать, откуда взято изображение, или узнать о нем больше.
- Исследуйте или отслеживайте появление изображения в Интернете.
- Определите веб-страницы, на которых используется созданное вами изображение.
Плюсы
- Просто отправьте изображение и начните поиск.
- Он имеет большую базу данных с более чем 41.9 миллионами фотографий в индексе.
- Доступно несколько вариантов фильтров для повышения ценности вашего поиска.
Минусы
- нельзя загружать фотографии массово; вместо этого вы должны выбирать по одному.
- В вашем поиске ни одна из бесплатных функций не даст похожих результатов фото.
- В бесплатной версии нет функции автоматического фотомониторинга.
Цены
Он предоставляет ежемесячные подписки, начиная с 300 долларов в месяц.
Для первого поиска первые 5000 фотографий стоят 0.12 доллара за изображение, а изображения с 5001 по 100000 — 0.09 доллара за изображение.
Постоянный мониторинг первых 500000 0.01 фотографий доступен по цене XNUMX доллара США за изображение в месяц.
12. Код поиска
Searchcode — это единственная в своем роде поисковая система, которая ищет информацию в открытом коде. Разработчики могут использовать его для обнаружения проблем с доступностью конфиденциальной информации в коде.
Поисковая система работает аналогично Google, за исключением того, что вместо индексации веб-серверов она ищет информацию в строках кода в активных приложениях или в приложениях, находящихся в разработке.
Хакер может использовать результаты поиска, чтобы найти имена пользователей, уязвимости или ошибки в самом коде.
Searchcode выполняет поиск в репозиториях кода, таких как GitHub, Bitbucket, Google Code, GitLab, CodePlex и других. Вы также можете отфильтровать язык по его типу.
Особенности
- Это совершенно бесплатная веб-система поиска кода.
- Разработчики могут использовать специальные символы для поиска.
- Можно фильтровать код для разных языков или репозиториев.
- Вы можете использовать результаты поиска для выявления имен пользователей или уязвимостей в коде.
Плюсы
- Он имеет фантастический пользовательский интерфейс.
- Может просто определить точки интереса из очищенных проектов с открытым исходным кодом.
- Фильтры упрощают сортировку по языку, репозиторию или термину.
Минусы
- У него есть кривая обучения, которую новым пользователям может показаться трудной.
Цены
Это бесплатно для всех.
Заключение
OSINT стал жизненно важным компонентом как государственных, так и частных разведывательных организаций и правительств. Это также может помочь предприятиям собирать разведывательные данные из высококачественной информации в базу и делать выбор на ее основе.
Независимо от того, занимаетесь ли вы исследовательским проектом, анализом конкурентов, оценкой уязвимостей или анализом угроз, OSINT может помочь вам получить доступ к одним из лучших доступных данных в мире. Причем, большая часть бесплатно.
Даже если вы просто человек, обеспокоенный своей конфиденциальностью, и хотите узнать, какая личная информация была непреднамеренно просочилась, OSINT может быть полезным.
Несмотря на свою превосходную полезность, инструменты разведки с открытым исходным кодом имеют и темную сторону, которую могут использовать хакеры или люди, вовлеченные в незаконную деятельность.
Лучше быть особенно осторожным при использовании таких инструментов и убедиться, что вы не используете их в каких-либо незаконных целях.
Оставьте комментарий