Войти

Как работает ShieldAI

Каждая проверка проходит несколько независимых слоёв анализа. Итоговый риск — сумма весов найденных признаков: серьёзный признак добавляет 35%, средний — 15%, слабый — 5%. От 20% проверка считается подозрительной, от 50% — опасной.

1. Экспертные правила

Десятки признаков для каждого типа данных: подмена букв в домене (ka5pi, ha1ykbank, kaspi-bonus), кириллица под видом латиницы, опасные доменные зоны, символ «@» в адресе, IP вместо домена, сокращатели ссылок, одноразовая почта, казахстанские и зарубежные коды номеров, платные 8-809, типичные фразы мошенников и чёрный список, который пополняется жалобами пользователей.

2. ML-модель для ссылок

Для ссылок работает модель машинного обучения — логистическая регрессия, написанная с нуля на Python без готовых библиотек: стандартизация признаков, градиентный спуск, L2-регуляризация, разделение на обучающую и тестовую выборки. Модель смотрит на 22 признака адреса и выдаёт вероятность фишинга:

p(фишинг) = σ(b + Σ wⱼ · x̃ⱼ)

Если вероятность выше 60%, модель добавляет свою находку к правилам. На странице результата видно, какие признаки повлияли на решение и в какую сторону.

78%

Accuracy

82%

Precision

73%

Recall

77%

F1

Обучена на 10000 ссылках из PhishTank, OpenPhish, Tranco и Common Crawl. Метрики посчитаны на 1939 ссылках с доменов, которых модель не видела при обучении.

Веса признаков

  • Количество точек в домене-1,22
  • Подозрительная доменная зона+0,90
  • Число поддоменов+0,83
  • Длина домена+0,76
  • Доля цифр в домене+0,65
  • Длина query-параметров+0,65
  • IP-адрес вместо домена+0,50
  • Дефисы в домене+0,50
  • Спецсимволы (%, =, &, ~, _)-0,38
  • Фишинговые ключевые слова+0,37
  • Длина URL-0,33
  • Имитация бренда+0,32
  • HTTPS-0,23
  • Сервис сокращения ссылок+0,23
  • Параметр редиректа+0,09
  • Punycode / IDN-омограф-0,08
  • Энтропия имени домена-0,06
  • Нестандартный порт-0,05
  • Доверенный домен+0,04
  • Тайпсквоттинг-0,02
  • Глубина пути0,00
  • Символ @ в адресе+0,00

Положительный вес толкает решение к «фишингу», отрицательный — к «безопасно».

3. Классификатор писем и СМС

Второй маленький классификатор читает сам текст: письмо, СМС, текст со скриншота или из QR-кода. Это логистическая регрессия на хэшированных словах, парах слов и 4-граммах букв, тоже написанная с нуля. Спамеры смешивают алфавиты («Ищeм» с латинской «e») и пишут цифры вместо букв, поэтому такие слова приводятся к нормальному виду, а само смешение становится признаком. На странице результата видно, какие слова повлияли на решение.

От 70% модель поднимает вердикт до «подозрительно», от 90% добавляет серьёзный признак. Сама по себе она никогда не ставит «опасно»: для этого нужны ещё и признаки из правил. Обучена на 29912 сообщениях, цифры ниже посчитаны при пороге 50% на 6115 сообщениях, которых не было в обучении.

ЯзыкТестовых примеровТочностьНайдено мошенничества
Английский391896%97%
Казахский*22082%100%
Русский197792%86%

*Открытых наборов казахских сообщений нет, поэтому казахские примеры и банковские уведомления созданы по шаблонам: цифры на них менее надёжны, чем на настоящих письмах и чатах. Тест идёт на шаблонах, которых не было в обучении. Самое слабое место модели — незнакомые обычные уведомления: на новых шаблонах она ошибочно отметила 48% русских и 50% казахских. Рабочая версия дообучена на всём наборе, включая эти шаблоны.

4. Скриншоты и QR-коды

Изображения не покидают браузер, поэтому отдельной модели по картинкам нет. Скриншот распознаётся в браузере (Tesseract: русский, казахский, английский), и полученный текст идёт в те же правила и классификатор. Классификатор обучен в том числе на текстах с типичными ошибками распознавания. QR-код декодируется в браузере, а по содержимому выбирается проверка: ссылки, телефона, письма или текста. Отдельно разбираются платёжные коды EMV с проверкой контрольной суммы, переводы криптовалюты, Wi-Fi, ссылки на приложения и опасные схемы.

Итоговая проверка на контрольных примерах

Эти примеры не участвовали в обучении моделей. Проверяется вся цепочка: правила и модели вместе. Срабатыванием считается любой вердикт, кроме «Безопасно».

Что проверяемПримеровНайдено угрозЛожные тревоги
Ссылки48100%0%
Сообщения4892%0%
Сообщения (новый контроль)4491%5%
Скриншоты (настоящий OCR)9683%0%
QR-коды46100%0%
Ссылки (настоящие адреса, новые домены)193953%8%

Главная цифра для ссылок — строка «настоящие адреса»: это реальный фишинг и реальные сайты с незнакомых доменов, и здесь видно предел проверки по одному адресу. Фишинг на взломанных сайтах и бесплатных хостингах по адресу не отличить, для этого нужен глубокий анализ страницы (в этой таблице он не участвует). Остальные наборы небольшие и составлены разработчиком. Правила для QR-кодов и шаблоны сообщений дорабатывались после просмотра ошибок на этих наборах, поэтому их результат завышен. Строка «новый контроль» честнее: этот набор написан после заморозки модели и порогов, и после него ничего не менялось. Скриншоты отрисованы программно, настоящие фотографии экрана могут распознаваться хуже. Это оценка качества, а не гарантия защиты.

Глубокий анализ сайта

По желанию сервер сам открывает страницу и проверяет:

  • формы ввода паролей и данных карт, а также отправку форм на чужой домен;
  • скрытые iframe, запутанный JavaScript (eval, atob, fromCharCode), автоматические перенаправления;
  • упоминание бренда в заголовке страницы на чужом сайте;
  • SSL-сертификат и возраст домена (через RDAP — современный WHOIS): большинство фишинговых доменов живут меньше месяца.

Загрузка защищена от SSRF-атак: каждый адрес и каждое перенаправление проверяются, запросы во внутренние сети блокируются, время и объём загрузки ограничены.

Приватность

  • Скриншоты и QR-коды распознаются прямо в браузере — изображения не уходят на сервер.
  • Пароль в инструменте «Проверка пароля» проверяется только в браузере.
  • Результат проверки открывается по случайному UUID — чужие проверки нельзя перебрать.