Abdushshakur Sulaiman Abubakar

ゼロから URL 脅威検知システムを構築 — v0 から v2 までに学んだこと

数か月前、私はフィッシング検知ツールの初期バージョンについてアドバイスやフィードバックを求める投稿をしました。今日、v2 をお届けします — 実際に稼働し、展開済みで、最初に比べて大幅にパワフルになりました。
ここに、その道のりを記します。

始まり
このアイデアは現実の問題から生まれました。周囲の人々 — 友人、家族、暗号通貨コミュニティのメンバー — が不審なリンクをクリックして詐欺に遭うことが続いていました。リンクをクリックする前に確認できるシンプルなツールはありませんでした。そこで、私がそれを構築することにしました。
v0 は基本的なものでした。動作はしましたが、粗削りで機能が限定的で、広く共有できるほどの自信がありませんでした。実際、人々の反応を恐れて Facebook ページに隠していました。
その恐怖は時間を無駄にしました。教訓その 1。

v2 で実現したこと
v2 は完全な脅威検知システムです：
7 つの脅威インテリジェンスプロバイダーを同時に利用 — VirusTotal、Google Safe Browsing、PhishTank、ThreatFox、URLhaus、AbuseIPDB、DNS Blocklist
50 万件以上の実在のフィッシング URL と安全な URL で学習したカスタム ML モデル
0 から 1 までのリスクスコアと完全な説明
サイト全体を分析するディープスキャンモード
複数 URL を対象とした一括スキャン
繰り返しのスキャンを即時に行うための結果キャッシュ
20 秒未満で結果を表示
学んだこと

  1. 準備が整っていなくてもリリースする v0 はどんなチュートリアルよりも多くのことを教えてくれました。実際のフィードバックは、私一人では気づけなかった問題を明らかにしました。
  2. プロバイダーの冗長性が重要 1 つのプロバイダーが利用できない場合でもシステムは動作します。障害に備えて構築しましょう。
  3. ML だけでは不十分 私の ML モデルは、時に正当な URL を誤検知します。教訓 — 複数のシグナルを組み合わせ、いずれか 1 つを盲信しない。
  4. 透明性が信頼を築く 私の DSA 会長がこのツールをレビューしました。彼の最大の懸念は検知性能ではなく、透明性でした。ユーザーは、何をチェックし、どのようにスコアリングし、データをどう扱うのかを知る必要があります。

次のステップ
プライバシーポリシーと About ページ
スコアリング手法のドキュメント
悪用を防ぐためのプライベート IP ブロック
永続的なキャッシングのための Redis
モバイルアプリとブラウザ拡張機能
試してみる
🔗 aeglixmind.com
無料。ログイン不要。登録不要。
フィードバックをお待ちしています — 特にセキュリティ研究者や開発者の方々から。何が問題で、何が欠けていて、何を改善できるのか、教えてください。

Aeglix のもとで構築 — アフリカのためのサイバーセキュリティツール。🛡️