Abdushshakur Sulaiman Abubakar

我从零开始构建了一个 URL 威胁检测系统——从 v0 到 v2 的经验分享

几个月前，我在这里发帖，征求对早期版本钓鱼检测器的建议和反馈。今天，我分享 v2——已上线部署，功能比起步时强大得多。
以下是我的旅程。

起点
这个想法源于真实问题。我周围的人——朋友、家人、加密社区成员——不断点击可疑链接并被诈骗。没有一个简单的工具可以让他们在点击前检查链接。因此我决定自己构建一个。
v0 很基础，能用但粗糙，功能有限，我也没有信心广泛分享。我甚至把它从 Facebook 页面隐藏起来，因为害怕别人的评价。
这种恐惧浪费了时间。教训一。

v2 的成果
v2 是一个完整的威胁检测系统：
同时使用 7 个威胁情报提供商——VirusTotal、Google Safe Browsing、PhishTank、ThreatFox、URLhaus、AbuseIPDB、DNS Blocklist
基于 500,000+ 个真实钓鱼与安全 URL 训练的自定义 ML 模型
0 到 1 的风险评分并附完整说明
深度扫描模式，用于完整站点分析
支持批量扫描多个 URL
结果缓存，实现重复扫描的即时响应
结果在 20 秒内返回
我的收获

  1. 即使未就绪也要发布 v0 教给我的比任何教程都多。真实反馈揭示了我自己永远无法发现的问题。
  2. 提供商冗余至关重要 当一个提供商不可用时，系统仍能正常工作。设计时要考虑失败场景。
  3. 仅靠 ML 是不够的 我的 ML 模型有时会标记合法 URL。教训是——结合多重信号，不要信任单一来源。
  4. 透明度建立信任 我的 DSA 主席审阅了该工具。他最大的担忧不是检测，而是透明度。用户需要知道你检查了什么、如何评分、如何处理他们的数据。

下一步计划
隐私政策与关于页面
评分方法文档
私有 IP 封禁以防止滥用
使用 Redis 实现持久化缓存
移动应用与浏览器扩展
试用
🔗 aeglixmind.com
免费。无需登录。无需注册。
欢迎反馈——尤其是安全研究人员和开发者的反馈。请告诉我有什么问题、缺少什么、可以改进的地方。

由 Aeglix 构建——为非洲打造的网络安全工具。🛡️