[技术分享/项目展示] 为 RouterOS 撸了一套全流量日志审计系统:1300万+连接 0.06秒秒级检索,专治机房 NAT 端口反查内网物理机

各位 NS 的佬友们好:

自己和团队平时帮一些朋友做租机房、多拨环境和小型 IDC 运维,经常遇到一个非常头疼的问题——涉案反查与日志溯源。

0x01. 为什么做这个东西?(痛点)

只要做过独立服务器出租、多拨业务或者多设备机房的朋友应该都懂:

  1. 共享出口背锅:多台物理机/小鸡共用几个公网 IP 出口。某天突然收到某地网安或机房上游的告发函,上面只冷冰冰给了一个 公网IP + 端口 + 精确时间戳。
  2. 大海捞针查不到:在传统的 NAT 环境下,外部只看得到公网端口,根本不知道具体是内网哪台物理机干的。查不出来,机房就得自吞断网封停的苦果。
  3. 现有开源方案太重:以前折腾过 ELK(Elasticsearch + Logstash + Kibana)或 ClickHouse,动辄吃掉几十 GB 内存,对硬件和维护成本要求太高;而 ROS 自带的 Log 根本顶不住每秒几千上万条的高并发推流。

为了解决这个问题,我们用 Go 语言自研了一套轻量级但吞吐极高的日志审计中台(RouterosLog / ROSLog Pro),针对 MikroTik RouterOS 生态做了深度适配,今天来和各位大佬汇报并分享一下技术实现。


0x02. 系统架构与技术实现

整个系统遵循**“主路由零负载、采集分析完全外置、极速索引”**的设计哲学:

1. 采集层:零侵入推流

  • 利用 RouterOS 原生的 Traffic Flow(NetFlow UDP 2055) 与 Syslog 推流。
  • 不修改现有任何路由拓扑,不需要在 ROS 上装奇奇怪怪的第三方包,ROS 仅在内核层镜像特征包发送,对软路由本身的 CPU 与转发性能完全零损耗。

2. 存储与检索引擎:Go 自研优化

  • 采用 Go 编写的单二进制轻量服务,专门针对时序流数据设计了紧凑型索引。
  • 实测检索性能:单机在 13,375,414(1330万+)条海量实时会话中,按 IP/端口/MAC 模糊匹配,查询时间仅需 0.0699 秒(不到 0.07 秒),秒出结果并支持一键导出 CSV 证据链。
  • 防爆盘策略:支持自适应的磁盘保护与滚动覆盖机制,自动清理超期日志,普通小主机或挂个廉价 SSD 就能常年稳定跑。

3. NAT 穿透与物理机深度关联(核心杀手锏)

做过溯源的朋友知道,单查源 IP 没用,必须捕获转换过程:

  • 完整关联:时间戳 + 出口/入口线路(如具体的 pppoe-out*) + 协议 + 源内网IP:端口 + 物理网卡 MAC + 机位主机名(如 Y-144/G-094) + 目标IP:端口 + 双向 NAT 转换信息。
  • 外部报涉案端口,回车一搜,具体哪台物理机、哪张网卡、分配给哪个租户的机位编号瞬间锁定,定责免责清清楚楚。

4. 应用层全景审计

除了底层流数据外,还集成了:

  • URL 访问日志:抓取 HTTP/HTTPS 访问的 Host 域名及请求路径(支持 TLS 加密状态识别);
  • DNS 解析审计:内网设备的所有域名解析请求历史全留存;
  • 单机流量排行图:实时统计每台主机的 Tx/Rx 流量、数据包及带宽占比,抓内网肉鸡/异常流量极度顺手。

0x03. 核心界面与实测截图

(建议在此处插入 2~3 张图:重点插入带有 “0.0699秒” 的 IP 会话明细图、总览仪表盘波浪图、以及 URL 访问日志图)

  • 图1:会话明细与秒级检索:1300万条连接池,0.0699 秒匹配出物理机 MAC 与租户机器名。
  • 图2:总览仪表盘:单日吞吐 1500万+ 日志,实时曲线平稳,内存与磁盘极低占用。
  • 图3:全维度审计:URL 域名、URI 路径、DNS 及单机带宽占用排查。

0x04. 适合哪些老哥?

  • 租机房 / 算力中心 / 挂机多拨机房:客户行为不可控,不想被连带停机的自保刚需;
  • 企业网络运维 / 园区网:查内网违规外连、跑大流量内鬼;
  • RouterOS 资深玩家 / 工程商:手头有机房客户需要合规交付(满足网络日志留存 6 个月要求)。

0x05. 交流与体验(给 NS 佬友的福利)

系统目前已经在多家机房实际稳定跑了很长时间,技术上还在不断打磨迭代。

各位开机房、做网络运维的老哥如果对这种轻量级高并发审计架构感兴趣,或者手头正好有租机合规诉求:

  • 欢迎回帖交流技术细节(关于 NetFlow 解析压测、ROS 多拨匹配等任何技术问题知无不言);
  • 有需要试用的佬友,也可以私信我,可以测试!

感谢各位大佬阅读,欢迎轻喷与交流!