超低内存占用
加载 10 万敏感词仅需 ~40MB 运行时内存,较传统 map DFA 实现节省 42%。256MB 可用内存即可稳定运行 10 并发无 OOM。
基于 Go 语言的高性能敏感词检测引擎。10 万敏感词仅需 40MB 内存,支持 14 种反清洗识别,28.5 万 ops/s 无锁并发。
专为低配置服务器优化,减少 42% 内存占用,无锁并发保障高吞吐。
加载 10 万敏感词仅需 ~40MB 运行时内存,较传统 map DFA 实现节省 42%。256MB 可用内存即可稳定运行 10 并发无 OOM。
纯 DFA 匹配引擎采用双数组节点结构,100 并发下 FindAll 达 28.5 万 ops/s。Contains 快速判断高达 23.8 万 ops/s。
覆盖零宽字符、形近字替换、同音字替换、全角半角变体、西里尔/希腊同形字母、Emoji 干扰、Leet Speak、CJK 重复压缩等全方位反制策略。
内置三级降级策略:基于可用内存的自动降级、手动降级恢复、匹配耗时告警。降级后自动回退到纯精确匹配,杜绝服务雪崩。
Fuzzy 反清洗、Leet Speak 映射、CJK Dedup 压缩、自定义替换字符、最大词长限制、懒构建、自定义日志器、溯源追踪、告警回调等全可配置。
支持 CheckMemoryAndDegrade 自动降级、Degrade/Recover 手动控制、TotalMatches 累计命中计数。降级前触发 AlertCallback 告警通知。
1200+ 条混淆字符映射关系,覆盖数字、拉丁字母、中文汉字全系列变体。所有反清洗场景通过全量测试验证,零误杀、零漏报。
完全免费商用,不内置任何敏感词库(由开发者自行维护)。社区活跃,持续迭代更新,Go 1.21+ 即可运行,零外部依赖。
11 步标准化流水线,覆盖中国互联网常见文本干扰手段。所有策略可独立开关,按需灵活组合。
ZWSP / ZWNJ / BOM / LRM / RLM
10+ 种不可见字符
敏 感 词 / 敏\n感\n词
空格、制表符、换行符
HELLO → hello
全角字母数字 → 半角
HeLLo → hello
Unicode ToLower
曰本人 → 日本人
200+ 组中文形近字
克 → 可 / 滴 → 的
50+ 组常见同音字
亻→ 人 / 氵→ 水
20+ 组偏旁映射
в → b / ν → v / р → p
40+ 大小写字母映射
敏😊感🎉词 → 敏感词
9 个 Emoji 范围过滤
敏,感。词 → 敏感词
中英文标点剥离
h3llo → hello
数字/符号 → 字母
敏敏敏感词 → 敏感词
连续同字符去重
𝐇𝐞𝐥𝐥𝐨 → hello
U+1D400-U+1D7FF 映射
é → e
Unicode 组合标记剥离
在低配置环境(2核 CPU / 256MB 可用内存)下实测数据。
| 指标 | 数值 |
|---|---|
| DFA 构建内存增量 | ~33.7 MB |
| 总运行时内存 | ~40 MB |
| 较传统 map DFA 节省 | 42% |
| 256MB 环境 10 并发 | 1000 次无 OOM |
| 操作 | ops/s |
|---|---|
| FindAll(精确) | 117,000 |
| FindAll(反清洗) | 83,000 |
| Contains | 238,000 |
| FindAll(100 并发) | 285,000 |
Go 1.21+ 即可运行,一行命令安装,一行代码创建过滤器。
go get github.com/sensitive-lite/sensitive-lite
package main import ( "fmt" sensitive "github.com/sensitive-lite/sensitive-lite" ) func main() { // 1. 准备自定义敏感词库(组件不内置任何词库,由开发者自行维护) words := []string{"敏感词", "违规", "广告"} // 2. 创建过滤器(反清洗识别默认开启,无需额外配置) filter := sensitive.New(words) // 3. 查找所有敏感词(含反清洗识别,自动标准化文本) matches := filter.FindAll("敏 感 词 检测") for _, m := range matches { fmt.Printf("敏感词: %s, 位置: [%d, %d), 类型: %s\n", m.Word, m.Start, m.End, m.Type) } // 4. 替换敏感词为 *** result := filter.Replace("这是一条包含敏感词的内容") fmt.Println(result.Text) // 这是一条包含***的内容 }
从轻量级边缘计算到大规模云服务,sensitive-lite 均可胜任。
树莓派、轻量云主机(256MB 内存)上稳定运行,10 万词库无压力。内存自动降级机制确保极端环境不 OOM。
UGC 评论/帖子/聊天消息实时过滤。无锁并发设计支撑每秒数十万次请求,单机即可承载大规模流量。
反制用户通过零宽字符、全角变体、同音字、西里尔同形等方式绕过敏感词检测,14 种策略全面覆盖常见绕行手段。
内置溯源追踪、告警回调、自动降级机制,无缝集成钉钉/飞书/企业微信告警系统,满足企业级运维要求。