基于敏感詞的風(fēng)控策略是產(chǎn)品風(fēng)控體系中最基礎(chǔ)的設(shè)計(jì)內(nèi)容，內(nèi)容簡(jiǎn)單但很瑣碎，系統(tǒng)涉及從用戶發(fā)布到用戶舉報(bào)、命中策略到審核處理、用戶畫(huà)像到AI識(shí)別等方方面面。

敏感詞系統(tǒng)在產(chǎn)品中，尤其在內(nèi)容類產(chǎn)品中，是搜索、內(nèi)容生產(chǎn)等業(yè)務(wù)模塊的基礎(chǔ)風(fēng)控設(shè)計(jì)，包括敏感詞添加、命中方式、影響業(yè)務(wù)和影響用戶等多個(gè)設(shè)計(jì)維度。在敏感詞防控系統(tǒng)中，敏感詞大致分為以下幾類：

l政治相關(guān)和人名

l迷信邪教

l黃賭毒

l槍支彈藥類

l罵人諷刺類

l時(shí)事類

l廣告和非法信息

l其他類。

網(wǎng)上有很多敏感詞庫(kù)，這里為大家附上兩個(gè)在線敏感詞審核工具：

1.敏感詞甄別系統(tǒng)-網(wǎng)易易盾：

dun.163/trial/text

2.文本審核審核系統(tǒng)-百度Ai開(kāi)放平臺(tái)：

ai.baidu/tech/textcensoring?track=cp:ainsem|pf:pc|pp:chanpin-neirongshenhe|pu:neirongshenhe-minganciguolv|ci:|kw:10001876

產(chǎn)品中只要存在數(shù)據(jù)信息就需要預(yù)訪敏感詞的出現(xiàn)，對(duì)于有目的性發(fā)布涉及敏感詞信息的人或團(tuán)隊(duì)常被稱為“垃圾蟲(chóng)”。

敏感詞存在的地方十分廣泛：社區(qū)、論壇、聊天記錄、評(píng)論、上傳信息，甚至用戶頭像、昵稱、簽名這樣的地方，都有可能被灌入敏感詞。

因此，產(chǎn)品開(kāi)發(fā)上線后，通常都會(huì)設(shè)置敏感詞過(guò)濾，這幾乎已經(jīng)成了一個(gè)產(chǎn)品的標(biāo)配。做為產(chǎn)品經(jīng)理，最好查看一下所負(fù)責(zé)產(chǎn)品有沒(méi)有做好相應(yīng)的處理，尤其是做資訊的產(chǎn)品，否則當(dāng)心相關(guān)部門(mén)的約談了~

今日頭條整改：下架萬(wàn)條問(wèn)題視頻 審核庫(kù)增1700條敏感詞

4月6日，今日頭條方面發(fā)布通報(bào)稱，旗下火山小視頻、西瓜視頻等短視頻平臺(tái)共計(jì)下架問(wèn)題視頻10318條，重置封禁問(wèn)題賬戶4864個(gè)，增加視頻審核相關(guān)詞庫(kù)敏感詞1700余條，目前已經(jīng)落實(shí)多項(xiàng)整改舉措，并在視頻社區(qū)大力推薦社會(huì)正能量?jī)?nèi)容。

　　此前的4月1日，央視曝光火山小視頻、快手等存在未成年孕婦、未成年媽媽和未成年二胎媽媽主播。4月4日，國(guó)家廣播電視總局約談了這些短視頻平臺(tái)負(fù)責(zé)人，要求依據(jù)《互聯(lián)網(wǎng)視聽(tīng)節(jié)目服務(wù)管理規(guī)定》整改，并要求停止新增視聽(tīng)節(jié)目上傳賬戶，網(wǎng)站節(jié)目的上傳總量和上線播出總量應(yīng)立即調(diào)減至與網(wǎng)站審核管理力量相匹配的規(guī)模，確保未經(jīng)審核的節(jié)目不得播出。

產(chǎn)品關(guān)鍵詞系統(tǒng)中，主要的屏蔽內(nèi)容包括“廣告過(guò)濾、黃賭毒、暴力恐怖、謠言排查”等幾種。對(duì)于不同的產(chǎn)品場(chǎng)景，敏感詞屏蔽級(jí)別不同。

例如：

微博屏蔽需要基礎(chǔ)、全面，一些時(shí)事熱點(diǎn)也要納入屏蔽范圍。

B站為保證彈幕質(zhì)量，屏蔽了刷屏、內(nèi)容尷尬的彈幕。彈幕內(nèi)容并不敏感，只是讓人不喜歡。

B站在彈幕內(nèi)容的控制設(shè)計(jì)十分注重用戶體驗(yàn)：

1.用戶可根據(jù)顏色、字體大小、展示方式甚至自定義文本進(jìn)行彈幕屏蔽

2.視頻界面右邊設(shè)計(jì)了彈幕窗口，用戶可以在彈幕窗口查看每條彈幕內(nèi)容。

如圖所示：

敏感詞系統(tǒng)設(shè)計(jì)

敏感詞系統(tǒng)可以過(guò)濾基礎(chǔ)的文本敏感內(nèi)容；可以結(jié)合業(yè)務(wù)線靈活掌握敏感詞過(guò)濾方式，以及觸及敏感詞的用戶。

1.系統(tǒng)涉及概念介紹

詞庫(kù)：同一類別的敏感詞所組成的一個(gè)大類。本文中有四大詞庫(kù)（紅線詞庫(kù)、敏感詞庫(kù)、危險(xiǎn)詞庫(kù)），每一個(gè)詞庫(kù)中有三級(jí)分類。

詞過(guò)濾：針對(duì)搜索業(yè)務(wù)，對(duì)搜索詞直接過(guò)濾。

結(jié)果過(guò)濾：針對(duì)命中敏感詞的結(jié)果直接過(guò)濾。

2.業(yè)務(wù)分析

原則上來(lái)說(shuō)，敏感詞系統(tǒng)具備匹配詞庫(kù)就足夠了，但這種單一敏感詞系統(tǒng)使用在用戶業(yè)務(wù)場(chǎng)景中常遇到以下問(wèn)題：

場(chǎng)景一：A產(chǎn)品要小規(guī)模內(nèi)測(cè)上線，產(chǎn)品中的評(píng)論功能需要接入最基本的敏感詞控制風(fēng)險(xiǎn)，但是面對(duì)運(yùn)營(yíng)的詞庫(kù)找不到哪些屬于“基本”敏感詞；

場(chǎng)景二：B產(chǎn)品被用戶反饋有低俗色情內(nèi)容，但敏感詞明明已經(jīng)添加過(guò)了，經(jīng)檢查發(fā)現(xiàn)該敏感詞只管控了甲業(yè)務(wù)，新上的乙業(yè)務(wù)沒(méi)有添加管控而被用戶投訴；

場(chǎng)景三：C產(chǎn)品被老大反饋?zhàn)约喊l(fā)表的評(píng)論消失了，開(kāi)發(fā)查到是命中了敏感詞導(dǎo)致找到了運(yùn)營(yíng)，但運(yùn)營(yíng)認(rèn)為這個(gè)詞字面上看確實(shí)有問(wèn)題，可說(shuō)不出添加依據(jù)；

場(chǎng)景四：及時(shí)手握大量敏感詞，但依舊依靠人工排查來(lái)擴(kuò)充詞庫(kù)，費(fèi)時(shí)費(fèi)力；

因此，無(wú)論是用戶還是運(yùn)營(yíng)角度，都形成了敏感詞系統(tǒng)的基本需求：

用戶：輸入/發(fā)布–>敏感詞檢測(cè)–>過(guò)濾–>結(jié)果展示；

運(yùn)營(yíng)：發(fā)現(xiàn)敏感詞–>評(píng)估–>添加–>處理被過(guò)濾內(nèi)容。

3.敏感詞系統(tǒng)架構(gòu)

系統(tǒng)設(shè)計(jì)基礎(chǔ)為詞庫(kù)，把敏感詞按重要程度劃分類別，如“紅線類別，敏感類別，危險(xiǎn)類別”，不同類別結(jié)合用戶維度、地域維度進(jìn)行匹配，作用在不同業(yè)務(wù)。

系統(tǒng)界面架構(gòu)：

4.原型界面

l策略配置

功能說(shuō)明：詞庫(kù)與業(yè)務(wù)的結(jié)合設(shè)計(jì)。通過(guò)配置控制敏感詞過(guò)濾功能對(duì)業(yè)務(wù)的影響方式（詞過(guò)濾或結(jié)果過(guò)濾），持續(xù)時(shí)間，狀態(tài)（生效或者是下線），掌握策略召回的數(shù)量，并對(duì)策略召回的內(nèi)容進(jìn)行處理。

設(shè)計(jì)頁(yè)面：策略管理頁(yè)

頁(yè)面目標(biāo)：配置管控策略。

操作說(shuō)明：配置指定業(yè)務(wù)應(yīng)適用的防控敏感詞類型，操作如下：

1.配置敏感詞：紅線詞庫(kù)中，添加二級(jí)類別“低俗色情”，選擇該類別下所有的三級(jí)類別；

2.關(guān)聯(lián)需管控的業(yè)務(wù)：選擇一級(jí)業(yè)務(wù)“搜索”下所有二級(jí)業(yè)務(wù)，

3.配置影響效果：選擇影響方式和持續(xù)時(shí)間

效果說(shuō)明：在搜索下的所有業(yè)務(wù)被“紅線詞庫(kù)-低俗色情“類敏感詞影響，影響方式為用戶搜索該類敏感詞時(shí)將被影響，且為永久影響狀態(tài)”。

l詞庫(kù)管理

功能說(shuō)明：添加敏感詞，控制該詞所屬詞庫(kù)。在添加時(shí)可看到召回量，抽樣評(píng)估后得到攔截準(zhǔn)確率。

設(shè)計(jì)頁(yè)面：詞庫(kù)管理頁(yè)

頁(yè)面目標(biāo)：新增敏感詞。

包含功能：

1.可批量添加多個(gè)敏感詞

2.系統(tǒng)可初步按照字面意義判斷所屬詞庫(kù)

3.系統(tǒng)可評(píng)估敏感詞召回量及隨機(jī)樣本，判斷是否生效敏感詞及所屬詞庫(kù)。

l用戶配置

功能說(shuō)明：關(guān)聯(lián)用戶與敏感詞、業(yè)務(wù)、地域三個(gè)維度。

設(shè)計(jì)頁(yè)面：用戶管理頁(yè)

頁(yè)面目標(biāo)：用戶與敏感詞、業(yè)務(wù)、地域的關(guān)聯(lián)配置

包含功能：

1.讀取“策略配置”頁(yè)中配置好的所有策略到“用戶管理“模塊，即：命中策略字段。

2.系統(tǒng)統(tǒng)計(jì)命中策略中被該策略召回的用戶數(shù)。

3.允許用戶跳轉(zhuǎn)至 “內(nèi)容處理”頁(yè)面對(duì)召回案例進(jìn)行處理

l內(nèi)容處理

功能說(shuō)明：對(duì)命中策略的業(yè)務(wù)或用戶做處理。

設(shè)計(jì)頁(yè)面：內(nèi)容處理頁(yè)

頁(yè)面目標(biāo)：用戶與敏感詞、業(yè)務(wù)、地域的關(guān)聯(lián)配置

包含功能：

1.可按用戶、內(nèi)容兩個(gè)維度查看每條被命中策略被召回案例

2.系統(tǒng)記錄該策略生效時(shí)間

3.用戶可在頁(yè)面完成最新、歷史召回案例的處理

5.數(shù)據(jù)統(tǒng)計(jì)

功能說(shuō)明：從策略維度、詞庫(kù)維度、用戶維度、處理維度做出數(shù)據(jù)統(tǒng)計(jì)。

設(shè)計(jì)頁(yè)面：數(shù)據(jù)統(tǒng)計(jì)頁(yè)

頁(yè)面目標(biāo)：報(bào)表形式統(tǒng)計(jì)策略、詞庫(kù)、用戶和處理情況的執(zhí)行情況