久久播五月婷婷-国产又粗又猛又爽免费视频-色婷婷1024导航-久久久91精品国产-91国产在线含羞草-日本道中文字幕精品-97人妻精品一区二区三区香蕉-国产一区二区三区四区五区久久-国产99超碰人人做人人爱,久久热这里只有精品首页 ,婷婷在线精品首页,色婷婷av国产精品

1 任務(wù)1.1 任務(wù)定義

wer，中文名稱是社區(qū)問答。是利用半結(jié)構(gòu)化的數(shù)據(jù)（問答對形式）來回答用戶的提問，其流程通?？梢苑譃槿糠?。

問題解析，對用戶輸入的問題進(jìn)行分詞，糾錯等預(yù)處理步驟。召回部分，利用信息檢索引擎如等根據(jù)處理后的問題提取可能的候選問題。排序部分，利用信息檢索模型對召回的候選問題進(jìn)行相似度排序，尋找到最相似的問題并返回給用戶。1.2 任務(wù)分類

通常，根據(jù)應(yīng)用場景的不同，可以將CQA任務(wù)分為兩類：

1.3 評測標(biāo)準(zhǔn)1.4 數(shù)據(jù)集

由于工業(yè)界的數(shù)據(jù)集通常來自其自身業(yè)務(wù)的記錄，并不對外公開，故以下只舉例介紹相關(guān)比賽中出現(xiàn)的數(shù)據(jù)集：

“技術(shù)需求”與“技術(shù)成果”項目之間關(guān)聯(lián)度計算模型（需求與成果匹配）平安醫(yī)療科技疾病問答遷移學(xué)習(xí)比賽（疾病問句匹配）

相似案例匹配大賽（法律文書匹配）智能客服問題相似度算法設(shè)計——第三屆魔鏡杯大賽CCKS 2018 微眾銀行智能客服問句匹配大賽AFQMC 螞蟻金融語義相似度OPPO手機(jī)搜索排序query-title語義匹配數(shù)據(jù)集醫(yī)療問題相似度衡量競賽數(shù)據(jù)集2 方法及模型2.1 無監(jiān)督方法2.1.1 規(guī)則匹配

目前，流行的問答系統(tǒng)中依舊大量應(yīng)用著規(guī)則匹配的方法。基于規(guī)則的方法擁有可解釋性強(qiáng)，易于控制，效率高，易于實現(xiàn)，不需要標(biāo)注數(shù)據(jù)等優(yōu)勢。針對FAQ庫中的標(biāo)問和相似問進(jìn)行分詞、應(yīng)用正則表達(dá)式等方法提煉出大量的概念，并將這些概念進(jìn)行組合，構(gòu)成大量的句式，句式再進(jìn)行組合形成標(biāo)問。

在基于規(guī)則的匹配中, 如何進(jìn)行規(guī)則的自動發(fā)現(xiàn)與更新、檢驗與評估是最關(guān)鍵的問題。究其原因, 由人工維護(hù)的產(chǎn)生式規(guī)則需要高水平的、具備豐富的領(lǐng)域知識的專家.在問答系統(tǒng)所應(yīng)用的領(lǐng)域較為狹窄時， 這有可能得到滿足。然而, 隨著問答系統(tǒng)涉及知識的廣度和深度不斷提高, 依賴于專家知識對管理規(guī)則的難度也大為提高。

2.1.2 無監(jiān)督文本表示

在缺少標(biāo)記數(shù)據(jù)的場景，我們可以利用算法對文本本身進(jìn)行表示，再利用常用的向量距離計算方法（如余弦距離，歐式距離等）進(jìn)行相似性度量。常見的無監(jiān)督文本表示方法主要可以分為兩種，一種是基于詞頻信息的方法，一種是基于詞向量的方法。

選擇單詞數(shù)N服從泊松分布，N~(β)。文檔θ服從狄利克雷分布，θ~Dir(α)。對于文檔內(nèi)N個單詞中的每個單詞 a. 選擇一個主題z，服從多項分布Mult(θ) b. 以概率p（w|z，β）生成單詞w，其中p（w|z，β）表示在主題z上的條件多項式概率。

2.1.3 用于跨領(lǐng)域遷移學(xué)習(xí)方法

2.2 有監(jiān)督匹配算法2.2.2 問題意圖分類--深度學(xué)習(xí)多分類模型（CNN\DNN\LSTM\…）

2.2.2深度文本匹配模型

一般來說，深度文本匹配模型分為兩種類型，表示型和交互型。

表示型模型

表示型模型更側(cè)重對表示層的構(gòu)建，它首先將兩個文本表示成固定長度的向量，之后計算兩個文本向量的距離來衡量其相似度。這種模型的問題是沒有考慮到兩個句子詞級別的關(guān)聯(lián)性。容易失去語義焦點。

模型DSSＭ 模型 Bert交互型模型

交互型模型認(rèn)為全局的匹配度依賴于局部的匹配度，在輸入層就進(jìn)行詞語間的先匹配醫(yī)療問答系統(tǒng)，之后利用單詞級別的匹配結(jié)果進(jìn)行全局的匹配。它的優(yōu)勢是可以很好的把握語義焦點，對上下文重要性合理建模。由于模型效果顯著，業(yè)界都在逐漸嘗試交互型的方法。

模型ESIM （ LSTM）2.3 FAQ發(fā)現(xiàn)與優(yōu)化FAQ發(fā)現(xiàn)

將用戶問句進(jìn)行聚類，對比已有的FAQ，發(fā)現(xiàn)并補(bǔ)足未覆蓋的知識點。將FAQ與知識點一一對應(yīng)。

FAQ拆分是當(dāng)一個FAQ里包含多個意圖或者說多種情況的時候，YiBot后臺會自動分析觸達(dá)率較高的FAQ，聚類FAQ對應(yīng)的問句，按照意圖將其拆分開來。

最終希望希望用戶的每一個意圖能對應(yīng)到唯一的FAQ，這樣用戶每次提問的時候醫(yī)療問答系統(tǒng)，系統(tǒng)就可以根據(jù)這個意圖對應(yīng)的FAQ直接給出答案。而如果兩個FAQ意思過于相近，那么當(dāng)用戶問到相關(guān)問題時，就不會出現(xiàn)一個直接的回答，而是兩個意圖相關(guān)的推薦問題，這樣用戶就要再進(jìn)行一步選擇操作。這時候YiBot就會在后臺同樣是分析觸達(dá)率較高的FAQ，分析哪一些問句總是被推薦相同的答案，將問句對應(yīng)的意圖合并。

分析歷史日志，采用淘汰機(jī)制淘汰廢棄知識點，如已下線業(yè)務(wù)知識點等。

FAQ答案優(yōu)化

如果機(jī)器人已經(jīng)正確識別意圖但最后仍然轉(zhuǎn)人工，說明知識庫的答案不對，需要進(jìn)一步修正這一類知識點相對應(yīng)的答案。

比如在電商場景中，經(jīng)常會有查詢發(fā)貨到貨時間、訂單狀態(tài)等的場景。利用圖示指引、具體訂單處理等方式讓用戶操作更便捷。

3 產(chǎn)品案例產(chǎn)品1百度AnyQ-- Your

產(chǎn)品2:騰訊知文--結(jié)構(gòu)化FAQ問答引擎

基于結(jié)構(gòu)化的FAQ的問答引擎流程由兩條技術(shù)路線來解決

采用了三個層次的方法來實現(xiàn)快速檢索的方法

產(chǎn)品3:阿里小蜜

產(chǎn)品鏈接

意圖與匹配分層的技術(shù)架構(gòu)體系