本文目錄一覽：

電話機器人首要便是用來模仿人工通話電話機器人軟件架構的一組程序電話機器人軟件架構，一般由，CRM體系，語義辨認，轉化文字，話術體系，這是軟的部分，再加上底層軟交換和通訊模塊一同，兼并起來便是一套完好的電話機器人體系。

跟著人工智能的飛速開展以及廣泛落地運用，越來越多的設備將會被植入智能問答技能，人機交互場景隨處可見，智能問答在未來將會成為一個十分重要的進口。

騰訊小知憑借著業界搶先的智能AI引擎算法和海量大數據倉庫，已將智能問答技能落地施行，而且經過許多的事務檢測和優化，常識點匹配度和準確率都已到達90%以上，在2018 年 GITC 全球互聯網技能大會上，騰訊小知榮獲年度互聯網最具價值產品獎。

騰訊小知算法擔任人陳松堅也在會場宣布電話機器人軟件架構了關于智能問答技能原理及其在To B場景下的運用的專題講演，從自己的視點為電話機器人軟件架構咱們展示智能問答技能的最新作用。

電話機器人軟件架構他首要從智能問答是什么，為什么和怎樣做的三個問題動身，闡明電話機器人軟件架構了他對當時智能問答技能的定位和價值，首要，現階段的智能問答是信息檢索技能的晉級，是突變而未到達突變。可是不管在To B仍是To C的場景下，當時的技能都可以實在處理一些用戶的痛點，提高用戶體會，是亟待推動和充溢幻想的方向。

在答復怎樣做這個問題時，他具體介紹電話機器人軟件架構了幾種不同的問答機器人的完結途徑，包含單輪問答機器人，多輪問答機器人及閱覽了解機器人。其間要點論述了單輪問答機器人的完結原理，包含字面匹配，詞向量匹配，深度語義匹配，搬遷學習等技能。

爾后他還同享了小知團隊將上述技能產品化的經歷，包含智能客服機器人和電話機器人兩大塊，首要同享了當時產品的形狀，亮點和實踐項目中獲得的一些作用。

終究，他簡略總結了小知現在完結的作業以及就智能問答的開展提出了自己的幾點觀點。

--------------------------------------------------------------

以下是講演稿全文：

各位下午好，很快樂今日能在這兒給咱們做同享陳述。先介紹一下，咱們騰訊小知是致力于為政府和各職業供給一攬子智能問答處理計劃的團隊，現在現已落地的包含依據文本的智能客服機器人和依據語音的電話機器人等。

在大多數人的認知里，智能問答很或許是以上的3個形象，2011年打敗了人類獲得問答比賽冠軍的waston;2017年被沙特頒發公民身份的機器人sofia;更為咱們熟知的鋼鐵俠中的機器人管家jarvis。在咱們心目中，智能就意味著可以像真人相同溝通。可是作為從業者，很惋惜地告知咱們，現在的技能還遠沒有到達這個方針，我以為本質上現在的智能問答技能是對信息檢索技能的一次晉級，是突變而未到突變。這個皇冠上的明珠還等待咱們去摘取。

已然問答技能還不老練，那為什么還要投身到這個范疇呢。我想從To B和To C兩個視點去答復。對企業來講，當時的問答技能盡管無法回答雜亂的咨詢，可是大部分的簡略的頭部問題是可以比較好的回答的。從本輪AI大潮NLP賽道的幾名種子選手都從智能客服這個方向切入就可以看出企業是的確存在對智能問答的剛性需求。而對普通用戶來講，一方面siri等語音幫手每天都在為用戶供給快捷的交互界面，另一方面像amazon echo這一類的智能家居產品也逐漸進入千家萬戶，成為物聯網生態的中心進口之一，這便是智能問答的價值地點。

那怎么完結智能問答機器人呢?咱們先來看最根本的單輪問答機器人的完結原理。

了解搜索引擎的朋友會發現這個架構跟搜索引擎的很相似。單輪問答一般來說便是FAQ問答，是依據事務問答對組成的問答庫進行檢索匹配。其間FAQ問題集包含多個相似問法供用戶問題去匹配。預處理階段一般會進行文本糾錯，標準化和底層NLP特征提取;召回階段會在倒排索引中召回若干個候選問題(粗排)，而終究的匹配階段會依據各種模型進行匹配打分并回來得分最高的成果(精排)。匹配階段還會引進其他模塊，如常識圖譜和拒識模型，目的是輔佐提高匹配的終究準確率。

retrieval中的匹配可以看做是naive solution，詞袋+VSM, 挑選候選夠用了，可是精排需求更精美的戰略，榜首，要運用監督信息做擬合，咱們構建依據問題對的練習語料，擬合是否匹配這個二分類方針。第二，特征上扔掉稀少的詞袋模型，而是結構各種相似度來做base scorer，然后運用非線性的抗噪才能強的xgboost來做交融，比方咱們用到詞bigram, 字bigram, 中心詞，名詞等特征調集的相似度。這種辦法的優缺點是一體的，由于模型只學習字面相似的特征，因而不受范疇影響，通用性強，合適用在冷啟動階段;但也由于只考慮字面相似，無法處理更深層的語義匹配。

那怎么衡量語義的相似呢。詞向量技能的鼓起是語義匹配的條件，所謂詞向量，是將孤立的傳統的token表明映射到彼此相關的向量空間中，這種相關性，或許說是相似性，是經過詞語的上下文的來描繪的。也便是說，上下文越相似的詞語，他們的語義就越相似，詞向量的歐式間隔就越近。這是很簡略了解的，更妙的是，經過對向量進行簡略加減運算，可以呈現出概念的聯系，比方king-man+woman的成果十分接近于queen, 因而闡明詞向量可以必定程度描寫語義。那對語句怎么做向量表明呢?一個簡略的主意是直接求和均勻，WMD是另一個比較有意思且有用的做法，他將核算語句到語句的相似度建模成一個運送的問題，把語句p的各個詞，運送到q的各個詞上，也可以說是改換;運送成本是詞向量的cosine相似度，而要運送的是各個詞在語句中的權重，用線性規劃求解一個最優解，即為p到q的間隔。別的還有個有用的辦法是SIF，思路是做詞向量加權求和，可是突顯出語句中非通用的部分，即權重用詞頻倒數來核算權重，試驗作用也很不錯。

上面的辦法有一個問題便是沒有運用有監督信息，所以作用有顯著的天花板。下面介紹這個作業是依據深層網絡做有監督學習的匹配的，做法也比較簡略，首要把語句文本用one-hot編碼，假設詞典巨細是500K，那編碼完長度便是500K維，其實等于是詞袋模型，然后輸入到一個多層的神經網絡去學習，終究得到一個128維的向量作為語句的語義表明，然后用cosine核算兩個語句與文檔的相似度作為模型輸出。這個辦法其實是將高維稀少的token特征映射到低維語義空間，跟詞向量的思路很相似，只不過練習方針不同，而且這兒運用了深層網絡結構。

可是CNN對上下文的處理才能依賴于窗口巨細，遠間隔就沒辦法處理了，因而要考慮另一種網絡單元RNN，這種單元是專門為時序模型量身打造的，簡略來說，每一時間t上的躲藏狀況，或許說第t個詞上的語義編碼，都由兩個輸入一起決議，即上一時間的躲藏狀況和當時時間的原始輸入，而為了處理遠間隔傳遞導致的梯度消失和梯度爆破等問題，RNN有一些變種結構來應對，比方 LSTM和GRU等。

CNN和RNN都是對原始輸入進行語義編碼的根本單元，編碼后的向量就可以接入多層感知機進行相似度核算，假如是直接核算cosine相似度，那便是dssm的晉級版，而更常見的做法是把兩個語句的編碼向量拼接在一同，再經過一個多層感知機核算相似度，而這種辦法統稱為表達式建模;

另一種計劃考慮到兩個語句之間的交互信息對學習他們是否匹配明顯更為重要，這一類計劃被稱為交互式建模，右邊是一個典型的比方，他最大的不同是首要對兩個語句的一切窗口組合進行拼接和卷積，得到交互信息。然后再進行屢次卷積和池化得到表明。其他的交互方法還包含編碼之后，進行交互操作，如作差，點乘等，還有核算attention表明，也是常見的交互方法。

下面介紹咱們的計劃，跟上面介紹的模型比較，咱們的計劃首要做了兩處改動，一個是運用了稠密銜接的網絡結構，讓rnn層的輸入和輸出拼接在一同做為下一層的輸入，第二個是混合注意力機制，即在核算attention向量進行交互式建模的基礎上，添加self-attention向量核算，然后把兩個attention向量經過門機制進行交融，這樣做一方面引進了問句間的交互信息，一起又增強了對本身的表達建模。

上面的模型是比較雜亂的模型，參數量有5.8M。在實踐中運用中練習語料會嚴重不足，為了處理這個問題，咱們引進了搬遷學習的戰略。首要榜首種是多使命聯合學習，比方在擬合兩個問句是否匹配的一起，也對問句進行分類猜測;別的還可以一起對匹配的問題對做seq2seq的翻譯模型練習。這兩個戰略都證明能有用提高準確率。

而另一個思路愈加直觀，即引進其他范疇的語料，所謂多語料搬遷。Fine-tune即參數微調是其間一種做法，即先用通用語料練習網絡，固定底層表達層的參數，然后再運用范疇語料調整上層參數;另一種思路參閱了對立學習的思維，即引進一個新的使命“混雜分類器”去判別當時樣本是來自源語料仍是方針語料，經過在丟失函數中添加反向的混雜分類丟失項，讓混雜分類器盡或許地無法區別樣本的來歷，然后確保同享了參數的表達網絡可以學習到兩部分語料中共性的部分。

以上的介紹都是為了完結一個根本的單輪對話機器人，而實踐運用中，往往存在需求需求交互的場景，比方查詢社保余額，就需求用戶供給指定信息，如名字，身份證號，手機號等。這種是所謂使命導向型機器人，而另一種，依據常識圖譜的機器人也往往會涉及到多輪交互。這兒簡略介紹一下多輪對話機器人的架構，全體上是一個對話辦理體系，總的來說是辦理會話狀況，包含4個模塊，分別是輸入部分：自然言語了解模塊NLU，擔任目的辨認和抽取槽位實體，比方這兒匹配到了目的是查詢社保余額，抽取到了社保號1234。得到的目的和槽位值會送入到對話狀況追尋模塊，DST，他擔任會話狀況的更新，形式化來說是一個函數，輸入是當時狀況s和當時的query經過NLU處理過得到的目的和槽位值q, 輸出新的狀況s‘，下一步是把s’送入DPL，對話戰略模塊，這個模塊是依據新的狀況s‘輸出舉動a，一般這個決議計劃挑選會依賴于一個外部數據庫或常識圖譜，終究，由輸出部分，自然言語生成模塊NLG擔任將舉動轉化為自然言語文本，回來給用戶。

前面說到的單輪FAQ機器人，有一個問題是問答準確率依賴于問答庫的質量，而問答庫的構建耗時吃力，所以針對數據較大的非結構化文檔，假如可以直接從中抽取答案，是十分抱負的做法。比方斯坦佛大學開源的drQA，便是依據wikipedia的語料做的一個敞開域上的問答機器人，咱們來看看這種閱覽了解機器人的架構暗示，他也是依據檢索重排的思路，首要把或許的文段從語料庫中摘取出來，然后送入閱覽了解模型進行答案定位，打分，排序和挑選得分最高的答案。閱覽了解模型與匹配模型是相似的，需求先對問題和候選文段進行編碼表明，不同之處在于終究猜測的方針是答案的開始和完畢方位。我地點的團隊在上一年，在閱覽了解的威望揭露測評Squad v1中獲得過榜首的成果，一起參與這個測評的包含了google, facebook, 微軟，阿里idst, 科大訊飛等國內外同行。闡明業界對這種技能仍是十分垂青的。

下面同享小知在把以上技能落地產品化的經歷。首要咱們來看看小知的全體架構圖，中心引擎有兩部分，一塊是上面要點論述的深度語義匹配模型，另一塊是本次同享沒有打開的常識圖譜引擎，在此之上，咱們構建了FAQ機器人，多輪會話機器人(使命機器人)，閑談機器人等。以下是咱們單輪和多輪機器人的示例。

在咱們實踐的落地項目中，得益于深度搬遷模型的語義匹配才能和職業常識圖譜的的精準匹配和輔佐詰問，小知機器人可以做到95%左右的問答準確率，而且節省了50%以上的服務人力，實在為政府和企業提高功率和下降成本。

在智能客服的基礎上，咱們又打造了依據語音的電話機器人，力主交融智能客服，人工在線客服，工單體系和電話機器人，為客戶打造從售前售中售后的全體處理計劃。

以下是電話機器人的全體架構圖，中心是自然言語了解NLU模塊，擔任辨認用戶發問目的

提取相關實體。依據NLU輸出的成果，內置的對話辦理引擎會進行流程狀況流通和盯梢。

別的，ASR語音辨認和TTS語音組成是不可或缺的重要服務，這三個模塊彼此協作，一起完結與用戶的交互。

終究對智能問答的未來開展提幾點我的觀點。現在學術界比較公認的一個方向是，需求更有機地結合模型和規矩，而在問答范疇，規矩的一大組成部分便是常識圖譜，包含敞開范疇的常識圖譜和專業范疇常識圖譜。而更進一步地，咱們需求研討帶有推理性質的事理型常識圖譜去描繪范疇內的規矩和常識，讓機器人可以處理帶有雜亂條件的問題，供給更智能的回復。在我看來，智能問答的一個突破口就在于處理以上三個問題。以上便是今日同享的內容，謝謝咱們。

主講人介紹：

陳松堅，騰訊數據渠道部算法高檔研討員，有著8 年的 NLP 研制經歷，2017 年參加騰訊 TEG 數據渠道部，擔任智能客服產品騰訊小知的算法規劃和落地。擔任過多個智能客服項目，對關閉范疇的智能問答有豐厚的實戰經歷。

南京硅基智能電話機器人的優勢有許多的，我給你簡略說幾個：

1、依據自然言語了解、 支撐打斷：經過大數據分析，樹立智能決議計劃反饋體系，練習適配事務場景的言語模型。

2、人工轉接：經過語義辨認和處理功用可對客戶的意向進行實時盯梢，主動轉接人工跟進，下降客戶丟失的概率。

3、定制化：產品選用模塊化軟件架構，能快速構建適配不同事務場景需求的定制模塊。