第310章 圖獎大佬肯定的想法

关灯護眼    字體:

[上一章] [目錄] [下一章]

就以“內容表示”來說吧,在構建生成式文字摘要模型的時候。

很多時候內容表示的完成水平的高下將直接影響到後續的步驟。

而尹芙·卡莉所搞得《文字判斷甄別比較的一種新方法》這項專利在內容表示方面確實有一定的價值。

藉助於該專利所提供的價值,林灰以後在進行文字摘要的後續升級換代的過程中可以少一些邏輯層面的漏洞。

但如果僅僅是因為這點價值,還不足以讓林灰大費周章進行一項跨國專利的收購。

林灰之所以煞費苦心將尹芙·卡莉搞出的《文字判斷甄別比較的一種新方法》這項專利最最根本的原因還是因為林灰比較在意尹芙·卡莉在這一專利中所應用的模型。

在《文字判斷甄別比較的一種新方法》這項專利中就文字甄別尹芙·卡莉極其有創意地鼓搗出一個用於文字判斷甄別的模型。

如果僅僅就自然語言處理機器學習方面來看,這不過只是一個平平無奇的用於文字判別的模型。

但當思維跳脫出自然語言處理這個小領域之後,這個模型可不能夠等閒視之。

當初在翻閱這個時空的學術方面的一些資料時,林灰敏銳地注意該專利所蘊含的價值。

儘管專利所提供的技術路線很多時候都是概要性的。

一些後來者在按照這些技術路線去體悟技術的時候往往只能盲人摸象般的探索。

在擁有前世資訊的情況下,林灰相當於站在巨人的肩膀上,

雖然偶爾會有些高處不勝寒的感覺,但具體到技術方面的時候林灰往往系統概念更強。

很多時候,林灰只消看到一些公開的技術路線就能瞭解到其背後所蘊含的價值。

並且這種判斷基本是八九不離十。

當初接觸到尹芙·卡莉搞得這個專利時。

林灰發現根據該專利已經公開的一些資料尤其是該專利公開提及的技術路線。

林灰很快捕捉到這個專利的價值。

林灰料定利用這個模型幾乎稍加變形就能在此基礎上形成一種頗為高效的判別式模型。

事實是後來進行的收購進一步瞭解了專利資訊後更是印證了此前林灰對之的猜測。

僅僅是判別式模型即便是效率高或許沒啥意義。

但是稍微做點小改動那事情就不一樣了。

當高效的判別式模型邂後高效的生成式模型。

此二者進行有機結合,並在此基礎上再繼續進行一定的專門架構之後。

完全可以藉此搞出全新的效率頗高的深度學習模型。

這個深度學習模型在前世有個大名鼎鼎地稱呼:

——生成對抗網路(GAN)

生成對抗網路由一個生成網路與一個判別網路組成。

生成網路從潛在空間中隨機取樣作為輸入,其輸出結果需要儘量模彷訓練集中的真實樣本。

【新章節更新遲緩的問題,在能換源的app上終於有了解決之道,這裏下載 huanyuanapp.org 換源App, 同時查看本書在多個站點的最新章節。】

判別網路的輸入則為真實樣本或生成網路的輸出,其目的是將生成網路的輸出從真實樣本中儘可能分辨出來。

而生成網路則要儘可能地欺騙判別網路。

兩個網路相互對抗、不斷調整引數。

最終目的是使判別網路無法判斷生成網路的輸出結果是否真實。

在前世圖靈獎獲得者、卷積神經網路之父Yann Le 在某次學術論壇上甚至將生成對抗網路模型稱之為機器學習方面二十年來最酷的想法。

能得到圖靈獎級別大老這樣高度肯定,生成對抗網路模型的價值可想而知。

前世生成對抗網路作為非監督式學習的一種方法。

是由尹恩·古德費洛等人於2014年提出的。

不過這個時空由於機器學習方面的研究整體滯後。

這個前世頗為有名的深度學習模型在這個時空想要如約而至似乎是有些難度了。

這倒是給了林灰一些上下其手的機會。

前世生成式對抗網路自出現以來,針對不同的應用領域出現了許多變體。

這些變體相對於最原始的生成式對抗網路都進行了一定的改進。

這些改進有的是單純改進了結構。

有的則是因為理論上的發展而對生成式對抗模型涉及到的一些函式或者說引數進行了一定的改進。

再或者就是單純就應用方面進行了一定的創新調整。

一項技術被頻繁改動不是說明這項技術失敗。

剛好相反,這恰恰說明這項技術很成功。

因為這某種程度上從側面反映了該技術有很多的成長空間。

事實也正是如此,前世生成式對抗網路是相當成功且應用廣泛的。

在很多機器學習領域都能看到生成式對抗網路的身影。

之所以如此大概是因為原始的生成式對抗網路在構建的時候,先驗假設比較少。

正是因為對資料幾乎沒有任何假設使得生成式對抗網路具有幾乎不設限的建模能力。

藉助於生成式對抗網路可以擬合多種分佈。

此外,由於生成式對抗網路模型不甚複雜。

很多時候在應用生成式對抗網路的時候就不需要預先設計較為複雜的函式模型。

在不少生成式對抗網路的應用場景中,工程師甚至只需要應用反向傳播演算法簡單訓練一下對應的網路。

就可以讓生成式對抗網路中的生成器和判別器正常工作。

之所以將生成式對抗網路搞得這麼比較易上手。

跟生成式網路的設計初衷是為了進行無監督學習也有很大的關係。

不過事物都是有兩面性的,正是因為原始生成式對抗網路過於自由。

訓練過程很容易出現訓練發散的情況。

不止於此,生成式對抗網路還存在諸如梯度消失等問題。

由於這些問題的存在,生成式對抗網路是很難學習一些生成離散的分佈的。

就比如原始的生成式對抗網路就不是很擅長純粹文字方面的處理。

除了涉及到部分場景下會將生成式對抗網路用於文字分割之外。

多數時候很少將生成式對抗網絡應用於文字(特指純粹文字形式的文字)方面。

不過尺有所長寸有所短,雖然並不是很擅長對純粹文字資訊的處理。

但在其餘很多領域生成式對抗網路都可以大顯身手。

[上一章] [目錄] [加入書籤] [下一章]
推薦閱讀
相鄰閱讀