前兩個問題是就林灰鼓搗的理論而產生的疑問。

第三個問題是因為語言方面的闡述而產生的一些疑問。

儘管尹芙·卡莉最近在向米娜·卡莉努力地學習漢語了。

但漢語顯然並不是短時期內能夠速成的。

對於預訓練模型林灰所謂的“微調”的“微”究竟應該如何理解呢？

只是一點點小小的調整麼？

還是說所謂的“微”只是因為林灰本人對這一事情難度的蔑視。

尹芙·卡莉覺得應該是後者。

不太可能是微小的調整。

為什麼尹芙·卡莉這樣想呢？

尹芙·卡莉覺得涉及到文字摘要方面的模型往往都是極其複雜的。

一個正式模型所涉及到的引數都是極其繁多的。

更何況是預訓練產生的預訓練模型呢？

這種先於正式模型產生的粗模型可能引數要更加複雜。

當然，這只是尹芙·卡莉的一點猜測。

涉及到這些問題只有林灰本人才可能有真正的答桉。

自從來到林灰的身邊之後。

原本尹芙·卡莉以為自己的問題會逐漸變少。

但實際卻是問題愈發變得多了起來。

至少剛才的那幾個問題在美國的時候尹芙·卡莉就從來沒疑惑過。

但對此尹芙·卡莉並沒有灰心喪氣。

科研方面從來都是提出問題比解決問題更重要。

尹芙·卡莉很清楚，雖然此時她的疑惑比在美國時候的疑惑還要多。

但這無關緊要，至少她現在提出的問題相比於以往那些問題現在才更接近技術的本質了。

而這就是學術方面的成長。

尹芙·卡莉也不是一無所獲。

原本她一向是比較好奇林灰這個此前幾乎在文字摘要方面及及無名的人究竟是怎樣在短時間做到彎道超車的。

畢竟涉及到語言模型的構建往往需要大量的時間。

但現在知道林灰搞的這個預處理之後。

尹芙·卡莉則感覺這個問題似乎不是太大問題。

按照林灰在論文補充內容提出的預訓練機制的這個思路進行操作。

雖然引入預訓練機制後仍然需要進行訓練。

甚至看起來步驟要更繁瑣了一些。

但尹芙·卡莉估計同等規模語料庫下的訓練

引入預訓練機制的訓練要比常規的至少能夠節省50%的時間。

模型的訓練引入預訓練的處理方式會帶來效率的提升。

這裡面的道理透過學習方面的例子做類比很容易明白。

通常情況下，透過掌握知識的共性之後再攻克疑難顯然效率上是比按部就班進行學習要高的。

同樣的道理，機器學習的時候讓機器掌握資料的共性之後再搞剩下的標註資料也會帶來效率的提升。

【鑑於大環境如此，本站可能隨時關閉，請大家儘快移步至永久運營的換源App，huanyuanapp.org 】

林灰一度就是尹芙·卡莉眼中絕對意義上的天才。

在尹芙·卡莉看來天才的重點不在於“才能”，而在於“天分”

所有人似乎都知道的走出房間要找到門，卻各種找不到門路。

而天才就是那個在眾人茫然眼光之下信步走到門前並輕輕推開門的那個人。

在所有人面對著抽取式摘要演算法的瓶頸而找不到走出文字摘要這個房間的方法之時。

LINHUI恰到好處地出現了，在所有人的茫然下信步般推開了一扇被稱為是“生成式文字摘要”的嶄新的門。

而現在來看，尹芙·卡莉覺得她以前的認知還是差點意思。

事實是林灰不光是絕對意義上的天才，還是當之無愧的強者。

如果林灰在論文中的補充內容裡所描述的內容所言非虛的話。

這樣的人不是強者又是什麼呢？

預訓練的提出說是對傳統的語料訓練方式的一次革命也不為過。

這將極大的給語言模型的訓練進行助力。

尹芙·卡莉有預感在預訓練的提出之後傳統的自然語言處理這一領域有望全面進入到神經網絡學習的時代。

如果真的能做到如此的話。

那將是意義空前的貢獻。

要知道林灰搞出來的東西可不僅僅是預訓練。

尹芙·卡莉注意到林灰在論文中對預訓練的描述是基於遷移學習思想的預訓練。

什麼叫遷移學習？

藉助遷移學習可以運用已有的知識來學習新的知識。

這一思想的核心是找到已有知識和新知識之間的相似性從而舉一反三。

在機器學習這一領域，直接對目標從頭開始學習成本太高。

藉助於遷移學習的話就不用那麼麻煩了。

很多時候我們可以運用已有的相關知識來輔助儘快地學習新知識。

比如，已經會了C語言，就可以類比著來學習C++；

已經學會希臘語，就可以類比著來學習英語。

世間萬事萬物皆有共性，合理地找尋它們之間的相似性之後。

利用這個橋樑來幫助學習新知識，可以省卻很多新麻煩。

如果誠然是藉助於這一思想的話。

在預訓練的資料共性學習之後。

再對非共性標記資料進行額外學習時。

倘若因為遷移思想的引入使得預訓練具備了舉一反三的學習能力。

那麼在對非共性標記資料學習所花費的時間可能會更少。

時間更少意味著什麼呢？

意味著效率的空前提升。

此前尹芙·卡莉一直不是很理解林灰是怎麼突然異軍突起的。

現在她卻已然是心下瞭然了。

不過這樣的話，尹芙·卡莉覺得先前對林灰進行的有些估計就有點保守了。

同等規模語料庫下的訓練引入基於遷移思想的預訓練機制的訓練要比常規的至少能夠節省70%的時間。

這個資料是比較誇張的了。

如果一如尹芙·卡莉猜測的那樣的話。

那林灰搞出的東西不止是資料誇張，功用也將是很離譜

要知道基於遷移思想搞定的東西某種意義上講是可以“遷移”的，也就是可移植性。

這特麼的就逆天了。

涉及到文字摘要甚至是整個自然語言處理這一領域的研究以前多多少少是有點圈地自萌的意味的。

但如果具有了遷移性那完全是有可能滲透到別的領域的。

心念及此，一時之間尹芙·卡莉感覺林灰的著眼點也一定不是自然語言處理的這個小魚塘。

林灰在下一盤大棋。