第90章 頂尖演算法團隊的讚歎

关灯護眼    字體:

[上一章] [目錄] [下一章]

尹芙·卡莉現年25歲,是美國麻省理工學院計算機專業的一名博士。

事實上,一般的計算機專業學生很少有讀到博士的,基本上多數人讀完碩士就各奔前程了。

但尹芙·卡莉在學術的道路上有著屬於她自己的追求。

儘管這份追求幾乎註定一路獨行。

但她始終樂在其中,前行一路上最大的動力是興趣。

除了興趣之外最大的原因,則是因為工作帶來的自豪感。

作為麻省理工學院自然語言處理研究專案文字摘要小組中的一名成員,她也有理由自豪。

畢竟世界上效率最高的抽取式文字摘要演算法就是他們小組搞定的。

尹芙·卡莉一向以此為榮。

然而這份榮光在半小時前卻蕩然無存。

比他們團隊開發的抽取式文字摘要演算法還要強的新的文字摘要演算法問世了。

而且還是以成熟應用的形式直接出現在了蘋果的應用商店中。

尹芙·卡莉也是接收到尼克的求助郵件才獲悉了這件事。

事實上剛收到來自尼克那措辭誇張的求助郵件她還有點懷疑。

她甚至一度以為是尼克那個自大而又愚蠢的幸運白/痴記錯了愚人節的日期。

尼克用的那個軟體裡的演算法表面上是尹瑟劣的團隊負責的

但實際上麻省理工學院的自然語言處理專案文字摘要小組才是該演算法真正的出處,

尼克軟體裡所採用演算法可以說是尹芙·卡莉他們課題組每個人心血的結晶。

對於其親自參與搞定的演算法尹芙·卡莉還是很自信的。

怎麼可能有軟體的演算法對新聞摘要處理效率比他們開發的演算法處理效率更高呢?

並不是她本人夜郎自大盲目自信。

之前很多出現在應用商店裡很多打著新聞摘要旗號的軟體的核心演算法實際效率都十分低下。

甚至很多號稱演算法獨步的新聞摘要程式最終也只是被證明是徒有虛名而已。

對於這次所謂的南風APP宣稱的什麼地表效率最強準確度全球最高

開始時尹芙·卡莉也只是把這些slogan當作噱頭而已,並沒有放在眼裡。

然而事實卻很打臉,這個南風APP非但不是紙老虎,反而堪稱絕世兇獸。

至少在處理新聞摘要這方面南風APP所採用的演算法在效率方面是強到離譜。

經過量化測試,尹芙·卡莉更是發現南風APP 100輪測試裡英文新聞摘要的平均速度要比尼克開發的那個軟體軟體快241%。

這還不算什麼,將南風APP在計算力更高的虛擬機器上執行時。

100輪測試裡英文新聞摘要的平均速度更是比同條件下他們的那種演算法的摘要平均速度要快350%。

可以說是全方位吊打了。

尹芙·卡莉很不理解,怎麼可能有一種演算法在抽取式文字摘要演算法在效率上比他們開發的演算法效率強出三倍之多。

根據他們的研究,現在的抽取式文字摘要演算法潛能幾乎已經發掘殆盡了。

莫非是南風APP的演算法團隊找到了壓榨抽取式文字摘要演算法潛能的新方式了?

不可能,絕對不可能。

再怎麼著他們的研究小組也是匯聚了全球首屈一指技術大牛的自然語言處理演算法團隊啊。

沒道理他們這些精英會被人在同一方向後來居上。

如果南風APP演算法團隊不是後來居上的話,那應該就是彎道超車了?

也就是說南風APP的演算法採用的絕對不是傳統的抽取式文字摘要演算法,而應該是採用了一種全新的摘要演算法。

外行看熱鬧,內行看門道。

尹芙卡莉從之前南風APP進行的幾組新聞摘要測試的輸入輸出結果中很快驗證了她的猜測。

南風APP果然採用了全新的文字摘要演算法。

至於判斷的依據麼,很簡單。

抽取式的文字摘要直接從原文中摘取單詞或完整的短語作為文章的摘要。

這個過程並不會產生新聞原文中沒有的單詞和短語。

而南風APP這款軟體在新聞摘要中卻會產生很多新聞原文中沒有的單詞和短語。

也就是說南風APP中所採用的演算法絕對不是抽取式演算法,至少不單單是抽取式演算法。

而這種新的演算法在進行新聞摘要的一大特徵是會產生新聞原文中沒有的單詞和短語。

比起傳統的抽取式文字摘要,尹芙·卡莉覺得南風APP裡這種全新的摘要方式更像是生成式的摘要方式。

然而新的疑問旋即出現在尹芙·卡莉的腦海之中。

這個南風APP的開發者究竟是怎麼搞定這種姑且被叫做“生成式摘要演算法”的全新演算法呢?

所謂的生成式摘要演算法這樣類似的依託於神經網絡的摘要演算法他們的開發團隊之前也曾經涉獵過。

當時他們將這種演算法稱為“概括式摘要演算法”,可是這種演算法經過他們小組多輪測試實際表現並不理想。

雖然這種概括式或者叫生成式文字摘要的摘要演算法能夠產生原文中沒有出現過的表達,相比於抽取式摘要演算法更加靈活。

但也正因此生成式摘要更容易產生事實性錯誤,這些錯誤既包括與原文資訊相違背的內容,又包括與人們的常識相違背的內容。

除此之外,這種生成式文字摘要演算法在應付長新聞時很容易表現出明顯的疲軟乏力。

雖然將這種生成式摘要演算法和抽取式摘要演算法放到一起的話會改善生成式摘要演算法處理新聞長度的能力。

但經過測試,沒有生成式摘要演算法拖油瓶,抽取式摘要演算法反而能夠表現的更加理想。

為了穩妥起見,尹芙·卡莉所在的團隊最終還是選擇透過進一步強化抽取式文字摘要的速度和準確度這一傳統文字摘要方向。

一個曾經被他們遺棄的方向,卻被別人重新拾起?

聽起來有點不可思議,但是事實就是南風APP的開發者不但重新拾起他們曾經遺棄的研究方向,反而做的比他們更優秀,可以說是狠狠打臉了。

尹芙·卡莉有點困惑,她怎麼也想不通南風APP的開發者究竟是怎麼在他們認為行不通的方向趟出一條道的。

但有一點可以肯定,南風APP的開發者雖然用的也是跟概括/生成式演算法相類似的演算法,但具體到生成式演算法本身至少要比他們當初做的那個生成式演算法先進一代。

儘管心中困惑加上狠狠被打臉,但尹芙·卡莉並沒有表現出很情緒化,至少沒有如同尼克在信中表現的那樣情緒化。

多年的研究生涯早就養成了尹芙·卡莉寵辱不驚的理性性格。

再者科技方面的進步原本就是此起彼伏。

如果因為一時的得失就患得患失,那還不如儘早換行。

多餘的情感波動非但沒有必要,反而會影響理智的判斷。

深入體驗南風APP,尹芙·卡莉不得不承認,雖然這款APP很像是臨時拿翻譯軟體過來湊數的,但核心演算法確實很強。

甚至一如這款軟體宣傳標語所說的那樣——“地表最強”。

除此之外這款軟體宣稱的摘要速度與摘要準確度碾壓同類軟體也所言非虛。

等等,想起南風APP這款軟體宣傳標語中著重強調的“準確度”,尹芙·卡莉突然想到了什麼。

現在的新聞摘要軟體演算法在宣傳方面都是強調速度的,很少又在準確度方面大談特談的。

倒不是因為準確度在新聞摘要方面不重要,恰恰相反,準確度在新聞摘要這方面極其重要,可以說準確度是衡量一個摘要演算法堪不堪用最根本的因素,但各種摘要演算法很少有對精確度進行極其精確的量化宣傳的。

原因無它,因為現在業內對準確度的衡量缺乏一個統一的標準。

聽起來很不可思議,但是事實如此,評估一篇摘要的準確度看似很容易,但其實這是一件比較困難的任務。

對於一篇摘要的衡量而言,很難說有標準答桉,不同於很多擁有客觀評判標準的任務,摘要的評判一定程度上依賴主觀判斷。

在摘要任務中,有關於語法正確性、語言流暢性、關鍵資訊完整度等衡量摘要準確度的標準都缺乏一個統一的標尺。

在現今評估自動文字摘要質量的兩種方法:人工評價方法和自動評價方法。

人工評估就是邀請若干專家人為制定標準進行人工評定,這種方法比較接近人的閱讀感受。

但是耗時耗力,不但無法用於對大規模自動文字摘要資料的評價,和自動文字摘要的應用場景也並不符合。

最關鍵的是以擁有主觀思想的人進行摘要的評價的話,很容易出現偏差,畢竟一千個人眼裡有一千個哈姆雷特,每個人對新聞摘要的衡量都有自己的準繩,或許一個衡量團隊可以制定一個統一的衡量標準,但換一個衡量團隊很可能衡量標準便不一樣。

這就很容易導致在評判準確度的時候因為評判團隊的不同,同一次的摘要結果會得到截然不同的評價。

評判團隊千差萬別,很容易導致一些明明有實力做好演算法的團隊卻因為評判團隊拉跨出師未捷身先死。

尹芙·卡莉他們團隊的文字摘要演算法之前一度能夠在全球領先。

跟他們和牛津、哈佛、耶魯三所大學的語言學方面深度合作有著很大的關係。

但這終究不是長久之計,人工的評估方法因其固有的局限性註定了走不遠。

因此,文字摘要演算法研究團隊積極地研究自動評價方法。

自上世紀九十年代末開始,一些會議或組織開始致力於制定摘要評價的標準,他們也會參與評價一些自動文字摘要。

比較著名的會議或組織包括SUMMAC、DUC、TAalysis ce)等。

儘管相關的團隊在積極研究自動評價方法,在現今評估自動文字摘要質量的兩種方法(人工評價方法和自動評價方法)還是以人工評價方法這個評估方法最為常用。

很多自動評價方法的原理主要是將摘要演算法生成的新聞摘要和參考摘要進行比較透過最大擬合程度來進行評價。

這個評價的過程雖然是自動的,但參考摘要卻是人工撰寫的。

也就是說即便是所謂的自動評價方法,也擺脫不了主觀因素的介入。

那樣的話何苦多費一遍功夫用什麼自動評價方法?

也正因為如此很多團隊在評估摘要質量時選擇的方式依舊是人工評估。

而人工評估這種主觀東西就很難對結果進行客觀的量化。

正因為這種情況,儘管之前不少團隊摘要演算法準確度都還算不錯。

但涉及到新聞摘要準確度方面的宣傳,大家都選擇性的遺忘了。

就這種情況下,為什麼南風APP的開發者在軟體介紹中卻言之鑿鑿地稱這款軟體準確度比同類軟體高出270%。

這個所謂的270%究竟是基於什麼標準去衡量的呢?一時之間尹芙·卡莉陷入了沉思。

無論這個270%是怎麼得出來的,想來應該不是無中生有。

在別的國家的軟體宣傳是什麼規矩尹芙不清楚,但是在米國如果沒有一個邏輯自洽的衡量模型作為理論支撐就貿然進行這種無中生有的量化宣傳的話,很容易被罰的底褲都不剩。

即南風APP這個所謂的“270%”大機率是建立在足夠強大並且能夠邏輯自洽的準確度衡量模型的基礎之上的。

不過也不好說,每年為了博眼球而不顧宣傳規矩的開發者比比皆是。

出於嚴謹的科研態度,尹芙·卡莉以【文字摘要準確度衡量模型】為關鍵詞進行了檢索。

在檢索結果中尹芙·卡莉一眼就看到了混雜在一眾模型之中的有一個新出現的準確度衡量模型。

沒辦法,很難注意不到,以往的十多個對文字摘要準確度進行衡量的模型,尹芙·卡莉說是如數家珍也不為過。

現在這個名為“LH文字摘要準確度衡量模型”尹芙·卡莉之前就從來沒見過。

大致看了一下這個模型採用的準確度衡量方法。

尹芙意外的發現透過這種全新的準確度衡量模型,評估人員不需要引入任何主觀因素介入到摘要準確度的評估的過程中。

正因為沒有主觀因素的介入,這個準確度評估方法完全可以對現有的全部文字摘要演算法的摘要準確度進行量化分析。

這個衡量模型還演示了幾個使用範例。

在尼克雅虎新聞摘要那個軟體裡的演算法經該模型衡量之後,準確度分數居然只有1分。

而南風APP則獲得了3.7分的分數。

看到這個結果,尹芙明白了南風APP所謂的摘要準確度領先270%是怎麼來的了。

看來這個LH文字摘要準確度衡量模型一定也是南風APP的開發者搞定的了。

即便不是南風APP開發者搞定的,兩者之間應該也有某種聯絡。

不然這個模型的衡量結果怎麼會同南風APP的軟體宣傳的資料出現高度的同質化。

不得不說,這個名為LH的全新的衡量準確度的方式讓尹芙·卡莉有種豁然開朗的感覺。

透過利用該衡量模型,他們今後的研究也會更順暢一些。

不過讓尹芙·卡莉比較意外的是“LH文字摘要準確度衡量模型”並不是以論文的形式單獨出現的,

而是出現在一個名為“生成式文字摘要演算法”的專利中。

在專利中出現的衡量模型?無疑意味著即便這個模型很高效,但在實際使用時理論上還是要得到專利所有者的授權。

這也太狗了吧?哪有把這種模型往專利裡放的道理。

而且只是一個演算法有必要申請專利嗎?

儘管尹芙·卡莉他們之前的演算法很強大,但是他們也並沒有申請專利。

不過對此尹芙也沒什麼好說的。

他們之所以不申請演算法專利不是因為他們大公無私。

而是因為他們之前的演算法只是在前人的基礎上改進,並不具備完全的獨創性。

另外申請專利多多少少都會涉及到一定程度的技術公開。

雖然專利申請者可以不公佈全部的細節,但即便是不公佈細節,也需要把技術路線說明。

在知道技術路線的情況下,世界上頂尖的研發團隊也不是吃素的。

雖然不能按照專利裡闡述的技術路線開發出一個一模一樣的演算法明著侵權。

但是透過專利裡公開的技術路線受到的思維啟發卻很容易讓別的相似技術彎道超車。

事實上也正因為擔心技術路線洩露的問題,這些年在米國很少出現專門的演算法專利。

額,還是說這個專利所有者就是那麼自信,根本不怕別人追趕?

尹芙看到“生成式文字摘要演算法”這項專利的擁有者是Lin Hui

從拼讀上看似乎是個中文名字,對於這個名字尹芙茫然無知。

不過透過谷歌搜尋Lin Hui,尹芙倒是很容易搜到了一堆相關資訊。

然而這些資訊對尹芙來說都算不上什麼好消息。

尹芙看到Lin Hui雖然是在專利中提出的“LH文字摘要準確度衡量模型”。

但他似乎沒有將該模型私有的打算。

反而主動將這個模型呈報給美國國國家標準委員會以及國際標準化組織進行稽核。

即Lin Hui非但不介意將這套評估方式公開,反而致力於將這套衡量體系作為新聞摘要行業裡衡量摘要準確度的標準。

也可以理解,哪個人不渴望自己隨便做的一個框框成為全世界通用的標準呢?

現在新聞摘要行業除了LH模型之外,幾乎沒有一種完全不需要引入主觀因素的衡量準確度的模型。

在這種情況下,這個“LH文字摘要準確度衡量模型”大機率將成為文字摘要準確度衡量的唯一客觀標準。

【新章節更新遲緩的問題,在能換源的app上終於有了解決之道,這裏下載 huanyuanapp.org 換源App, 同時查看本書在多個站點的最新章節。】

這是什麼概念?正所謂一流團隊做標準,二流團隊做技術。

在尹芙他們團隊還在浮於技術層面進行演算法研究時。

真正有雄心的開發者Lin Hui不但著手搞定了更有效率文字摘要演算法。

同時還謀求對行業標準進行統一。

所以說他們一開始就落敗了麼?

儘管一向波瀾不驚,此時尹芙·卡莉也不免有些闇然。

她默默地將Lin Hui這個極其自信並且有遠見的中國人的名字記在了心中。

[上一章] [目錄] [加入書籤] [下一章]
推薦閱讀
相鄰閱讀