這種情況下，找知識的共性非但沒對他們造成幫助。
反而成為了他們學習時候的拖累。
就很苦逼了。
與其出現這種情況，這些人干脆放棄了找知識的共性。
直接一視同仁，至少不會聰明反被聰明誤。
類似于學習上這些人面對的窘境。
或許機器學習方面的學者也是因為同樣的境遇才放棄了對訓練數據共性的尋找。
至少在伊芙•卡莉這是因為這個原因。
縱然是現在知道了林灰在模型訓練中引入了預訓練方式。
伊芙•卡莉現在也不知道林灰究竟是如何做的。
按照林灰在論文中補充內容進行的闡述。
傳統的訓練機制下，文本摘要模型的產生思路是︰
語料訓練→模型
而按照林灰的思路引入預訓練機制後。
文本摘要模型的產生思路是︰
語料預訓練→預訓練模型→微調→模型
這個思路的本身是沒問題的。
但伊芙•卡莉面對著這個全新的模型產生思路卻滿腦子全是問題。
具體應用的時候究竟引入何種的預訓練方式才能夠起到事半功倍的訓練效率？
什麼樣的預訓練模型才是預訓練的目標？
對于預訓練模型的「微調」究竟應該如何理解呢？
前兩個問題是就林灰鼓搗的理論而產生的疑問。
第三個問題是因為語言方面的闡述而產生的一些疑問。
盡管伊芙•卡莉最近在向米娜•卡莉努力地學習漢語了。
但漢語顯然並不是短時期內能夠速成的。
對于預訓練模型林灰所謂的「微調」的「微」究竟應該如何理解呢？
只是一點點小小的調整麼？
還是說所謂的「微」只是因為林灰本人對這一事情難度的蔑視。
伊芙•卡莉覺得應該是後者。
不太可能是微小的調整。
為什麼伊芙•卡莉這樣想呢？
伊芙•卡莉覺得涉及到文本摘要方面的模型往往都是極其復雜的。
一個正式模型所涉及到的參數都是極其繁多的。
更何況是預訓練產生的預訓練模型呢？
這種先于正式模型產生的粗模型可能參數要更加復雜。
當然，這只是伊芙•卡莉的一點猜測。
涉及到這些問題只有林灰本人才可能有真正的答案。
自從來到林灰的身邊之後。
原本伊芙•卡莉以為自己的問題會逐漸變少。
但實際卻是問題愈發變得多了起來。
至少剛才的那幾個問題在美國的時候伊芙•卡莉就從來沒疑惑過。
但對此伊芙•卡莉並沒有灰心喪氣。
科研方面從來都是提出問題比解決問題更重要。
伊芙•卡莉很清楚，雖然此時她的疑惑比在美國時候的疑惑還要多。
但這無關緊要，至少她現在提出的問題相比于以往那些問題現在才更接近技術的本質了。
而這就是學術方面的成長。
伊芙•卡莉也不是一無所獲。
原本她一向是比較好奇林灰這個此前幾乎在文本摘要方面岌岌無名的人究竟是怎樣在短時間做到彎道超車的。
畢竟涉及到語言模型的構建往往需要大量的時間。
但現在知道林灰搞的這個預處理之後。
伊芙•卡莉則感覺這個問題似乎不是太大問題。
按照林灰在論文補充內容提出的預訓練機制的這個思路進行操作。
雖然引入預訓練機制後仍然需要進行訓練。
甚至看起來步驟要更繁瑣了一些。
但伊芙•卡莉估計同等規模語料庫下的訓練
引入預訓練機制的訓練要比常規的至少能夠節省50%的時間。
模型的訓練引入預訓練的處理方式會帶來效率的提升。
這里面的道理通過學習方面的例子做類比很容易明白。
通常情況下，通過掌握知識的共性之後再攻克疑難顯然效率上是比按部就班進行學習要高的。
同樣的道理，機器學習的時候讓機器掌握數據的共性之後再搞剩下的標注數據也會帶來效率的提升。
林灰一度就是伊芙•卡莉眼中絕對意義上的天才。
在伊芙•卡莉看來天才的重點不在于「才能」，而在于「天分」
所有人似乎都知道的走出房間要找到門，卻各種找不到門路。
而天才就是那個在眾人茫然眼光之下信步走到門前並輕輕推開門的那個人。
在所有人面對著抽取式摘要算法的瓶頸而找不到走出文本摘要這個房間的方法之時。
LINHUI恰到好處地出現了，在所有人的茫然下信步般推開了一扇被稱為是「生成式文本摘要」的嶄新的門。
而現在來看，伊芙•卡莉覺得她以前的認知還是差點意思。
事實是林灰不光是絕對意義上的天才，還是當之無愧的強者。
如果林灰在論文中的補充內容里所描述的內容所言非虛的話。
這樣的人不是強者又是什麼呢？
預訓練的提出說是對傳統的語料訓練方式的一次革命也不為過。
這將極大的給語言模型的訓練進行助力。
伊芙•卡莉有預感在預訓練的提出之後傳統的自然語言處理這一領域有望全面進入到神經網絡學習的時代。
如果真的能做到如此的話。
那將是意義空前的貢獻。
要知道林灰搞出來的東西可不僅僅是預訓練。
伊芙•卡莉注意到林灰在論文中對預訓練的描述是基于遷移學習思想的預訓練。
什麼叫遷移學習？
借助遷移學習可以運用已有的知識來學習新的知識。
這一思想的核心是找到已有知識和新知識之間的相似性從而舉一反三。
在機器學習這一領域，直接對目標從頭開始學習成本太高。
借助于遷移學習的話就不用那麼麻煩了。
很多時候我們可以運用已有的相關知識來輔助盡快地學習新知識。
比如，已經會了C語言，就可以類比著來學習C++；
已經學會希臘語，就可以類比著來學習英語。
世間萬事萬物皆有共性，合理地找尋它們之間的相似性之後。
利用這個橋梁來幫助學習新知識，可以省卻很多新麻煩。
如果誠然是借助于這一思想的話。
在預訓練的數據共性學習之後。
再對非共性標記數據進行額外學習時。
倘若因為遷移思想的引入使得預訓練具備了舉一反三的學習能力。
那麼在對非共性標記數據學習所花費的時間可能會更少。