圍繞機器學習（人工智慧的一種形式）的炒作可能會讓人們覺得這種技術被用來解決所有科學問題只是時間問題。雖然人們經常提出令人印象深刻的主張，但這些主張並不總是經得起審查。機器學習可能對解決某些問題有用，但對解決其他問題卻不足。

在一篇新論文在自然機器智能，美國能源部普林斯頓等離子體物理實驗室（PPPL）和普林斯頓大學的研究人員對研究進行了系統性回顧，比較機器學習與求解流體相關偏微分方程 (PDE) 的傳統方法相比。這些方程式在許多科學領域都很重要，包括支持電網融合發電發展的等離子體研究。

研究人員發現，解決流體相關偏微分方程的機器學習方法與傳統方法之間的比較往往偏向機器學習方法。他們也發現負面結果一直被低估。他們提出了公平比較的規則，但認為文化變遷還需要解決看似系統性的問題。

PPPL 計算科學副主任兼首席研究員 Ammar Hakim 表示：「我們的研究表明，儘管機器學習具有巨大潛力，但目前的文獻對機器學習如何解決這些特定類型的方程式描繪了一幅過於樂觀的圖景。」研究。

將結果與弱基線進行比較

偏微分方程在物理學中無所不在，對於解釋自然現象特別有用，例如熱、流體流動和波浪。例如，此類方程式可用於計算放入熱湯中的湯匙沿長度方向的溫度。

知道湯和湯匙的初始溫度以及湯匙中的金屬類型，偏微分方程式可用於確定器具放入湯中後給定時間沿器具的任意點的溫度。此類方程式用於等離子體物理學，因為許多控制等離子體的方程式在數學上與流體的方程式相似。

科學家和工程師開發了各種數學方法來求解偏微分方程。一種方法被稱為數值方法因為它以數字方式解決問題，而不是以分析或符號方式解決問題，以找到難以或不可能精確解決的問題的近似解。

最近，研究人員探索了是否可以使用機器學習來解決這些偏微分方程。目標是比其他方法更快解決問題。這

系統審查發現在大多數期刊文章中，機器學習並沒有像宣傳的那樣成功。「我們的研究表明，在某些情況下，機器學習在解決與流體相關的偏微分方程時可能會稍微快一些，但在大多數情況下，數值方法更快，」尼克·麥克格雷維說。麥格雷維是這篇論文的主要作者，最近在普林斯頓等離子體物理計畫中獲得了博士學位。

數值方法在準確性和運行時間之間存在根本性的權衡。「如果你花更多的時間來解決問題，你就會得到更準確的答案，」麥克格雷維說。“許多論文在比較時沒有考慮到這一點。”

此外，數值方法之間的速度可能存在巨大差異。McGreivy 說，為了發揮作用，機器學習方法需要超越最好的數值方法。然而他的研究發現，經常與比最快方法慢得多的數值方法進行比較。

進行公平比較的兩條規則

因此，本文提出了兩條規則來嘗試克服這些問題。第一條規則是僅將機器學習方法與具有相同精確度或相同運行時間的數值方法進行比較。第二個是將機器學習方法與有效的數值方法進行比較。

在研究的 82 篇期刊文章中，有 76 篇聲稱機器學習方法優於數值方法。研究人員發現，在那些宣揚機器學習方法優越的文章中，有 79% 實際上基線較弱，至少違反了其中一條規則。其中四篇期刊文章聲稱與數值方法相比表現不佳，兩篇文章聲稱具有相似或不同的表現。

「很少有文章報告機器學習的表現較差，這並不是因為機器學習幾乎總是做得更好，而是因為研究人員幾乎從不發表機器學習表現較差的文章，」McGreivy 說。

麥克格雷維認為，低標準的比較通常是由學術出版中的不正當激勵措施所驅動的。「為了讓一篇論文被接受，它有助於獲得一些令人印象深刻的結果。這會激勵你讓你的機器學習模型盡可能好地工作，這是很好的。但是，如果你使用基線方法，你也可以獲得令人印象深刻的結果。

最終結果是，研究人員最終努力研究他們的模型，但沒有找到最佳的數值方法作為比較的基線。

研究人員還發現了報告偏見的證據，包括發表偏倚和結果報告偏差。當研究人員意識到他們的機器學習模型的表現並不比數值方法更好後選擇不發表他們的結果時，就會出現發表偏差，而結果報告偏差可能涉及丟棄分析中的負面結果或使用非標準的成功衡量標準，從而使機器學習模型變得更好。

總的來說，報告偏差往往會抑制負面結果，並給人留下這樣的印象：機器學習比實際情況更能解決與流體相關的偏微分方程。「這個領域有很多炒作。希望我們的工作能夠為使用機器學習來提高技術水平的原則性方法提供指導，」哈基姆說。

為了克服這些系統性、文化問題，哈基姆認為，資助研究和大型會議的機構應該採取政策來防止使用弱基線，或要求對所使用的基線及其選擇的原因進行更詳細的描述。

「他們需要鼓勵研究人員對自己的結果持懷疑態度，」哈基姆說。“如果我發現結果好得令人難以置信，那麼它們很可能就是真的。”