越來越多地佔領科技世界的大型語言模型在許多方面並不「便宜」。最著名的法學碩士，例如GPT-4，花費了大約1 億美元來建立，具體形式包括訪問訓練數據的法律成本、可能數十億或數萬億參數的計算能力成本、計算所需的能源和水，許多編碼人員開發的訓練演算法必須循環運行，以便機器能夠「學習」。

但是，如果研究人員需要完成機器可以更有效地完成的專門任務，並且他們無法訪問提供生成式人工智慧工具的大型機構，那麼還有哪些其他選擇可用？比如說，一位家長想要讓孩子為困難的考試做好準備，並且需要展示許多如何解決複雜數學問題的例子。

就上述成本而言，建立自己的 LLM 是一個繁重的前景，直接使用 GPT-4 和 Llama 3.1 等大型模型可能不會立即適合複雜的情況推理他們的任務需要邏輯和數學。

如果有一個更具成本效益的大型語言模型思考者版本可供大眾使用，這是一個產生人工智慧的通用品牌，那將會有所幫助。

聖路易斯華盛頓大學的研究人員決定透過建立一個自主代理來指導推理過程來應對這項挑戰大語言模型。根據電腦科學與工程助理教授王晨光實驗室的研究，該代理人為每個任務產生一組指令，這些指令對於改善所有任務實例中不同法學碩士的推理過程非常有效與加州大學柏克萊分校教授 Dawn Song 合作。

研究人員包括華盛頓大學博士。學生 Nicholas Crispino、Kyle Montgomery 和研究分析師 Fankun Zeng介紹了他們的工作在最近的一次機器學習會議上。工作也是可用的於arXiv預印本伺服器。

克里斯皮諾說，這個「代理」是一個大型法學碩士，可以作為思考網路指令的工具。給定基本任務資訊（例如資料集名稱）和一些僅輸入範例，代理程式就會為任務產生高品質的逐步指令。

這些說明指導較小的法學碩士在某些任務上的推理。這是一種更經濟實惠的生成式人工智慧方式，因為他們只需在每個資料集使用大型法學碩士一次，然後將指令交給可以接管的較小法學碩士。

克里斯皮諾說：“我們可以使用昂貴的模型一次，並做出這些很好的說明來指導更便宜的模型的推理或思考過程。”

蒙哥馬利補充說：“我們的方法極大地提高了最先進的大型語言模型的性能。”

他們在語言處理任務上測試了名為Zero-Shot AgentInstruct 的經濟高效方法，並將其性能與使用LLM Vicuna-13b、Llama-2-70b-chat 和GPT-3.5 Turbo 的零樣本提示方法進行了比較。

與透過添加「讓我們一步一步思考」提示來工作的「零樣本思維鏈」提示相比，零樣本AgentInstruct 在29 個資料集（包括53 個子集）上評估的各種任務中表現出更好的性能。

「我們在思維和推理方面的進步是驚人的，特別是在數學和邏輯方面，」王說。

本質上，他們利用強大的LLM模型將任務提煉成另一個模型的逐步推理路徑，就像經驗豐富的老師與學生分享他們的知識一樣。

Crispino 說：“我們正在研究如何在不經過訓練的情況下使用較大模型將較小模型的推理能力推向何種程度。”