去年，華盛頓大學研究生 Kate Glazko 在尋求研究實習時注意到招募人員在網路上發文稱，他們使用 OpenAI 的 ChatGPT 和其他人工智慧工具來總結履歷並對候選人進行排名。自動篩選有幾十年來在招募中很常見。然而格拉茲科，華盛頓大學 Paul G. Allen 計算機科學與工程學院的博士生，正在研究生成式人工智慧如何複製和放大現實世界的偏見– 例如那些針對殘障人士。她想知道這樣一個系統如何對暗示某人有殘疾的履歷進行排名？

在一項新研究中，華盛頓大學研究人員發現，ChatGPT 對具有與殘疾相關的榮譽和證書（例如“湯姆威爾遜殘疾領導獎”）的簡歷的排名始終低於沒有這些榮譽和證書的相同簡歷。當被要求解釋排名時，系統吐出了對殘疾人的偏見看法。例如，它聲稱帶有自閉症領導獎的簡歷「不太強調領導角色」——這暗示著自閉症患者不是好的領導者的刻板印象。

但是，當研究人員用書面說明定制該工具時，指示它不要進行能力歧視，該工具減少了這種情況偏見除一名接受測試的殘障人士外，所有其他人均適用。六項中的五項意味著殘疾－耳聾、失明、腦性麻痺、自閉症和「殘疾」這個通用術語有所改善，但只有三個排名高於未提及殘疾的履歷。

團隊介紹了其發現6 月 5 日，在裡約熱內盧舉行的 2024 年 ACM 公平、問責和透明度會議上。

該研究的主要作者 Glazko 表示：“利用人工智慧對簡歷進行排名正開始激增，但其是否安全有效的研究還很少。”「對於殘疾求職者來說，當你提交履歷時，總是會有這樣的問題：是否應該包含殘疾證明。我認為殘障人士考慮一下，即使人類是評論者。

研究人員使用了該研究的一位作者公開的簡歷 (CV)，該簡歷大約有 10 頁。然後，團隊創建了六份增強型履歷，每份履歷都包含四種與殘疾相關的證書，暗示著不同的殘疾：獎學金；一個獎項；多元化、公平和包容 (DEI) 小組席位；以及學生組織的成員資格。

然後，研究人員使用 ChatGPT 的 GPT-4 模型將這些增強版履歷與原始版本進行排名，以獲得美國一家大型軟體公司真正的「學生研究員」職位列表。他們將每個比較運行了 10 次；在 60 次試驗中，系統對增強型履歷進行了排名，除了隱含的殘疾之外，這些履歷都是相同的，只有四分之一的時間排名第一。

「在公平的世界裡，增強的履歷應該每次都排名第一，」資深作者、艾倫學院的威斯康辛大學教授珍妮佛·曼考夫（Jennifer Mankoff）說。“例如，我想不出有哪一種工作，因為領導能力而得到認可的人不應該被排在具有相同背景但沒有獲得認可的人之前。”

當研究人員要求 GPT-4 解釋排名時，它的回答表現出顯性和隱性體能主義。例如，它指出患有憂鬱症的候選人“額外關注 DEI 和個人挑戰”，這“偏離了該職位的核心技術和研究導向方面”。

Glazko 說：“GPT 的一些描述會根據一個人的殘疾情況對他的整個簡歷進行著色，並聲稱參與 DEI 或殘疾可能會剝奪簡歷的其他部分。”“例如，它在憂鬱症簡歷比較中幻化了‘挑戰’的概念，儘管根本沒有提到‘挑戰’。所以你可以看到一些刻板印象的出現。”

更多資訊：Kate Glazko 等人，識別和改善基於 GPT 的簡歷篩選中的殘疾偏見，2024 年 ACM 公平、問責與透明度會議（2024）。DOI：10.1145/3630106.3658933