新研究揭示美科研資金投入產出不平衡

　　Michael Lauer在美國國立衛生研究院(NIH)的工作是：資助最好的心臟學研究，并將其成果快速傳播至其他科學家、醫生和公眾。然而，NIH的同行評議系統也許會使這一目標難以達成——其評議依賴于一些志愿科學家為研究計劃評定撥款優先級的無償服務。最近，作為NIH國家心臟、肺和血液研究所(NHLBI)心血管研究部門的負責人，Lauer開展的兩項研究針對這個每年分配數十億美元聯邦資金的系統，提出了一些令人不安的問題。

　　系統缺陷

　　上個月，Lauer的研究在線發表于《循環研究》雜志上。其結果表明：由NHLBI資助的被評為優先級最低分的項目的引用和發表數量，與那些得最高分的項目相同。

　　“同行評議系統應該能夠告訴我們，哪些研究項目會產生最大的影響。”Lauer主張，“事實上，我們明確地告訴科學家，這是評議的主要標準之一。但是我們的研究卻發現，同行評議并不會預測其研究結果，這令人相當不安。”

　　Lauer認為，這兩篇論文明顯表明，評議人在分配NHLBI用于研究的20億美元上表現并不好。

　　Lauer稱，他已經將研究結果提交給NIH院長Francis Collins和其他高級官員，“他們中沒有人指出任何缺陷，也沒有人認為我們的發現是錯誤的”。但是，這并不意味著這些官員同意Lauer的結論。

　　科學審查中心(CSR)負責人、監督NIH同行評議系統的Richard Nakamura對這種使用引用等事后標準來衡量研究影響的方式持懷疑態度。“CSR會更多地關注優秀科學家認為哪些研究會有很高的影響力，而不是文獻計量是否顯示它們具有高影響力。”

　　一些社會學家則十分歡迎Lauer剖析當前評議系統的想法。位于新西蘭威靈頓的Motu經濟和公共政策研究所負責人、經濟學家Adam Jaffe認為，此類研究可以幫助NIH和其他美國研究機構在分配稀缺資源上做得更好。

　　“不同項目獲得的資金數目有很大差異，但是具體研究計劃的排名是接近隨機的。”Jaffe 指出，在馬薩諸塞州的布蘭代斯大學擔任將近20年教授和院長的Jaffe于去年春天到達新西蘭任職。“這意味著NIH對研究項目的持續資助很重要，然而選擇過程中所使用的資源并沒有被有效地分配。”

　　Lauer強調，他的研究并不是想說明NIH在資助糟糕的研究，也并不是建議對當前的評議系統進行徹底改革。不過他希望，其研究結果可以促使NIH質疑關于同行評議的由來已久的問題，并更多地將注意力放在確保其資金獲得最大的回報上。“就像一位醫生面對一群病人，這位醫生應該想的是，我該如何使所有人的健康最大化。”他如是說。

　　公正的信仰

　　如果詢問一位科學家關于同行評議的事情，很多人都會立即引用溫斯頓·丘吉爾對民主的著名描述：“它不是一個好東西，但是目前為止尚沒有比它更好的東西。”科學家們承認同行評議系統存在諸多缺陷，例如其保守主義和無法識別微小差異等。不過 Nakamura稱：“CSR存在的信仰是我們的評議系統是公正的，我們唯一的依據就是好的科學。”

　　這并不意味著Nakamura和同事認為，當前的系統不能被改善。去年，Collins要求一個由高級管理人員組成的工作組調查NIH“優化同行評議”的方式。工作組主席為NIH主要副院長Lawrence Tabak。該工作組調查的內容包括，NIH是否需要采取更多措施來識別和支持新興領域的研究項目，以及學習如何對那些曾經紅極一時但目前科研興趣已冷卻下來的領域進行撤資。

　　CSR管理的170個左右的研究小組是NIH同行評議系統進行外部資助的必要條件。每個小組中有12到22位外界科學家，他們每年會面3次，平均每次評議70份申請。小組成員為每份研究計劃評分，其平均分即為研究計劃的影響得分。這是一個龐大的系統，需要大量研究團體的支持。

　　NIH官員認為，同行評議只是構建均衡的撥款系統的一部分。不過他們承認，NIH的項目管理者比其他聯邦機構更為擔心撥款資助系統出現混亂所帶來的后果。

　　Nakamura一直在尋找新的方法評估研究小組的表現。他說：“我始終相信科學家最終會打敗計量或者機器。但想要達到這一目標會面臨嚴峻的挑戰。”

　　如何優化

　　Jaffe表示，他已經付諸10多年的努力，試圖令NIH和國家科學基金會(NSF)的最高級官員在整個機構開展與Lauer的研究同樣類型的同行評議定量分析。但是他遭遇了挫敗。“這些相信科學方法的科學家卻不相信科學方法需要應用于評價他們自己的研究，令我感到震驚。”Jaff稱，“對他們來說，當前的同行評議系統是最佳方式。”

　　Lauer在自己的研究所著手研究同行評議系統，他并未獲得CSR的資助。他最初的靈感來自于2012年1月在《英國醫學雜志》(BMJ)發表的一項研究，該研究報告稱，由NHLBI資助、旨在測試預防和治療心臟病的研究中，只有低于一半的研究在結束后的30個月之內發表了研究結果，1/3的實驗從未發布任何信息。Lauer起初并不相信該結果，于是擴大了研究樣本，并開展了自己的分析。“事實證明，那份研究結果是對的。”他說。

　　他懷疑緩慢的出版記錄是否是一個更深層次的問題。于是，Lauer開始調查那些在同行評議中得高分的研究計劃是否公布數據更快。答案是否定的。“在同行評議優先級分數和發表時間之間沒有顯著聯系。”去年秋天，他和NHLBI的同事在《新英格蘭醫學雜志》中如是寫道。

　　Lauer稱，同行評議的問題與其他一些系統一樣，就是依賴于專家的判斷。賓夕法尼亞大學的心理學家Philip Tetlock于2006年出版的《專家政治判斷：有多好?我們如何知道?》一書令Lauer受益匪淺。該書描述了專家如何在預測政治事件時做得比一般概率的預測更好，以及如何過高估計了自己的預測能力。Tetlock認為，這同樣適用于同行評議系統，“有些高影響力的研究被拒絕資助，而低影響力的研究卻獲得撥款”。

　　對于NIH沒有急于贊同Lauer開展的研究，Tetlock并不驚訝。“大多數機構都不熱衷于關注外界對其的客觀評價。”

　　Lauer和Jaffe稱，為了改善同行評議系統，NIH應該更加大膽地設計實驗。特別是，他們希望NIH嚴格測試該系統的關鍵部分。可能的方式包括，加入第二組評議員，以進行結果控制，或者要求評議員根據一些具體標準分別對研究計劃打分，而不是像現在一樣進行整體評分。

　　Tetlock指出，沒有系統可以100%地選中高影響力的研究項目，且從不資助低影響力的項目。“只有上帝才做得到。”不過他相信，當前的同行評議系統的改進空間還很大。“通過使用關于如何引出和綜合判斷的最佳科學方法，也許我們可以提高命中率。”Tetlock說，“世界也會因此變得更好。”