當學術權威們遭遇機器人打假……
頭圖來源/images.wisegeek.com
2016 年夏天的一個早上,德國心理學家馬蒂亞斯·考夫(Mathias Kauff)被一個找上門來的機器人嚇了一跳:在一封電郵里,一個自稱 Statcheck 的計算機程序通知考夫,在他 2013 年發表的一篇有關多元文化和歧視的論文里,有大量演算不準確,該程式已經將那篇論文的失誤羅列出來,在互聯網上公之于眾。
事后考夫發現,Statcheck 指出的問題不過是少數四舍五入的誤差。可這段經歷已經讓他感到驚恐,因為他像被扒皮一樣面對各種指責。
考夫不是唯一受到這種“騷擾”的科學家。Statcheck 已經讀取了大約 5 萬份公開發表的心理學論文,檢查其中證明統計結果的數學算法。過去二十年所有活躍的心理學科研人士都在經過該程式檢查后 24 小時內收到一封郵件,通知他們已經接受了審查。
這個小小的程序掀起了一場前所未有的學界風暴:從來沒有誰這樣大范圍地公開追溯評估科學文獻,更何況“裁判官”是不通情理的機器人。
Statcheck 的方法其實并不復雜,與其說是詳盡的評估,不如說是類似檢查拼寫錯誤那樣的數學檢驗。可一些科學家將它視為新式的監視和猜疑,警告這種既不負責任又未經認證的批評將威脅同行評審的客觀性和權威性。
美國心理科學協會前會長蘇珊·費斯克(Susan Fiske)斥 Statcheck 為“自封的數據警察”,稱它發起了“新形式的騷擾”。德國心理學則發布聲明,公開譴責未經授權使用 Statcheck 的行為。
學者們反應如此劇烈,不只是怕 Statcheck 揪出自己的統計誤差,更擔心因此被貼上行為不當的標簽,聲名掃地。
相較之下,Statcheck 這次驚天行動的“導演”——25 歲的荷蘭科學家克里斯·哈杰因克(Chris Hartgerink)玩得興起 。他對《衛報》說:“我們所知的這個科學系統糟透了,幾年前我就想為改善它出一份力。”
Statcheck 是哈杰因克的同事米歇爾·紐頓(Michèle Nuijten)開發的。2015 年,紐頓用這個程序證明,心理學期刊發表的論文中約半數都有一個統計數據錯誤。《自然》刊發了她的研究,可她并沒有公布程序檢測到的具體錯誤,也沒有列出那些作者犯下了錯。幾個月后,哈杰因克用自己設計的一些代碼改寫了 Statcheck,使之羅列出每個錯誤,發布在網上,這才激起科學界的軒然大波。
哈杰因克沒有就此罷手,他打算再接再厲。在他看來,當務之急是拿出比糾正統計數據計算錯誤更無畏的行動。 他堅信,學術造假這種惡劣現象非常普遍,目前被公開的案例只是冰山一角。他要開發一種能揭發虛假或人為操縱的學術成果的程序。
耐人尋味的是,敢于公然挑戰學界權威、不惜引發眾怒的哈杰因克身處荷蘭南部寧靜小城蒂爾堡。表面上看,這種地方不可能誕生這種敢冒天下大不韙的激進人士,卻很少有圈外人知道,蒂爾堡曾爆出現代科學史上臭名昭著的學術欺詐丑聞,而哈杰因克和他的同事比世界上任何人更了解造假的個案可以造成多大的破壞。
荷蘭蒂爾堡大學。圖片來源/image0.tcdn
曾經備受敬仰,如今學術騙子
2010 年 9 月,青年社會心理學家德里克·斯塔佩爾(Diederik Stapel)被任命為蒂爾堡大學社會與行為學院院長。當時的他前途光明,人氣很高。在學生眼中,他是待人和氣的師長,在大學教職同仁眼中,他對科學文獻駕輕就熟,而且熱衷與大家合作。他時常幫助同事,有時甚至也幫學生做調查、收集數據。
升任院長后,斯塔佩爾很快得到了同事的信任。2011 年 4 月,他為規模不大的蒂爾堡大學創造了歷史,成為首位在權威科學期刊《自然》上發表論文的該校學者。
斯塔佩爾著重研究心理學的一個專有名詞“啟動”(priming):它是指那些不為人注意卻對人類行為產生重大影響的小刺激。
那篇文章提出這樣的問題:“人有沒有可能因為街邊垃圾這種看似無足輕重的小事而遭到歧視?”比如,在荷蘭第四大城市烏得勒支,如果火車站內看上去很臟,白人通勤上班族坐的位置往往會離少數族裔遠些。他還發現,和在干凈的街道相比,如果在骯臟的街道接受采訪,白人更有可能對少數族裔的調查問題給出負面的回答。
斯塔佩爾擅長設計這種巧妙的研究課題并落地。面對復雜的問題,他能提煉出清晰的數據。到 2011 年,他已經升任教授十年,其間發表論文上百篇,其中為人所知的研究包括:無論如何設計內容,美容產品廣告都使女性更負面地看待自己;秉持司法公正意識的法官在做裁決時較少受種族因素影響……
斯塔佩爾的發現常常因為媒體報道進入公眾視野。他的研究常揭示,性別和種族歧視這類經久不衰的重大社會問題與日常小事息息相關。這樣的觀點自然對讀者有很強的吸引力,而且它們暗示大家可能找到既簡便又得體的解決方法。
如果說斯特佩爾德多種多樣的興趣有什么共通之處,那應該是這種接地氣的魅力。他的研究經常見諸《洛杉磯時報》、《紐約時報》等高人氣報端,他本人還成為荷蘭電視節目的常客。
曾經的學術明星斯塔佩爾。圖片來源/static1.net
但漸漸,一小部分同事和學生開始產生懷疑:“太完美了,不像是真的,”當時在蒂爾堡大學工作的教授約瑟夫·羅賓(《衛報》調查者應本人要求化名)回憶,“他的實驗都能證明論點,怎么會有那種事。” 2010 年,一名學生向羅賓提起,斯塔佩爾的一些數據看起來有古怪。
于是同年秋天,也就是在斯塔佩爾被任命為學院院長不久,羅賓主動提出和斯塔佩爾合作,希望第一時間了解他的研究方法。斯塔佩爾同意了,幾個月后發給他一些數據。羅賓說那些數據看起來難以置信,沒有內在一致性,“一點也不像我見過的任何真實數據。” 在那名提出質疑的學生幫助下,羅賓從斯塔佩爾的合作者和以前執教的學生手中掌握了更多他的數據組,越來越多證據顯示,他的數據可疑,而且他曾經直接在一項研究中全盤照搬另一項研究的數據。
2011 年 8 月,系主任馬塞爾·澤倫伯格( Marcel Zeelenberg)收到對斯塔佩爾的舉報,澤倫伯格帶著舉報者提供的證據與他對質,他起初否認,但幾天后就承認舉報人的指控屬實:他從未在火車站走訪過乘火車上下班的人,沒有調查過哪位女性對美容產品廣告的看法,也沒有了解過法官怎么看待司法公正和種族歧視。
事實上,斯塔佩爾的行徑甚至稱不上是“數據粉飾”研報,因為大部分數據都是他趁妻子和孩子睡著后在家中廚房里捏造出來的。他的作法與正確的科研步驟完全顛倒:先是確定要得到哪種結論,然后反向操作,由結果推測需要收集哪些數據點,再把數據填上。
2011 年 9 月 7 日,蒂爾堡大學發布了斯塔佩爾停職的消息,媒體先是猜測他幾天前一項宣稱食肉者更自私、更不合群的研究可能出了問題,但顯然,這里頭的水比所有人想象的都深。
高科技打假先鋒原是造假大師門生
兩天后,學校成立了專項調查委員會。為了確認斯塔佩爾造假的嚴重程度,委員會找到系里的一位統計學家兼心理學家馬塞爾·范阿森(Marcel van Assen)幫忙。范阿森當時正好對手頭的研究感到厭倦,并且對校內紅人斯塔佩爾也不怎么感冒,覺得他的管理更依賴個性魅力而不是理性,于是欣然接受了調查的任務。
范阿森花了一年時間分析斯塔佩爾在蒂爾堡期間發布的 45 份研究,列出所有數據誤差,指出哪部分效應量(衡量一項實驗中實驗組與控制組差異的標準)看來大得可疑,哪些數據次序是從別處復制的,哪些變量相關性過高,哪些變量本應同步卻未呈現在研究里。
2012 年 10 月,委員會主要根據范阿森的分析結論公布了最終調查報告,正式撤回 55 份斯塔佩爾此前在期刊發表的論文。雖然斯特佩爾本人此后退還了取得的博士學位,但他已經制造了科學界史上罕有的大騙局。觀察機構 RetractionWatch 將其列為史上論文撤回量第三高的學者。
蒂爾堡大學震驚了。斯塔佩爾的學生和同事發現,他那些令人艷羨的技巧不過是唬人的把戲,而自己將近十年里撰寫論文引用的觀點都是謊言。
斯塔佩爾被停職的消息傳出時,哈杰因克還在圖書館自習。雖然那時斯塔佩爾的騙局還沒有徹底曝光,但這位蒂爾堡大學心理學系本科生已感到瞬間失去方向,仿佛丟失了某種堅實又不可或缺的東西。斯塔佩爾是他的導師,曾經聘他做研究助理,還時常給他鼓勵。事后,哈杰因克認為當時自己受到打擊巨大:
“是這個人啟發我開始真正有了研究的熱情。沒有了那種產生熱情的理由,你說還有什么意思?”
哈杰因克坦言,斯塔佩爾引爆了科學界的重大危機,他的騙局敗露后,自己開始拼命尋找某個領域里有沒有可以信賴的東西。而后,哈杰因克注意到,對科學家來說,主觀地解讀或者操控數據簡直不費吹灰之力。有那么一陣子,他甚至考慮放棄研究,做個警察。所幸天無絕人之路,哈杰因克因為統計學課結識的范阿森帶他邁上了科學打假的征途。
經歷了斯塔佩爾作假調查,范阿森找到了真正的興趣所在。他再也無心本職研究,而是成立了一家專門調查學術界草率研究和不當行為的機構 Meta-Research Center。哈杰因克也于 2013 年加入。
越來越多科學家認為,當前學界最緊迫的是確定哪些學術成果和方法還值得信賴。最初, Meta-Research Center 的項目只是研究誤差和常見的偏差,但范阿森提出,要更進一步,全力瞄準要害,開發探查方法,在已發表的科學文獻中挖出虛假的數據。
學術造假水深,成見比欺詐更難打
目前為學界所認可的接受的調查結果來自 2009 年斯坦福研究者丹尼埃爾·法內利( Daniele Fanelli)的研究。他收集了此前 21 項針對不同領域科學家研究行為不當的調查結果。根據這些完全依靠科學家如實匯報自身不當行為的研究,法內利得出,約有2% 的科學家在研究生涯中曾經偽造數據。如果法內利的估算無誤,每年還幾千名“漏網之魚”。
范阿森與哈杰因克認為,大部分科學造假還沒有被檢測確認,并且科研過程中不當操作的實際發生率遠高于2%。范阿森指出:“我們不能相信那些當事人的匯報。這好比你在開會時當眾問一位男士有沒有背著未婚妻偷情,對方很可能不會承認。”
因為 2012 年揭發了兩起心理學領域的惡性欺詐案,美國賓夕法尼亞大學沃頓商學院心理學教授尤里·西蒙遜( Uri Simonsohn)落得“數據義務警察”的“惡名”。他預計,在已發表的研究論著之中,含有欺詐性數據據的可高達5%。他說,這種情況不僅僅發生在邊緣學科,也不僅存在于讀者寥寥的期刊,可能一些知名度很高的論文也有假數據,一些名流也造假。
可只要無人揭露,科學界就那種對熱門領域欺詐不以為然的風氣就不會消失。曾揭發多個科研領域欺詐現象的美國微生物學家阿圖羅·卡薩德瓦爾,也建議調查者把時間花在影響更廣泛、更值得調查的問題上。回顧過往,至少那些致力于抵制不當行為的科學家都持這種看法。
1983 年,英國免疫學家、諾貝爾獎獲得者彼得·梅達沃在《倫敦書評》上發文坦言,不誠實的科學家數量很難統計,可即便不誠實變成令人談之色變的普遍現象,也不足以阻止科學成為人類從事的最成功事業。 換句話說,只要科學繼續造福人類,研究人員順利進行基因排序、化學分類,疾病能得到可靠的確診和治療,那么造假在多數科學家眼中就還會只是無關痛癢的問題。
然而,科學界的不當行為可能產生嚴重的危害。例如,歐洲一流醫科大學瑞典卡羅琳斯卡醫學院的醫生保羅·馬基亞里尼(Paolo Macchiarini)被爆出他造假自己發明的試驗性外科手術療效,導致多名患者接受他的手術后不治身亡。他目前正接受瑞典檢控方調查。
即使是相對更平凡的日常研究,科學家也需要根據過去的研究成果積累可靠的經驗,支持自己的理論。若學術造假行為真如哈杰因克和范阿森所想的那樣普遍,虛假的成果就會遍布科研文獻,像尚未爆炸的礦山一樣威脅著一切建立在它們基礎上的新興研究。假如能將科技運用于科學領域的自我校正,至少學界能真正了解問題的嚴重程度。
需要正視的是,科學界追捕造假行為的動力不足。
科研界歷來沒有森嚴的等級,更多的是一些研究機構和專業組織建立松散聯盟,大學作為科學領域的核心實體也不涉足科研成果的評估。只要造假沒有被公開,大學幾乎不會有追查的壓力。
于是,保證科研誠信的重大責任就落在每位科學家身上,唯有寄望他們自我管理、彼此約束。西蒙遜說,這種自控豈止是遠遠不夠,甚至起不到效果。即便抓到最招搖的造假者,那幫人只是冰山一角。而且,就算是曾經的舉報者也越來越不愿揭發造假。西蒙遜和蒂爾堡大學當年舉報斯塔佩爾的那些人都表示,不會再為打假挺身而出。一名學生說,心理學界不可能在那樣對待造假了,肯定有更好的方法。
科技打假,萬里長征的一小步
專職研究學界造假問題以來,哈杰因克飽嘗人生五味,既備受非議也得到支持和獎勵。
2016 年 8 月,在同事幫助下,他將 Statcheck 的所有成果公開發布在同行評審網站 PubPeer,最初在 推ter 網站和一些科學博客上得到肯定,稱贊的人主要是年輕學者和開明人士。但哈杰因克也受到以老一輩科學家為主的學界人士譴責,這些批評者擔心他的做法會招致公眾對學界的譴責和羞辱。
同年 12 月,主流科學期刊《自然》終于發聲。在《自然》的一篇社論中不具名地提到了 Statcheck 引起的爭議,對科學領域自動化審查的未來發展方向給予謹慎的支持。那篇社論的結語看似支持了哈杰因克選擇的道路:“必須接受自我批評。”
同在 12 月,美國國立衛生研究院下屬機構研究誠信辦公室(ORI)給予哈杰因克一小筆獎金,以此支持他調查不當行為的新項目,包括完成探查偽造數據的項目工作。哈杰因克和范阿森此前從未因打假研究得到任何外部融資。在他們眼中,ORI 這筆約 10 萬美元的獎金就是在為他們的努力正名。
但科學界的改變還很緩慢。范阿森說,到 2011 年才開始真正出現推動學界更開放、更有責任感的行動。到目前為止,它吸引了科學領域媒體的極大關注,設定了值得稱道的目標,可是根基仍然很脆弱,許多科學家相信形勢會好轉,但又覺得哈杰因克和范阿森太過樂觀。即便是一些做著類似發掘欺詐工作的科學家,對范阿森和哈杰因克的方式也持保留態度。
2012 年,時任《麻醉學報》主編史蒂夫·葉提斯(Steve Yentis)帶頭發起對原日本東邦大學麻醉學家藤井吉高的調查。此后,藤井因偽造數據被撤回 183 篇論文。據 RetractionWatch 統計,目前僅以篇數論,藤井保持著史上最大科學造假案的記錄。
葉提斯對自動化檢測統計數據也很有興趣,但他不打算將檢測結果公之于眾,而是認為學術期刊編輯可以利用這些檢測篩選文章。葉提斯向《衛報》調查者表示,判斷造假是很難權衡的,“你說一個人是騙子,那必須斷定依據多少發現不實之處的論文能得出這樣的指控。”
此外,有人擔心,除了打擊真正的騙子,Statcheck 還會誤傷一些無意之中出錯和誤報的科學家,這會讓學界更混亂,無謂增加有待篩選排查的工作。西蒙遜將此稱為“在游樂場放了一把裝了子彈的槍。”
對此,范阿森表示,部分科學家會因為錯誤被曝光感到氣憤,他無意讓任何人不快,但科學就應該公開透明,有批判性,追求真理。“問題在于,大家覺得科學家舉足輕重,他們的人生負有特殊的使命。科學家自己也這么認為。而這是對人的偏見。當你能夠客觀看待問題的時候,個人根本不重要。我們只應該關注那些對科學、對社會有利的。”
本文首發于《衛報》,作者 Stephen Buranyi,經鈦媒體節選整理,編譯/若離、元婕
來自: 鈦媒體