生理人生
一位生理學家的讀書、思想及翻譯筆記
關於潘震澤
│訂閱潘震澤 RSS 2.0 Feed
文章 - 275, 迴響 - 2846, 引用 - 5, 本格總瀏覽人次 - 828235
中時電子報 › 中時部落格 › 來賓部落格總覽 › 潘震澤

文章分類

最新文章

最新迴響

SCI 與 IF 細說從頭

2009-07-01 15:24迴響:9點閱:2188

 

「量化」是科學研究的根本。從最簡單的計數、丈量、秤重等,到利用儀器將各種物質特性,如溫度、溼度、硬度、透(吸)光度等,「讀」出數字後,就可進行各種比較、計算、統計、作圖等「科學」工作,亦所謂「壓搾數字」(crunching number)是也。甚至心理學家與醫生,也會試著把生物行為及病人情況分級,變成數字表示,以求客觀(主觀判定仍免不了)。因此,有人會想出方法來給學術期刊打分數,也不足為奇。

 

一份學術期刊的好壞,決定因素很多,客觀主觀都有;除了發行量、印刷品質與收費,以及編輯部成員等因素外,期刊的讀者群、作者群以及刊登論文的品質,才應該是最重要的考量因素,但那也是最難量化的。1960 年代初,美國的嘉菲德(Eugene Garfield)創立了「科學資訊社」(Institute for Scientific Information, ISI),並定期出版《科學文獻引用索引》(Science Citation Index, SCI);自此,學術期刊與學術論文的量化評比,也進入了新的時代。

 

傳統的論文資料庫,以收集論文本身的資料為主,包括作者、文章標題、期刊卷號頁數年份等,SCI 則不僅於此,它還把每篇文章引用的文獻都納入資料庫,藉以追蹤每篇論文發表後遭受引用的情形,這可是劃時代創舉。

 

學術論文都少不了文獻引用這一項。按性質及期刊不同,一篇論文引用的文獻少則 10 來篇,多則 40-50 篇;若以平均 30 篇計算,每期刊登 10 篇文章的小型期刊,會有 300 篇文獻,一年下來就是 3600 篇(以月刊計)。SCI 收錄的期刊,從 1964 年的 600 種,一路增加到 2009 年的 6650 1, 2;就算扣除重複引用的文獻,其數字也相當可觀,在數百萬以上。早年沒有數位檔作直接傳輸,每篇文獻都得以人工輸入,可謂工程浩大,這也是嘉菲德與 ISI 成功之處。

 

擁有這樣豐富的資料庫,嘉菲德就能進行各式各樣的統計分析與計算;譬如說以發表論文數、論文被引用數,或是兩者的比值,將學術期刊予以排名列表。ISI 更於 1973 年推出《期刊引用報告》(Journal Citation Report, JCR),每年出版。其中尤以計算論文引用與發表數量比值的「影響指數」(impact factor, IF),影響最為深遠,也遭到最多的誤解與濫用3

 

IF 的計算,是把任一期刊前兩年發表的論文,在當年被 SCI 收錄期刊所引用的次數當成分子,前兩年該期刊發表論文的總數當成分母,一除而得。舉例來說,《自然》(Nature)於 1967-8 兩年共發表 6811 篇文章,這些文章在 1969 年被引用了 15956 次;15956 除以 6811,就得出 1969 年《自然》的 IF 值:2.31

 

曉得 IF 的計算方式,有助於了解它的意義與侷限。首先,IF 代表的只是某期刊連續兩年內刊登的論文,在第三年遭 SCI 期刊引用的數字比,可說是非常短期的指標。嘉菲德曾計算 7 年及 15 年的期刊 IF 4,發現像《應用生理學期刊》(Journal of Applied Physiology),其單年 IF 值的排名,1983 年是 164 名, 1991 年則落到 376 名;但其 7 年(1989-1995)及 15 年(1981-1995)的 IF 值,則都維持在第 96 名。反之,《病毒學期刊》(Journal of Virology)單年及 7 年的 IF 值排名變化不大(29 與 23),但 15 年的則降至第 67 名。由此可見,常用的單年 IF 值並不能代表所有期刊的長期影響力,一味追逐每年的 IF 值,是沒有太大意義的。

 

再來,IF 的計算,很容易在分子分母上動手腳。有人可能疑惑,1969 年《自然》的 IF 怎麼才只有 2.3;理由其實很簡單:該年的文章總數約是 2004 年的 8 倍(6811 878 之比)。這不是說《自然》的篇幅變小了,而是 ISI 在《自然》期刊編輯的抗議下,把不屬於研究論文的社論、新聞、書評、投書等文章都去除了。這麼一來,分母變小、分子卻沒變(甚至還增加),於是 2004 年《自然》的 IF 值也就高達 32.2 了。類似的期刊 IF 值變化,經常可見。

 

打從成立起,ISI 就是私人商業機構,以販賣各種資訊產品圖利;1992 年,ISI 由湯姆森路透(Thomson Reuters)集團併購後,更是變本加厲,一切朝錢看。由於嘉菲德是學者出身,不斷利用其資料庫數據,提供新穎的分析,而取得學界信任;但在商言商,嘉菲德對 IF 的批評聲浪,可是極力辯護,絕不承認缺失。多數學術期刊編輯與出版社本著「打不過、就加入」的態度,也玩起提昇 IF 的遊戲;到後來連學校、研究機構與政府單位也都跟進。

 

2007-8 年,洛克斐勒大學出版社干冒大不韙5, 6,出面質疑湯姆森的 IF 值計算是黑箱作業,無法重複;並呼籲同行將旗下期刊論文的引用資料存入公共資料庫,讓人自由取用,而不再受制於湯姆森的專賣束縛。這可是多年來對 IF 最嚴厲且有力的批評。

 

洛大出版社的呼籲,一時可能還看不出效果,但國內大學及研究機構卻應該及早從 IF 的數字遊戲脫身,更無需每年送大筆銀子給湯姆森購買 JCR(三~五年買一份即可)。國內學界只要根據本身經驗,參考現有資料,就可以自行給期刊分類,作為大致評比的依據,而無需追逐每年由湯姆森出版的 IF 值。

 

以獨立思考判斷自詡的學術界,應該有如下體認:一、IF 不是判定期刊品質高下的唯一標準;二、IF 只是期刊的短期表現指標,不代表所有期刊的長期影響力;三、期刊的 IF 值高低,不能為每篇發表於該期刊的文章背書;四、學術論文應優先發表於有口碑的本行期刊,而不是 IF 值高的非本行期刊。

 

文獻引用索引(citation index)是了不起的發明,從中確實可以看出研究取向,以及論文受矚目的程度,但現行的期刊 IF 值計算,卻有許多缺失與誤導之處,並不科學。學界應有向 IF 說不的道德勇氣,自行建立規範,以杜絕現行以數字取向的弊端。

 

引用文獻:

  1. Garfield, E. (1972). Citation analysis as a tool in journal evaluation: Journals can be ranked by frequency and impact of citations for science policy studies. Science 178, 471-479.
  2. Thomson Reuters (2009). Science Citation Index. Retrieved from http://thomsonreuters.com/products_services/scientific/Science_Citation_Index
  3. Garfield, E. (2006). The history and meaning of the journal impact factor. Journal of the American Medical Association, 295, 90-93.
  4. Garfield, E. (1998). Long-term vs. short-term journal impact: does it matter?  The Scientist, 12, 10-12.
  5. Rossner, M., Van Epps, H., & Hill, E. (2007). Show me the data. The Journal of Cell Biology, 179, 1091-1092.
  6. Rossner, M., Van Epps, H., & Hill, E. (2008). Irreproducible results: a response to Thomson Scientific. The Journal of Cell Biology, 180, 254-255.

原載 2009 年 6 月號科學月刊

上一篇:回台小記(一)
下一篇:基因與行為的距離
加入書籤:         
引用:http://blogger.chinatimes.com/jenntser/archive/2009/07/01/415789.html
2009-07-01 15:24作者:潘震澤分類:學術天地迴響:9點閱:2188

迴響與引用列表

回應: SCI 與 IF 細說從頭

I can not agree with you anymore.

2009-09-24 08:15 Rock

回應: SCI 與 IF 細說從頭

yuhina,

你說的不無道理,台灣的學術界確實狹窄了些,許多人因此變得鄉愿,不敢得罪人,而失去了原則。這一點在近十幾年來,國內博士班相繼成立、自行訓練新一代學者後,更形顯著。如果只是為了防弊,而以 SCI/IF 量化數字為品管,卻無法建立學術成就的共識,到頭來只怕更助長了一批投機取巧的急功近利之徒。

關於新進學者面臨的難處,我並不陌生,也不能說不同情,我只能說任何問題都不是單方面的。教學、研究、服務的要求非自今日始,如果說於今尤烈,那要麼是競爭變得更激烈,不然是既得利益者要求更過分了,再來則是新一代的學者準備不足。究竟是哪一種,新進學者得自己想清楚,才好因應。一味抱怨,是沒有用的。

2009-07-08 22:58 潘震澤

回應: SCI 與 IF 細說從頭

引用這篇文章供諸位先進參考

「平庸學者難以肯定原創學者與衍生學者比自己優秀,因此傾向於認定彼此都一樣優秀
。若原創學者與衍生學者的人數都未達某種臨界數量以上,其評量標準將是平庸學者的標
準,較可能在學界輿論裡完全消除學者之間的品質差異認定。

  小國不僅難以準確評量學者,連評量學生都很困難。以至於研究生入學依賴筆試,而
非資料審查。後果之一是補習教育延伸到研究所入學考試。

....
  小國學術評量較不準確,不公發生時,抗議不公的人即使理由正當,也很容易被反指
為無理取鬧、個人恩怨或派系鬥爭。即使評審公正,被評為平庸的學者,也較有藉口歸因
於不公,而非承認自己品質低落。

  在品質評量困難的小國,量化標準在表面上似乎比質化標準更客觀,更能減少爭議。
這已是技術上近乎無解的難題。我也想不出更高明的解決辦法,但規則總要制定,學術行
政主管必須假裝找到解決方案。我不同意,但可以同情。」
黃樹仁,〈小國的學術困境—-臺灣社會科學研究、教學與評量的反省〉,
《臺灣社會研究》第65期,2007,臺北,頁117-180。 

說真的,台灣的大學升等不是只有sci,通常都是綜合「教學」「研究」「服務」的表現,才會有之前學術長工之說,網路上許多年輕教授也是怨聲載道(因為有許多系上的行政服務要做),而且還是需要外審意見,所以就算算分數,學閥的現象依舊嚴重(只是比以前好),大概就像引文說的台灣的學術規模小是很大的問題,例如審國科會計畫,可能這次我不給你過,下次你就不給我過,這種情形以前時有所聞。在台灣所謂對學術成就的共識,就像引文所述,有很大的困難去界定。
如有興趣了解現在台灣年輕學者的困境,可以參考
http://www.ptt.cc/bbs/AfterPhD/index48.html
http://www.ptt.cc/bbs/PhD/index377.html

2009-07-08 10:05 yuhina

回應: SCI 與 IF 細說從頭

把個人的學術成就 (scholarship) 化約成數字 (不論是發表的論文數、發表期刊的 IF、論文網頁的點閱下載率、還是國科會使用的 RPI 值),都是不得已的作法,缺點也明顯可見。如果學術中人對於學術成就有所共識,就該趁早拋棄以數字評量高低的作法,回歸學術本質。

早年國內學術界確實有不學無術的學閥當道,也才引進 SCI 這頭怪獸驅魔。如今一切朝數字看齊,不要說學閥,連資歷經驗都不見得管用。大家都淪為製造論文的機器,計畫及升等獎助的審查,則交由承辦人員甚至電腦即可,反正數目夠了,也就應該通過,不必管實質內容如何,不是嗎?

2009-07-08 02:53 潘震澤

回應: SCI 與 IF 細說從頭



天氣太熱, 來打個哈哈 :)

觀察到一件有意思的事情. 那就是每當老師發表有關SCI或點數這方面探討的文章時 , 這種主題的 "被回應次數"似乎也比較高. 在某方面來講, 似乎也可以作為一種index! (例如我們一些玩blog的宅男, 往往在比被瀏覽數與被回應數誰比較高 :) )

請您原諒學生又在這裡亂講話...... 假使今天老師在部落格裡發表一篇 <論德國二戰前的生理學教育史>, 恐怕index value並不高 (也就是, 回應的網友或許稀稀落落). 但今天開了一個 "論演化" "SCI之我見" "談達文西密碼"之類的題目,往往可能人氣鼎旺!

雖然我是開玩笑, 請老師原諒 - 我想問的是: "引用"這件事情本身. 為什麼有些文章更頻繁地被引用?

除了老師提到的"分子分母的藝術"以外, 是否也存在著"操弄一篇文章被廣泛引用"的藝術? 比方, 是否可能一篇學術含量低的文章, 經過某種操弄後, 被引用數極高?

說到這裡, 分享一點我自己不成熟的心得. 在人腦研究裡, 常常會看到一些題目為

"Decoding the neural mechanism/network of XXX"
之類的文章出現. 像我這種天真的學生本以為讀了以後就可以了解 XXX network, 可是讀完以後發現通篇做出來的實驗, 根本和標題所引發的"遐想", 差得甚遠.

可是光看標題, 或是部份abstract, 往往真讓人感覺到 "世紀大發現" "很嗆很華麗!" "XX密碼被破解了" 這樣的驚喜.

或許問題還是發生在我們自己吧! 像我們比較不成熟的學生或資淺研究者, 往往在做citation的時候, 就是東挖一個西抓一個, pubmed跳出來一堆項目, 那幾個標題看起來很華麗的, 聽起來很有關連的, 就給它通通用進去. 但事實上, 我上當了!

(我曾私下調查過, 即使是一些權威作者的文章, 往往引用的文獻, 其實並不是"最適當被引用"的!)


假使先不談那些分子分母或知識判決體系等等議題; 有時候我會想, 或許"引用" - 或者說"誤用"文獻這件事情本身, 就是SCI議題裡值得玩味的一件事!

2009-07-05 05:21 winz

回應: SCI 與 IF 細說從頭



Hi Dr. Pan:

FYI.

http://chronicle.com/weekly/v55/i40/40research_analytics.htm

New Tool Compares Scholars' Research Strengths

Big publisher offers software to track performance in 80,000 areas

By DAVID GLENN

Just as anxious novelists can check their sales rankings on Amazon 24 times a day, academic researchers have a host of online tools for monitoring their citation stats — and those of their rivals.

2009-07-02 07:29 cyber-world

回應: SCI 與 IF 細說從頭

您講的sci的問題都有道理
但問題是「自行建立規範」是什麼規範?
台灣學術界規模小 沒有一些客觀標準
大概又會回到過去 靠人情 靠關係 比做研究重要的情形
畢竟學術成就還是要同行才有辦法審查
投國際期刊至少需要國外的同行審查

以台灣的情形還有過去的例子 我覺得很難期待只靠國內的學者會公平正義的去審查
例如 大老的國科會案子 可能就很容易可以過
大老的學生 沒有發表 也是可以擔任教職這些事
在過去是常態 但是現在要護航難一些(雖然還是常發生)

我是覺得真正優秀的學者
照這些sci的規則玩也不會玩輸別人
這些評鑑本來就不會限制住前端的傑出學者
(至少在自然科學 要說多年沒發表 一發表就是頂尖論文的情況很少見啦)

就像大家也知道 要評鑑論文品質
其中一樣指標就是引用次數 (扣掉自己引用自己的文章之外)
國科會的高層也知道
只是現在還不敢把發表文章引用次數拿來算分數

用sci算點數可能有許多缺點
但是對我們這種不想攀關係 不想親大老屁股 比較想認真做研究的年輕學者 現在的制度真的是比以前好太多太多了

2009-07-01 23:58 yuhina

回應: SCI 與 IF 細說從頭

I suggest to abolish all journals and upload all papers into a fully categorized database instead, just like a journal blog. It would allow readers to write comment directly and allow authors to update their results with version trace. What about the impact factor? Hitting rate is one indicator, no matter it's due to importance or controversy. How do we control the quality? A yearly review based on statistics and scientific merit can be published by the related academic society.

2009-07-01 17:43 fcc

回應這篇文章

*者為必填欄位

*回應標題:
*姓名 / 暱稱:
*E-Mail:
您的網站:
*回應內容: 本篇文章留言,需由部落格作者「先審視,才露出」。
 
*驗證:
請輸入上圖六位數字驗證碼:

 
2009年7月
2829301234
567891011
12131415161718
19202122232425
2627282930311
2345678

146x57-slefrecommend.jpg

chimei_146146_091117.gif

編輯部落格最新文章

作家部落格最新文章

來賓部落格最新文章

旅遊部落格最新文章

財經部落格最新文章

電影部落格最新文章

體育部落格最新文章

音樂部落格最新文章

美食部落格最新文章

公益部落格最新文章

數位部落格最新文章