以前に、詐欺ジャーナルと詐欺研究者で本物が迷惑をしたという話題を取り上げたが、今回は自ら架空論文を作ってその影響を評価したスペインの研究者の話題である。
Google Scholarでは、研究者が自分の論文リストと引用データによる指標（h-index）を載せたプロフィールページを作れるサービスGoogle Scholar Citationsや、h-indexを指標とするジャーナルランキングGoogle Scholar Metrics
などを提供している。
米国情報科学技術協会誌Journal of the American Society for Information Science and Technologyに発表されたところによると、グラナダ大学の研究グループは、自分たちのウェブサイトの内容をコピー＆ペーストして作ったニセ論文にメンバーの過去論文すべてを引用し、ニセ論文を架空の著者名でネットにアップロードした。こののち、Google Scholarに発見されるべく、ニセ論文へのリンクを含むウェブページを大学のサーバーで公開したのだそうだ。
4月に公開したニセ論文は、約1ヵ月後、Google Scholarに引用され、ニセ論文の引用に伴いあるメンバーでは被引用回数が400回以上増加し、それぞれのメンバーのh-indexはポイントがUpした。さらには、メンバーが過去に論文を出版した各ジャーナルでも、一部ではランキング順位が大きく上がるほどの被引用回数の上昇が見られた。
見事、Google Scholarは研究者らのたくらみにだまされたのである。
そこで、研究者らはこの実験結果を自分たちのブログで公表し、大学のサーバーにアップロードしたニセ論文上で嘘を告白したのである。すると、その2日後にはニセ論文の架空著者に関するデータがGoogle Scholarから削除され、Google Scholar上のプロフィールは一時非公開になった後、ニセ論文による影響を取り除いた上で再公開された。
著者らは、不正操作が簡単に出来てしまうことを指摘し、不正操作を見抜きやすくするなど、改善するように提案している。
The Google scholar experiment: How to index false papers and manipulate bibliometric indicators
Emilio Delgado Lopez-Cozar1, Nicolas Robinson-Garcia1, Daniel Torres-Salinas2
Article first published online: 11 NOV 2013
DOI: 10.1002/asi.23056
http://onlinelibrary.wiley.com/doi/10.1002/asi.23056/abstract
いくらニセ論文の影響を調べるとはいえ、こんなことをして問題にならないのかちょっと心配してしまう。騙されたGoogle Schlarの騙されたと気づいた後の対応の早さも感心してしまうが、このとき、研究者らに制裁などを加えることなく、元に戻すところもすばらしい。
一連の研究結果を小出しにちりばめて発表する研究者と、じっくりとデータを蓄えて厳選した内容を凝縮して発表する研究者。どっちが引用数として得するか考えると、必ずしも後者は得をしない。量の評価は簡単だが、質の評価というのは難しい。