実証分析では再現性が重要です．再現性とは，「ある論文を読んだ読者が，その論文と同じことをやれば，まったく同じ結果が得られること」です．再現ができない場合，都合の良い数字を捏造したと疑われても仕方がありません．
研究者は論文を書くとき，読者が自分とまったく同じ分析結果を再現するのに必要十分な情報は全て，論文で記述する義務があります．こういう情報が欠落した論文を書いた場合，筆者は猛省するべきです．僕は疑り深いので，「都合の良い結果だけ探してきて論文で報告しているんじゃないかな？」と思ってしまいます．そう読者に思われたら損なので，やはりちゃんと誠実に情報を書くべきです．
ところが，経済学の実証分析では，そういう情報が欠落していることが多々あります．非常に細かい話ですが，たとえばOLSでWhite修正した，といっても，White修正にはいくつかのバージョンがあります．ほんとうに細かい話ですが，どのバージョンをつかったのか明記しないといけません．メンドーだと思うかもしれませんが，書かないと読者が完璧に再現できないわけです．
また，シミュレーションや数値計算など，PCの性能などに依存する場合は，使った計量ソフトウェアとそのバージョンも明記するべきです．これをやらない人が残念ながらかなり多いです．Ogaki先生の話だと，同じソフトウェアでも，バージョンが変わると収束先が変わってしまったりすることがありえるそうです．細かく言えば，つかったPC環境も報告するべきなのかもしれませんね（Window XPでやった，とか）．
僕が人から聞いた話だと，非線形GMMの推定をやるとき（この場合，数値計算が必要），TSP, STATA, LIMDEPは全て違う推定結果を返すそうです．さらに，EVIEWSだと，そもそもなぜか推定ができないらしいです．LIMDEPの計算結果がおかしいっぽい，というのは，僕の指導教授も言っていましたから，仮にLIMDEPが間違っているとしても，TSPとSTATAで推定結果が異なっているので，やっぱり計量ソフトウェアは信頼できません．高い価格を払っているんだから，ちゃんと作れ，とかなり怒りを覚えます（これらのソフトウェアは，だいたい1ライセンスで10万くらいするものです）．
また，Ogaki先生に聞いたところ，ジャーナルに投稿したときレフェリーは，まず実証分析の結果の再現をしようとしないそうです．
こういう話を聞いて以来，どうも全ての実証分析がうさんくさく見えるようになってしまった・・・．みんな，ちゃんと自分のやった結果に責任もって，再現性があるような論文を目指しましょう．こんなんだから，計量経済学なんか信用ならん，って理論の先生に言われちゃうんだよな～．
再現性の点では，僕は自分の論文ではちゃんとやっているつもりです．全ての実証分析は，自分でプログラムを書いてやっているから，分析の中身がブラックボックスになっていない．というわけで，やっぱり，若い人はがんばってMatlab，Gauss，R，Oxあたりを覚えて，自分でしっかり分析できる力を養うべきだと思います．
コメント