丁寧にご説明いただき、ありがとうございました。「必要条件であり十分条件ではない」とのご意見や関連する知見については特に異論ありません。ざるという表現について違和感を感じたのでコメントさせていただきました。
コメントありがとうございます。楽しんで頂けたとのことで、大変ありがたく思います。 コメントいただいた件について、私（高橋）の見解を簡単に説明しておきます。
「査読がザル」という件ですが、ちょっと強めの言葉にはなっていますが、意味合いとしてはご指摘いただいていることとほぼ同じだろうと思います。 「ザル」の定義を正確にするとすると、十分な科学的知見となりえないものも査読を通ってしまうことがよくある、という意味で（私は）使っています。 つまり現状を考えるに、Pre-publicationの査読は厳密に内容を審査された科学的知見と見做すための必要条件であり十分条件ではない、という意味です。
reviewerやeditor、著者に失礼
これは理解できるのですが、失礼だからという理由で「査読が十分に機能しています」ということ、あるいは失礼だからという理由でシステムの弱点に言及しないとうことは、結果的に誤解を生み、事態を悪化させてしまうように思います。 もちろん多くの個々の研究者を見れば、真剣に執筆し、真剣に査読し、真剣に編集業務にあたっているということに全く異論はありません。私自身もそうしているつもりです。 しかし査読システムとして捉えたときに、やはりそこをすり抜けてしまうものが多くある、ということもまた疑いようのない事実であると思います。
このエビデンスということですが、査読システムに関する研究というものはかなりの量、あります。いくつかすぐに見当たるものを引っ張ってみると：
方法上の不十分な点がかなり見逃されてしまってる https://pubmed.ncbi.nlm.nih.gov/24986891/ 査読の抱える問題とその対応策 https://www.jstage.jst.go.jp/article/jkg/66/3/66_115/_article/-char/ja/ コロナ関連での記事 https://news.yahoo.co.jp/byline/enokieisuke/20200606-00182065/ ハイインパクトな雑誌ほどretraction indexが高い https://www.nature.com/news/why-high-profile-journals-have-more-retractions-1.15951 これについては読んで頂ければいいと思いますが・・・ https://www.wired.com/story/peer-reviewed-scientific-journals-dont-really-do-their-job/ 定性的な話として、査読済み論文がretractionされることは全く珍しいことではありません。 https://retractionwatch.com/ https://twitter.com/RetractionWatch
また悪意ある例としては、predatory journalやフェイク査読などもあり、これらは我々の議論の対象とは一線を画すものではありますが、一般に公開するという文脈で「査読済み」の質を見極めるのは極めて難しいように思います。
結局のところ、ひとつの査読済み論文がものごとの真偽を結論づけることは極稀であり、またそのような強い責任をひとつの研究に負わせるのではなく、延々とつながる研究の流れの中で、その価値が見定められていくのだろうと感じています。
関連してこちらも（プレプリですが）ご覧頂けると幸いです。 Post-Publication Peer Review for Real https://psyarxiv.com/sp3j5/
以上が、私（高橋）の見解です。池田さんはまた別の考えを持っているかもしれません。
引き続きコメント頂けますとありがたく思います。
コロナの回を拝聴させていただきました。とても楽しかったです。 preprintと査読について、査読がザルだというご意見があったようですが、これについてはもう少し慎重になった方が良いのではないかと思いました。reviewerやeditor、著者に失礼だけでなく、本当にザルだと主張したいならば、evidenceが必要ですね。私もpreprintを支持するほうですが、やはり、科学としての知見を学術コミュニティにおいて、もしくは一般向けに公開する最低基準はpeer reviewかな、と思ったりします。（多くの研究者もこのように思っているのでは？）
池田さん、都はるみ歌ってください
柏野さん、ありがとうございます！アカデミアの外から見てのご意見など、伺えると大変ありがたいです。PodCast登録、検討します！
高橋さん！いつも楽しませてもらっております．iTunesのPodCastに登録していただけたらスゴく嬉しいのですが！http://yatomiccafe.com/archives/2013/0209_233032.html
おつことぬしさん、おたよりありがとうございます。 この議論はよく話題にあがります。次回ラジオで触れる予定です。 これからも応援よろしくお願いします。
（念のためにこっちにも書いときます🙏）
池田さん，高橋さんこんばんわ。ド辺境の鎮西地方でいつも楽しく聞かせていただいております。 ところでQRPsを研究不正の一種と捉えた場合（池田さんはそうじゃないというご意見でしたが），そのQRPsでできた業績で今のポジションに就いた人々も遡って全て辞職してガラガラポンで業界大再編すべき，という議論をする人もいるようですがお二人のお考えはいかがでしょう〜？ぜひ次回のラジオでお聞かせください！
まさに。こもりんさんへのコメントでも書いたように、「グレイなものが、たくさんの研究の積み重ねでだんだんと白黒はっきりしてくる」この事自体、人類の知を一歩先に進めることだと思います。ラジオでも言ったように、このことが伝わるネーミングがいいと思っています。 ネーミングについて、依然として検討中ですので、アイデアください！
おたよりありがとうございます。BGMはお店のチョイスですが、評判がいいみたいですね。 おっしゃる通り、直接的追試には、自分自身の研究のプレテストという位置づけと、OSCがやったみたいなデカイフィールドをつくってる研究のロバストネスを評価する、という位置づけの、ふたつの見方があるのではないかと思います。 このあたりも、追々取り上げて行こうと思います。 ひきつづき応援お願いします。
そういえば「追試」に代わる表現っていうわけではないですが、僕がこの手の話を学生にする際には「追試っていうのは知識の確からしさを知るための重要な手続きであり、確かな知識を世界に一つ増やす作業に他ならない」と伝えています。なんかいい呼び名があったら良さそうというご意見、確かにそうも思います。
とっても聞き応えがあり、楽しいです！！後ろのBGMも気になります。スティングかっこいい。 ところで今後、どの研究を追試すべきか問題、取り上げて欲しいです。 最近考えているのは、結局追試って自分が検討しようとしている現象がロバストなのか(あるいはnullなのか)を自ら確認するための作業に過ぎないのだと思っています。自分がその上に立とうとしている研究がしっかりした巨人と言えるのかの確認作業。その意味では、研究者各自が興味を持ったものを追試する、というスタンスでいい気がします。しかし一方で、社会心理学という研究領域全体で確認しておくべき重要研究っていうのもあるはずで、そういうもののロバストネスの確認っていう方向性もあったらいいなあと思いつつ。
お便り有り難うございます。はげみになります。 マテリアル共有ということで、情報技術によってそれが可能になっている現在では、秘伝の職人芸で突き進むよりも、透明性が上がって集合知化が進むことが、何よりだと思っていますので、その方法についても随時紹介していきます。 また、分野間での熱量の差とか、制約の違いなども、今後取り上げていけたらいいなと思います。 これからも応援よろしくお願いします。
毎週たのしく聴いています。社会心理学では調整変数を考慮、検討しようとする研究が多いと思うのですが、その基盤となるロバストな結果が少なくて困っています。再現可能性問題がもっと注目されて、ロバストな結果とその結果をもたらしうるマテリアル共有が進むといいな、って思います。これからも楽しい議論とこの問題のPRをお願いします。
低温調理、いいですよね。 心理学の世界も、「レンジでチン！なんかでたよ！」みたいな方向ではなくて、 低温調理みたいにじっくりコトコト、グレイなものが、たくさんの研究の積み重ねでだんだんと白黒はっきりしてくる、 そんな方向性を目指せるといいな、と思います。
バーでのお二人の会話を横で聞いているような感じが好きで毎週楽しみに聞いています． おふたりは低温調理ってご存知ですか？６０度ぐらいの温度のお湯にジップロックに入れた 鶏肉や牛肉を浸して料理するととても美味しくなるんですよ！秋の夜長に低温調理をしな がら再現可能性の問題を考えていると，ついつい無限後退して，心理学の公理って何？ やっぱり「光速度一定」かしら？などとため息をついてしまいます．天高く馬肥ゆる秋ですね！ 次回がまちどおしいです．
ファンです(//∇//)
replyもできます 👌
よろしくお願いします。
丁寧にご説明いただき、ありがとうございました。「必要条件であり十分条件ではない」とのご意見や関連する知見については特に異論ありません。ざるという表現について違和感を感じたのでコメントさせていただきました。
コメントありがとうございます。楽しんで頂けたとのことで、大変ありがたく思います。
コメントいただいた件について、私（高橋）の見解を簡単に説明しておきます。
「査読がザル」という件ですが、ちょっと強めの言葉にはなっていますが、意味合いとしてはご指摘いただいていることとほぼ同じだろうと思います。
「ザル」の定義を正確にするとすると、十分な科学的知見となりえないものも査読を通ってしまうことがよくある、という意味で（私は）使っています。
つまり現状を考えるに、Pre-publicationの査読は厳密に内容を審査された科学的知見と見做すための必要条件であり十分条件ではない、という意味です。
これは理解できるのですが、失礼だからという理由で「査読が十分に機能しています」ということ、あるいは失礼だからという理由でシステムの弱点に言及しないとうことは、結果的に誤解を生み、事態を悪化させてしまうように思います。
もちろん多くの個々の研究者を見れば、真剣に執筆し、真剣に査読し、真剣に編集業務にあたっているということに全く異論はありません。私自身もそうしているつもりです。
しかし査読システムとして捉えたときに、やはりそこをすり抜けてしまうものが多くある、ということもまた疑いようのない事実であると思います。
このエビデンスということですが、査読システムに関する研究というものはかなりの量、あります。いくつかすぐに見当たるものを引っ張ってみると：
方法上の不十分な点がかなり見逃されてしまってる https://pubmed.ncbi.nlm.nih.gov/24986891/
査読の抱える問題とその対応策 https://www.jstage.jst.go.jp/article/jkg/66/3/66_115/_article/-char/ja/
コロナ関連での記事 https://news.yahoo.co.jp/byline/enokieisuke/20200606-00182065/
ハイインパクトな雑誌ほどretraction indexが高い https://www.nature.com/news/why-high-profile-journals-have-more-retractions-1.15951
これについては読んで頂ければいいと思いますが・・・ https://www.wired.com/story/peer-reviewed-scientific-journals-dont-really-do-their-job/
定性的な話として、査読済み論文がretractionされることは全く珍しいことではありません。 https://retractionwatch.com/ https://twitter.com/RetractionWatch
また悪意ある例としては、predatory journalやフェイク査読などもあり、これらは我々の議論の対象とは一線を画すものではありますが、一般に公開するという文脈で「査読済み」の質を見極めるのは極めて難しいように思います。
結局のところ、ひとつの査読済み論文がものごとの真偽を結論づけることは極稀であり、またそのような強い責任をひとつの研究に負わせるのではなく、延々とつながる研究の流れの中で、その価値が見定められていくのだろうと感じています。
関連してこちらも（プレプリですが）ご覧頂けると幸いです。 Post-Publication Peer Review for Real https://psyarxiv.com/sp3j5/
以上が、私（高橋）の見解です。池田さんはまた別の考えを持っているかもしれません。
引き続きコメント頂けますとありがたく思います。
コロナの回を拝聴させていただきました。とても楽しかったです。
preprintと査読について、査読がザルだというご意見があったようですが、これについてはもう少し慎重になった方が良いのではないかと思いました。reviewerやeditor、著者に失礼だけでなく、本当にザルだと主張したいならば、evidenceが必要ですね。私もpreprintを支持するほうですが、やはり、科学としての知見を学術コミュニティにおいて、もしくは一般向けに公開する最低基準はpeer reviewかな、と思ったりします。（多くの研究者もこのように思っているのでは？）
池田さん、都はるみ歌ってください
柏野さん、ありがとうございます！アカデミアの外から見てのご意見など、伺えると大変ありがたいです。PodCast登録、検討します！
高橋さん！いつも楽しませてもらっております．iTunesのPodCastに登録していただけたらスゴく嬉しいのですが！http://yatomiccafe.com/archives/2013/0209_233032.html
おつことぬしさん、おたよりありがとうございます。
この議論はよく話題にあがります。次回ラジオで触れる予定です。
これからも応援よろしくお願いします。
（念のためにこっちにも書いときます🙏）
池田さん，高橋さんこんばんわ。ド辺境の鎮西地方でいつも楽しく聞かせていただいております。
ところでQRPsを研究不正の一種と捉えた場合（池田さんはそうじゃないというご意見でしたが），そのQRPsでできた業績で今のポジションに就いた人々も遡って全て辞職してガラガラポンで業界大再編すべき，という議論をする人もいるようですがお二人のお考えはいかがでしょう〜？ぜひ次回のラジオでお聞かせください！
まさに。こもりんさんへのコメントでも書いたように、「グレイなものが、たくさんの研究の積み重ねでだんだんと白黒はっきりしてくる」この事自体、人類の知を一歩先に進めることだと思います。ラジオでも言ったように、このことが伝わるネーミングがいいと思っています。
ネーミングについて、依然として検討中ですので、アイデアください！
おたよりありがとうございます。BGMはお店のチョイスですが、評判がいいみたいですね。
おっしゃる通り、直接的追試には、自分自身の研究のプレテストという位置づけと、OSCがやったみたいなデカイフィールドをつくってる研究のロバストネスを評価する、という位置づけの、ふたつの見方があるのではないかと思います。
このあたりも、追々取り上げて行こうと思います。
ひきつづき応援お願いします。
そういえば「追試」に代わる表現っていうわけではないですが、僕がこの手の話を学生にする際には「追試っていうのは知識の確からしさを知るための重要な手続きであり、確かな知識を世界に一つ増やす作業に他ならない」と伝えています。なんかいい呼び名があったら良さそうというご意見、確かにそうも思います。
とっても聞き応えがあり、楽しいです！！後ろのBGMも気になります。スティングかっこいい。
ところで今後、どの研究を追試すべきか問題、取り上げて欲しいです。
最近考えているのは、結局追試って自分が検討しようとしている現象がロバストなのか(あるいはnullなのか)を自ら確認するための作業に過ぎないのだと思っています。自分がその上に立とうとしている研究がしっかりした巨人と言えるのかの確認作業。その意味では、研究者各自が興味を持ったものを追試する、というスタンスでいい気がします。しかし一方で、社会心理学という研究領域全体で確認しておくべき重要研究っていうのもあるはずで、そういうもののロバストネスの確認っていう方向性もあったらいいなあと思いつつ。
お便り有り難うございます。はげみになります。
マテリアル共有ということで、情報技術によってそれが可能になっている現在では、秘伝の職人芸で突き進むよりも、透明性が上がって集合知化が進むことが、何よりだと思っていますので、その方法についても随時紹介していきます。
また、分野間での熱量の差とか、制約の違いなども、今後取り上げていけたらいいなと思います。
これからも応援よろしくお願いします。
毎週たのしく聴いています。社会心理学では調整変数を考慮、検討しようとする研究が多いと思うのですが、その基盤となるロバストな結果が少なくて困っています。再現可能性問題がもっと注目されて、ロバストな結果とその結果をもたらしうるマテリアル共有が進むといいな、って思います。これからも楽しい議論とこの問題のPRをお願いします。
低温調理、いいですよね。
心理学の世界も、「レンジでチン！なんかでたよ！」みたいな方向ではなくて、
低温調理みたいにじっくりコトコト、グレイなものが、たくさんの研究の積み重ねでだんだんと白黒はっきりしてくる、
そんな方向性を目指せるといいな、と思います。
バーでのお二人の会話を横で聞いているような感じが好きで毎週楽しみに聞いています．
おふたりは低温調理ってご存知ですか？６０度ぐらいの温度のお湯にジップロックに入れた
鶏肉や牛肉を浸して料理するととても美味しくなるんですよ！秋の夜長に低温調理をしな
がら再現可能性の問題を考えていると，ついつい無限後退して，心理学の公理って何？
やっぱり「光速度一定」かしら？などとため息をついてしまいます．天高く馬肥ゆる秋ですね！
次回がまちどおしいです．
ファンです(//∇//)
replyもできます 👌
よろしくお願いします。