تکرارپذیری به‌مثابه مفهومی زمینه‌مند: بازاندیشی در بحران تکرارپذیری علم

نوع مقاله : علمی - پژوهشی

نویسندگان

1 دانشجوی کارشناسی ارشد فلسفه علم دانشگاه صنعتی شریف، تهران، ایران

2 دانشیار گروه فلسفه علم، دانشگاه صنعتی شریف، تهران، ایران

چکیده

چکیده گسترده
مقدمه و اهداف: تکرارپذیری (replicability) همواره یکی از شاخص‌های بنیادین در تمایز علم از دیگر اشکال شناخت تلقی شده است. این ایده که یک نتیجه علمی باید در شرایط مشابه توسط پژوهشگران مستقل بازتولید شود، به‌طور ضمنی پشتوانه اعتماد ما به یافته‌های علمی قرار گرفته است. باوجوداین، در دو دهه اخیر، افزایش گزارش‌هایی از شکست در تکرار نتایج پژوهش‌های معتبر، به‌ویژه در حوزه‌هایی چون روان‌شناسی، زیست‌پزشکی و علوم اجتماعی، نوعی بحران را در جامعه علمی دامن زده که به‌طور گسترده با عنوان «بحران تکرارپذیری» شناخته می‌شود.
در این مقاله، باتکیه‌بر تحلیل فلسفی و بررسی مطبوعات، می‌کوشیم به بصیرت‎های تازه‎ای دست یابیم و تکرارپذیری را مفهومی واحد، جهان‌شمول و بی‌طرف در نظر نگیریم، بلکه آن را به‌مثابه مفهومی زمینه‌مند و ارزش‌محور در نظر گرفته و مبتنی بر آن به درک عمیق‎تر نسبت به آن برسیم. براساس‌این، دریافت‎های جدیدی از آنچه امروز به‌عنوان «بحران» شناخته می‌شود، ارائه شد که بحران را درواقع حاصل نوعی ناهماهنگی میان انتظاراتی که در هر رشته از تکرار نتایج داریم و تعمیم نابه‌جای معیارهای خاص یک حوزه به کل علوم می‎داند. با توجه به این مسئله سعی کردیم الگوی جدیدی از بررسی شکل‎های مختلف تکرار در حوزه‎های مختلف ارائه دهیم که طیفی از شکل‎های تکرار رهنمون‎های متناظری برای مدیریت پژوهش‎های علمی در آن حوزه نیز پیشنهاد شد. این مقاله در پی آن است که با ارائه یک چهارچوب مفهومی تازه، امکان درک طیف‌گونه از تکرارپذیری و پیامدهای آن برای فلسفه علم و سیاست‌گذاری پژوهش علمی را فراهم آورد.
روش: از اواسط قرن بیستم نقدهایی ناظر بر ایدئال علم عاری از ارزش‎ها مطرح شد که در بسیاری از پژوهش‎های علمی میزان شواهد مورد نیاز برای تأیید یک نظریه بستگی به مؤلفه‎هایی دارد که از ارزش‎ها نشئت می‎گیرند. دستاورد‎های جدید نشان می‌دهد پژوهشگر در بسیاری از مراحل فعالیت علمی از قضاوت‎های ناخواسته‎ای ناظر بر ارزش‎های مختلف رهنمون می‎گیرد. در سال‎های اخیر و با توسعه این دیدگاه ایدئال علم عاری از ارزش‎ها طرفداران کمتری دارد و غالب متفکران تأثیرگذاری ارزش‎ها در علم را اجتناب‌ناپذیر می‎دانند. این پژوهش‎ها بیش از آنکه به وجود یا عدم وجود ارزش‎ها در علم بپردازند، مسئله‎ای مبنی بر تفکیک میان ارزش‎های مشروع و نامشروع در علم را در دستور کار قرار داده‎اند تا جایی که از آن به «معیار جدید تمیز» در علم یاد می‎کنند. در این مقاله سعی بر آن داریم مبتنی بر رویکرد نقش ارزش‎ها در علم پاسخ‎هایی را مورد نقد و بررسی قرار دهیم که درباره ریشه‎های بحران تکرارپذیری ارائه شده است و در قسمت پایانی به تکرارپذیری به‌عنوان یک ارزش معرفتی در علم بپردازیم و این پرسش را مورد بررسی قرار دهیم که آیا تکرار را می‎توان یک ارزش معرفتی جهان‎شمول در نظر بگیریم یا خیر؟
نتایج: مطبوعات مطرح درباره بحران تکرارپذیری عمدتاً در قالب دو دسته رویکرد قابل تقسیم‌بندی هستند: نخست، رویکردهایی آماری و روش‌شناختی هستند که تمرکز خود را بر نقص‌ها و محدودیت‌های ابزارهای آزمون علمی قرار داده‌اند؛ دوم، رویکردهای نهادی و جامعه‌شناختی هستند که نقش ساختارها و مشوق‌های بیرونی را در کاهش تکرارپذیری بررسی کرده‌اند. به‌طورکلی، سه عامل در بحران تکرارپذیری قابل‌احصاست. دو مورد آن به روش‎شناسی آماری پژوهش علمی بازمی‌گردد که با بررسی این دو مورد یافته‎هایی مبنی بر نقد این تحلیل‎ها مطرح و همچنین نشان داده شد انتخاب میزان معیار معناداری آماری و مقدار احتمال پیشین هر کدام می‎تواند مبتنی بر برخی مؤلفه‎های ارزشی تأثیرپذیری داشته باشند.
مورد سوم در ریشه‎های بحران سوگیری به انحا مختلف متعاقب تأثیرگذاری نهاد‎های علمی، جامعه است. طبق نظر همه پژوهشگرانی که اشاره شد، قطعاً سوگیری سهمی در تقویت مسئله تکرارپذیری دارد؛ ولی باید به نحوه اثرگذاری این سوگیری نیز توجه داشت. به‌طورکلی، سوگیری یا سبب انحرافی در بخش معرفتی فعالیت علمی دانشمند می‎شود و یا در انتشار پژوهش انحرافاتی ایجاد می‎کند. به‌طورکلی، این رویکرد به‌درستی بر اثرات ساختاری، انگیزشی و نهادی در تولید علم تأکید دارد؛ اما اغلب به تحلیل‌های انتزاعی از مفهوم تکرارپذیری نمی‌پردازد. در نتیجه، راه‌حل‌های آن معمولاً ناظر به سیاست‌گذاری یا اصلاحات نهادی‌اند و تحلیل‌های مفهومی یا فلسفی برای تکرارپذیری ارائه می‎نماید.
بحث و نتیجهگیری: تحلیل‌های این مقاله نشان می‌دهد بحران تکرارپذیری، برخلاف ظاهر آن، الزاماً نشانه‌ای از زوال علم یا فروپاشی روش علمی نیست؛ بلکه ریشه‌های عمیق‌تری دارد که به درک نادقیق از ماهیت تکرارپذیری، فقدان توجه به تفاوت‌های میان‌رشته‌ای، و تسلط نوع خاصی از معرفت‌شناسی علمی بر ارزیابی اعتبار پژوهش‌ها بازمی‌گردد. درواقع، آنچه بحران می‌نماید، در بسیاری موارد نتیجه تعمیم نابه‌جای معیارهای خاص یک حوزه (مثلاً فیزیک آزمایشگاهی) به حوزه‌هایی کاملاً متفاوت (مانند روان‌شناسی یا انسان‌شناسی) است. با تکیه‌بر چهارچوب زمینه‌مند این مقاله، می‌توان ادعا کرد که تکرارپذیری نه یک معیار همگانی و صلب، بلکه یک سازه متغیر، وابسته به نوع علم، هدف پژوهش، زمینه فرهنگی، و انتظارات نهادی است. بنابراین، بازاندیشی در این مفهوم می‌تواند به کاهش دوگانه‌انگاری‌ سطحی (برای مثال علم خوب = تکرارپذیر / علم بد = غیرقابل‌تکرار) کمک کند، امکان‌پذیری یک «معرفت‌شناسی تطبیقی» که به‌جای تلاش برای وحدت‌گرایی، به تمایزها احترام بگذارد را تقویت می‎کند و رهنمون‎های علمی واقع‌گرایانه‌تری برای اعتبارسنجی پژوهش‌ها پیشنهاد دهد. همان‌گونه‌که ما در این پژوهش با معرفی طیف تنوع اشکال تکرار در چند محور، پیشنهاد تجویز طیفی از سیاست‎های کنترلی و تنظیمی متناظر با هر سطح را دادیم. استفاده از این چهارچوب‎ها می‎تواند به پژوهشگران، داوران مقالات و نهاد‎های فعال در حوزه علم یاری دهد تا ملاحظات معطوف به مسئله تکرارپذیری و افزایش اعتبار دستاورد‎ها را ناظر به موقعیت هر حوزه علمی افزایش دهند. نهادهای علمی می‎توانند با تعیین راهبردها و ایجاد زیرساخت‌هایی که تکرارپذیری را زمینه‎مند می‎بینند، به طراحی راهنماها و شاخص‌های ارزیابی متناسب با هر حوزه (مطابق سه محور کنترل، پویایی و هدف) به سیاست‌گذاران کمک کنند تا از اجبار استانداردهای یکسان به همه رشته‌ها خودداری کنند. استفاده از چهارچوب طیفی در داوران مقالات برای درک زمینه پژوهش ارسالی و قضاوت واقع‌بینانه درباره تکرارپذیری نیز می‎تواند سودمند باشد.
تقدیر و تشکر: پژوهشگران بر خود لازم می‎دانند از تمامی استادانی که آنها را در انجام این پژوهش یاری کرده‌اند، کمال تقدیر و تشکر را داشته باشند.
تعارض منافع: در این پژوهش هیچ‎گونه تعارض منافعی وجود ندارد
جدول 1. طیف گونه‎های مختلف تکرار در سه محور کنترل، پویایی و هدف




محور


موقعیت آغاز طیف


موقعیت میانه طیف


موقعیت پایان طیف




کنترل


کنترل دقیق متغیرها؛ آزمایش‌های با پروتکل ثابت


کنترل نسبی متغیرها با ترکیب قواعد و انعطاف‌پذیری


کنترل اندک؛ متغیرهای پیچیده و کمتر قابل پیش‌بینی




پویایی


سیستم‌های ایستا و قابل پیش‌بینی


سیستم‌های نیمه‌پویا با پیچیدگی متوسط


سیستم‌های کاملاً پویا و پیچیده




هدف


تأیید و اثبات نتایج موجود


ترکیب تأیید و کشف نتایج جدید


کشف و اکتشاف نتایج یا پدیده‌های نو




 
جدول 2. شاخص‌های موقعیت‌یابی پژوهش‌ها در چارچوب طیفی سه‌محوره




محور


پرسش شاخص


معیارهای ممکن




کنترل


تا چه اندازه امکان کنترل دقیق بر متغیرها وجود دارد؟


- وجود پروتکل‌های دقیق آزمایشگاهی- توان بازسازی شرایط محیطی- نقش دخالت انسانی




پویایی


آیا موضوع مطالعه ماهیتی پویا و وابسته به متغیر‎های غیرقابل‌پیش‌بینی دارد؟


- تشریح ملاحظات راجع به مؤلفه‎های ناشناخته و غیرقابل محاسبه




هدف


هدف اصلی تکرار چیست؟


- آزمون مجدد نتایج (تأیید)- توسعه ایده قبلی (تلفیقی)- گشودن افق‌های جدید (اکتشافی)

کلیدواژه‌ها


  1. Amrhein, V., Greenland, S., & McShane, B. (2019). Retire statistical significance. Nature, 567, 305–307.

    Baker, M. (2016a). Is there a reproducibility crisis? Nature, 533, 452–454.

    Benjamin, D., James O. Berger, Magnus Johannesson, Brian A. Nosek, E.-J. Wagenmakers, Richard Berk, Kenneth A. Bollen, Björn Brembs, Lawrence Brown, Colin Camerer, David Cesarini, Christopher D. Chambers, Merlise Clyde, Thomas D. Cook, Paul De Boeck, Zoltan Dienes, Anna Dreber, Kenny Easwaran, Charles Efferson, Ernst Fehr, Fiona Fidler, Andy P. Field, Malcolm Forster, Edward I. George, Richard Gonzalez, Steven Goodman, Edwin Green, Donald P. Green, Anthony G. Greenwald, Jarrod D. Hadfield, Larry V. Hedges, Leonhard Held, Teck Hua Ho, Herbert Hoijtink, Daniel J. Hruschka, Kosuke Imai, Guido Imbens, John P. A. Ioannidis, Minjeong Jeon, James Holland Jones, Michael Kirchler, David Laibson, John List, Roderick Little, Arthur Lupia, Edouard Machery, Scott E. Maxwell, Michael McCarthy, Don A. Moore, Stephen L. Morgan, Marcus Munafó, Shinichi Nakagawa, Brendan Nyhan, Timothy H. Parker, Luis Pericchi, Marco Perugini, Jeff Rouder, Judith Rousseau, Victoria Savalei, Felix D. Schönbrodt, Thomas Sellke, Betsy Sinclair, Dustin Tingley, Trisha Van Zandt, Simine Vazire, Duncan J. Watts, Christopher Winship, Robert L. Wolpert, Yu Xie, Cristobal Young, Jonathan Zinman & Valen E. Johnson et al. (2018). Redefine statistical significance. Nature Human Behavior, 2, 6–10.

    Bird, A. (2018). Understanding the replication crisis as a base rate fallacy. The British Journal for the Philosophy of Science, Volume 72, Number 4, December 2021, 965–993

    Crane, D. (1967). The Gatekeepers of Science: Some Factors Affecting the Selection of Articles for Scientific Journals. The American Sociologist, 2(4), 195–201.

    Fanelli, D. (2018). Is science really facing a reproducibility crisis, and do we need it to? PNAS, 115, 2628–2631.

    Ferguson, C. J. and M. Heene (2012). A vast graveyard of undead theories: Publication bias and psychological science’s aversion to the null. Perspectives on Psychological Science, 7, 555–561.

    Francis, G. (2012). Publication bias and the failure of replication in experimental psychology. Psychonomic Bulletin & Review, 19, 975–991.

    Guttinger, Stephan (2020). The limits of replicability. European Journal for Philosophy of Science, 10(2), 1–17.

    Hudson, R. (2021). Should We Strive to Make Science Bias-Free? A Philosophical Assessment of the Reproducibility Crisis. Journal for General Philosophy of Science, 52, 389–405.

    Ioannidis, J. (2005). Why most published research findings are false. PLoS Med, 2, e124.

    John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling. Psychological Science, 23(5), 524–532.

    Lakens, D., et al. (2018). Justify your alpha. Nature Human Behavior, 2, 168–171.

    Leonelli, S. (2018). Rethinking reproducibility as a criterion for research quality. In L. Fiorito, S. Scheall, & C. E. Suprinyak (Eds.), Research in the history of economic thought and methodology (pp. 129–146). Emerald Publishing Limited.

    1. Longino, H. E. (1996). Cognitive and non-cognitive values in science: Rethinking the dichotomy. In L. H. Nelson & J. Nelson (Eds.), Feminism, science, and the philosophy of science (pp. 39–58). Kluwer Academic.Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349, aac4716.

    Pashler, H., & Harris, C. (2012a). Is the replicability crisis overblown? Three arguments examined. Perspectives on Psychological Science, 7, 531–536.

    Peterson, D., & Panofsky, A. (2021). Self-correction in science: The diagnostic and integrative motives for replication. Social Studies of Science, 51(4), 583–605.

    Popper, K. (2005). The logic of scientific discovery. Routledge.

    Romero, F. (2016). Can the behavioral sciences self-correct? A social epistemic study. Studies in History and Philosophy of Science, 60, 55–69.

    Rooney, P. (2017). The borderlands between epistemic and non-epistemic values. In K. C. Elliott & D. Steel (Eds.), Current controversies in values and science (pp. 31–46). Routledge.

    Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641.

    Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366.