הרשם

חיזוק שלמות המחקר: שיפור ביקורת עמיתים בהוצאה לאור

עם תחילת שבוע סקירת עמיתים, מייקל ברבר שוקל כמה התקדמות עדכניות לשיפור תהליכי ביקורת עמיתים במערכת ההוצאה לאור האקדמית.

השמיים הנושא של שבוע ביקורת עמיתים 2022,בחינת החשיבות של סקירת עמיתים בתמיכה בשלמות המחקר,' מגיע בזמן. מגיפת COVID-19 הוכיחה את כוחו של המדע. בעוד שההפצה המהירה של ממצאים מדעיים הייתה קריטית, זה היה מלווה בסיכונים משמעותיים. ה סיפור אוסטרלי של הידרוקסיכלורוקין הוא דוגמה חיובית (אך למרבה הצער לא היחידה) לאופן שבו מדע לקוי, שנבדק ומועבר בצורה גרועה, יכול לתדלק מידע מוטעה ולגרום לנזק ממשי. תשומת לב ציבורית ופוליטית אינטנסיבית כל כך הגבירה את ההתמקדות בתהליכים ובפרקטיקות העומדות בבסיס שלמות המחקר, שביקורת עמיתים היא קריטית לגביהם.

באופן מסורתי, עמיתי ביקורת נחשב ל'תקן הזהב' של פרסום מדעי. עם זאת, עוד לפני הסוגיות שהעלתה המגיפה, הועלו היעילות והקיימות של ביקורת עמיתים בספק. החזרות של פרסומים שנבדקו עמיתים הולכים וגדלים. רבים, כגון מקרה וייקפילד הידוע לשמצה ואת האחרון שערוריית הידרוקסיכלורוקין של לאנסט, הכולל הונאה חמורה, היה צריך להיקלט בביקורת עמיתים ולעולם לא לפרסם. הם מייצגים כשלים משמעותיים של המדע ושל מערכת אבטחת האיכות שלו.

עיתון מדי פעם לאחרונה, חיזוק שלמות המחקר: התפקיד והאחריות של הוצאה לאור, של מועצת המדע הבינלאומית פרויקט על עתיד ההוצאה לאור המדעית, הציע שתי המלצות לשיפור סקירת עמיתים לפני פרסום, ובכך לחזק את שלמות המחקר ברשומה שפורסמה:

  1. מנדט פרסום משותף של נתונים. נסיגות רבות מבוססות על בעיות נתונים. אימוץ אוניברסלי של פרסום משותף של מאמר והנתונים הבסיסיים יהווה רפורמה משמעותית ובוודאי יבטל את המקרים הקשים ביותר של הונאת נתונים. לאחרונה הנחיית מדיניות מהמשרד למדיניות מדע וטכנולוגיה (OSTP) בארה"ב המחייב מחקר במימון ממשלת ארה"ב, כולל נתונים, להיות זמין באופן חופשי בפרסום עד 2025 צריך להיות משנה משחק. גם תרבות המחקר תצטרך להשתנות: א ניתוח עדכני של השקפות חוקרים על שיתוף נתונים הגיע למסקנה ש'חוקרים רבים אומרים שהם ישתפו נתונים - אבל לא.' כתבי עת וסוקר עמיתים צריכים להתחיל בדחיפות להתעקש שקבלה מחייבת פרסום משותף של הנתונים הבסיסיים. כפי שטען טים ויין, מייסד DataSeer, מתן אפשרות לבחון נתונים עלולה להפחית את הפוטנציאל של ייצור נתונים לעשות מחקר ישר "הנתיב של ההתנגדות הקטנה ביותר".
  2. להגביר את המיקוד על הפוטנציאל עבור יכולת שכפול/שחזור. כפי שנהוג ברוב כתבי העת, סקירת עמיתים מנסה לאזן בין הערכות של "החידוש" או "החשיבות" של התוצאות והיכולת המתודולוגית של המחקר המדווח. יושרה מחקרית עלולה לסבול כאשר החידוש הופך להיות דומיננטי מדי. השופטים צריכים, במידה המרבית האפשרית, לוודא כי יינתן מספיק פרטים במאמר הנבדק על השיטות המעורבות, ובמידת הצורך, זמינות הנתונים כך שניתן לשכפל את העבודה ולאשר או לבטל את התוצאות. סקירת עמיתים לפני פרסום היא רק לעתים רחוקות, אם בכלל, פסק דין סופי או סופי. א דו"ח 2019 מהאקדמיות הלאומיות בארה"ב הדגיש:'ממצאים חוזרים ונשנים של תוצאות דומות נוטים לאשש את אמיתותה של מסקנה מדעית מקורית, ובאותה מידה, כשלים חוזרים ונשנים באישור מעמידים בספק את המסקנות המקוריות.' זה וצורות אחרות של ביקורת עמיתים לאחר פרסום מהוות יסוד לתהליך המדע. עם זאת, צצות יותר מדי דוגמאות, כמו זו דוגמה ממחקר הביולוגי, להציע ביקורת עמיתים זו לפני הפרסום נכשל לעתים קרובות מדי כדי להבטיח שזה אפילו אפשרי. סוקרים צריכים גם להכיר באופן פעיל את חשיבותם של מחקרים רפליקטיביים ותוצאות אפסיות ולעודד פרסום.

ההתאמה של בדיקות סטטיסטיות היא לעתים קרובות בעיה, במיוחד עבור נתונים מורכבים. ובכל זאת, רבים עורכים אינם משתמשים במומחים סטטיסטיים כדי להעריך מאמרים שהוגשו. סוקרים אחרים לא צריכים להסס להמליץ ​​על ביקורת כזו.

לטכנולוגיה יש תפקיד בשיפור ביקורת עמיתים. בזמן כלי מיון אוטומטיים עדיין לא יכולים להחליף מבקרים אנושיים, הם יכולים לתמוך בהם ויש לנצל אותם בצורה פעילה יותר. עם זאת, אחד השימושים הקונסטרוקטיביים ביותר בכלים כגון ScreenIT, הוא על ידי מחברים לפני הגשתו כדי לשפר את המאמר שלהם, כולל הערכת יכולת השחזור, כמו בדוגמה זו של מסך של הדפסות מוקדמות של COVID-19. זה לא יהיה מופרך שכתבי עת ומבקרים ישאלו אם עבודה שהוגשה עברה מסך כזה. מבקש מחברים להשלים הגשה מוקדמת רשימה יהיה עוד פיתוח מועיל. יהיה צורך להתאים רשימות ביקורת כאלה להבדלים משמעתיים, אבל שוב הכוונה צריכה להיות לעודד תרגול טוב יותר במקום לזהות רשלנות.

רפורמות אחרות של ביקורת עמיתים אפשריות ואכן רצויות. פתח ביקורת עמיתים שבו סוקרים אינם שומרים על אנונימיות היא אפשרות אחת. א מחקר 2020 סיכם כי

"סקירת עמיתים פתוחה... מפחיתה הטיה, משפרת את השקיפות והאמינות בתהליך השיפוט. הם מעמידים את הסוקרים באחריות על קבלת מאמרים לפרסומים מלומדים."

הפיתוח של טקסונומיות של ביקורת עמיתים מצדיק תמורה אקטיבית. טקסונומיות כאלה יכולות לאפשר דירוג או תג אובייקטיבי יותר של כתבי עת ושל שיטות ביקורת עמיתים ואיכותם.

בסופו של דבר נדרשת רפורמה יסודית יותר - ולמעשה רדיקלית - בפרסום מדעי כדי לספק מערכת בהתאם ל- שמונה עקרונות שנוסחו על ידי מועצת המדע הבינלאומית. זה ייקח זמן ושינוי תרבותי ניכר. עד שזה יקרה, כתבי עת יישארו חיוניים להפצת תוצאות מדעיות. לכן, הכרחי שכולם - מחברים, סוקרים ועורכי כתבי עת - יעשו הכל כדי לשפר ביקורת עמיתים ולהבטיח שהרשומה שפורסמה תהיה מהימנה ככל האפשר. שבוע ביקורת עמיתים 2022 זו הזדמנות לקדם סדר יום קריטי זה.

מייקל נ. ברבר

מייקל נ. ברבר הוא פרופסור אמריטוס, AO, FAA, FTSE, וחבר בוועדת ההיגוי לפרויקט של מועצת המדע הבינלאומית עתיד ההוצאה לאור המדעית.

תמונה על ידי ג 'ייסון וונג on Unsplash