כמה מוטה המדע שלנו? המקרה המעצבן של המגירה הסגורה

[2,280 מילים]

כמו כל בני האדם, למדענים יש משאבים מוגבלים, אינטרסים ותשוקות. הזמן שלהם מוגבל, הם רוצים לקדם את הקריירה שלהם והם אוהבים פידבק חיובי. יש להם חיים מחוץ למעבדה. הם אנשי משפחה, בעלי תחביבים וחובבי פנאי. הם יכולים לכלות שעות בבדיקה מדוקדקת של השערה מבטיחה ובאיסוף וניתוח נתונים, אבל בסופו של יום, הם צריכים לחזור הביתה, ולו כדי לישון. מה יעשו מדען או מדענית שעבדו במשך חודשים או אפילו שנים על השערה מסוימת, אם בסופו של דבר התברר להם שהיא שגויה?

בהכללה, במדע תוצאה שלילית פחות יוקרתיות מתוצאה חיובית. ככל שהשערה יותר חדשנית ומפתיעה, כך היא נחשבת ליותר פרובוקטיבית ומרעישה ומקבלת תשומת לב בהתאם. כלב נשך אדם והדביק אותו בכלבת זה לא חדשות. אדם נשך כלב והדביק אותו ב-HIV זה שיא הסקסיות המדעיות. כזה מקרה מתועד יכול לזכות חוקר בר-מזל בבמה בכתבי-עת מדעיים יוקרתיים, קידום בקריירה שלו, פידבק חיובי מחוקרים אחרים בתחומו ועוד.

בהשוואה לתוצאות חיובית, תוצאות שליליות זוכות להופיע באמפי בקיסריה רק כשהן סותרות את הקונצנזוס הקיים בקרב מומחים. לרוב, הן משעממות וחסרות ברק, אפילו שכולם מכירים בחיוניות שלהן. מצאנו עוד דרך לא לרפא סרטן. וופטי-דו. אין הרבה יוקרה בתוצאות שליליות, הן בדרך כלל לא יזכו למקום בכתבי עת נחשבים ולא יקדמו את הקריירה של החוקר. למדענים יש דברים אחרים לעשות, בתוך המעבדה ובחייהם הפרטיים. כשהתמריץ חלש, אין הרבה מוטיבציה לכתוב אלפי מילים בשפה טכנית יבשה. פרסום מחקר עם תוצאה שלילית מקבל עדיפות נמוכה בסדר היום של המדען הממוצע.

זה סיפור נחמד, אבל הוא רק סיפור. למזלנו, לפחות הסוף שלו מגובה בנתונים. באמת יש מוטיבציה נמוכה יותר לפרסם תוצאות שליליות, יהי הגורם שלה אשר יהא. מדענים עקבו אחרי עשרות ומאות מחקרים ביו-רפואיים מרגע תחילתם עד שנגמר שלב איסוף הנתונים ובדקו כמה מהם זכו להתפרסם כמאמר מדעי. התוצאות די חד-משמעיות. יותר תוצאות שליליות לא זכו להתפרסם בכלל בכתב עת מדעי, לפחות לא בתקופה בה עקבו אחריהם. בקרב מחקרים שכן התפרסמו, תוצאות שליליות התפרסמו יותר לאט מתוצאות חיוביות. שתי התופעות הללו, ובמיוחד הראשונה, ידועות כ"אפקט המגירה".

המגירה בשירות תעשיית התרופות

כמו שרמזתי, לא רק שיקולי הקריירה של מדענים גורמים לתוצאות שליליות להישמר במגירה. ב-2008 התפרסם מחקר שעשה הרבה מאד רעש. חוקרים אספו רשימות מחקרים שהגישו חברות תרופות למנהל המזון והתרופות האמריקאי (ה-FDA) על 12 תרופות נוגדות דיכאון שאושרו לשימוש על ידי ה-FDA בין השנים 1987 ו-2012. בפישוט, ה-FDA סיווג כל אחד מהמחקרים שהוגשו לו כחיובי אם הוא תומך ביעילות של התרופה נגד דיכאון, כשלילי אם הוא לא וכמפוקפק אם התוצאות שלו מעורבות ורב-משמעיות.

החוקרים זיהו 74 מחקרים ברשימות ה-FDA, מהם 38 היו חיוביים ו-36 שליליים או מפוקפקים. הם ניסו לבדוק מי מהמחקרים האלו פורסם בסופו של דבר. מה שהם מצאו די מדהים, ומסוכם ויזואלית בתרשים בצד. מלבד אחד, כל המחקרים החיוביים פורסמו. מתוך המחקרים השליליים או המפוקפקים, הרוב לא פורסמו בכלל. רק שלושה פורסמו באופן שמציג את תוצאותיהם בצורה נאמנה לאופן בו ה-FDA סיווג אותם. 11 המחקרים הנותרים פורסמו עם ספין, כך שהם יראו כחיוביים אף על פי שהם לא.

בבירור חברות התרופות פרסמו את התוצאות שגורמות לתרופות שלהם להיראות הכי טוב. לתופעה הזאת יש השלכות אמיתיות על האופן בו נתפסת היעילות שלהן. עבור כל אחד מ-12 נוגדי הדיכאון שנבחנו במחקר, החוקרים בדקו כמה הוא יעיל הוא נראה לאור כל המחקרים שהיו בידי ה-FDA לעומת כמה יעיל הוא נראה רק לאור המחקרים שפורסמו בספרות. בכל אחד מהמקרים, הסתמכות רק על המחקרים שפורסמו גרמה לתרופות הללו להיראות יותר יעילות, כאשר חצי מהן נהנו מעליה לכאורה של כ-30 אחוז או יותר ביעילות המדווחת.

איך זה קרה? הציניקן שבתוכי חושב שזה כנראה טריק שיווקי של חברות התרופות שמבוסס על נגישות המידע. בדרך כלל, את רשימות ה-FDA אפשר להשיג רק אחרי קרב ביורוקרטי קשה נגד דוקטורים לניירת. בהשוואה לזה, הספרות המדעית נגישה יותר והיא מקור המידע העיקרי של רוב הרופאים והחוקרים הרפואיים. במצב כזה, פרסום סלקטיבי של מחקרים היא אחלה דרך לגרום לתרופה להיראות יותר יעילה משהיא באמת בעיני רופאים. לנו, הצרכנים, זה לא אופטימלי, בלשון המעטה. אנחנו צריכים רופאים שמיודעים היטב לסגולות ולמגרעות של תרופות כך שיוכלו להחליט באופן מושכל איזה מהן הכי יתאימו לנו המטופלים.

תעשיית התרופות, בקטנה

בשלב הזה, אני יכול להפוך את הרשומה הזאת לנאום תוכחה נגד הקפיטליזם החזירי הנפוץ במדינות המערב. בגללו חברות מסחריות מוכנות לחתוך פינות כדי לעשות כסף, גם אם הסכין חותכת בבשר החי של חולים. לחילופין, אני יכול לטעון שבכלכלת שוק חופשי אמיתית זה לא היה קורה. חברות התרופות נאלצות לחתוך פינות בגלל חסמים רגולטיביים שחונקים את הצמיחה שלהן. אני יכול לומר את כל זה, אבל אשאיר את זה לאנשים שיקראו רבע מהרשומה ויחליטו שהיא תומכת באג'נדה החביבה עליהם. בפועל, המציאות יותר מורכבת ולדעתי אצא אידיוט אם לא אתייחס אליה במפורש.

חברות התרופות הן מקור לידע מעשי אדיר שלא זמין בספרות המדעית וגם לא ממש יכול להיות שם. שנים של ניסיון מעשי בפיתוח תרופות, אפשרו להן לצבור ידע מעשי וכוח אדם שמנוסה בשימוש בידע הזה. בנוסף, יש להן את מיליארדי הדולרים הדרושים כדי לממן את תהליך הפיתוח של תרופות. קשה מאד לפתח תרופה בלי ידע מעשי, כוח אדם מנוסה ומשאבים כספיים. גם ממשלות לא יכולות בהכרח להשקיע כל כך הרבה כסף בפיתוח תרופות. לחלק עוגה תקציבית סופית במסיבת יום הולדת מלאה בילדים שרוצים עוד – זאת לא מטלה כל כך קלה כמו שזה נשמע בטוקבק בפייסבוק.

כאן מתחיל הברוך. לחברות התרופות יש גם ידע מעשי, גם כוח אדם מנוסה וגם הרבה משאבים בשיווק תרופות. אין טריק שיווקי שהן לא מכירות, כשר או לא, אין טרנד אפנתי שהן לא מנצלות ואין גבול ליצירתיות שלהן. לצערנו, קיים מתח בין הסטנדרטים הדרושים לפיתוח תרופה ואלו שדרושים לשיווק שלה. בתהליך הפיתוח המטרה היא ליצור תרופה שעובדת, כזאת שהתועלת שלה למטופל גדולה מהנזק שלה. מה התרופה עושה בפועל, האמת לגביה, היא מה שחשוב. לעומת זאת, מה שחשוב בשיווק הוא איך התרופה נראית. האמת יכולה להועיל, אבל אם היא לא – היא טרף קל. זה מתכון לצרות.

במצבים כאלו אני נזכר במילים של סיריוס בלאק זיכרונו לברכה. "העולם לא מחולק לאנשים טובים ולאוכלי-המוות", הוא אמר. היושרה המדעית של חברות התרופות היא לא נושא שבו אפשר לומר דברים נחרצים מדי. מצד אחד, אי אפשר להיפטר מהן, כי אנחנו כאנשים צריכים אותן. מצד שני, יש להן אינטרס כלכלי מובהק למקסם מכירות, גם על חשבון איכות המוצרים שלהן. השורה התחתונה היא שאנחנו כאנשים צריכים למצוא דרך לחיות בשלום עם שני צדי המטבע – למקסם את מה שאנחנו מקבלים מהשירות שחברות התרופות נותנות לנו ולמזער את הנזקים מטכניקות השיווק שלהן. רגולציה היא שם המשחק.

חזרה למגירה

דרך אחת לעשות בדיוק את זה היא חובת רישום של מחקר ברשם מחקרים. הרעיון הוא לדרוש מכל מי שעורך ניסוי, במיוחד ניסוי רפואי, לרשום אותו במאגר נתונים פומבי לפני תחילת איסוף הנתונים. התזמון של הרישום קריטי. אם חוקר יכול לאסוף נתונים, לראות שהוא מקבל תוצאה חיובית, ורק אז לרשום את המחקר במאגר – הרישום במאגר לא באמת פותר את בעיית אפקט המגירה. לכל היותר, הוא יוצר עוד קצת ניירת ביורוקרטית על עורכי המחקר. תודה, אבל לא תודה.

ברפואה יש לא מעט רשמי מחקרים כאלו, הידוע ביותר שבהם הוא ClinicalTrials.gov האמריקאי. רשמים כאלו קיימים גם מחוץ לרפואה. אחרי הכל, אפקט המגירה לא מטריד רק חוקרים קליניים. חוקרי מדע בסיסי מכל התחומים, לרבות מדעי החיים, פסיכולוגיה וסוציולוגיה, יכולים לרשום את המחקר שלהם ברשם המחקרים של Open Science Framework. הרשם הזה לא מציע רק שירותי רישום, אלא יכולת לשתף נתונים גולמיים וממשק אינטרנטי שעוזר לארגן ולנהל פרויקט מחקר ארוך-זמן. זה לא התמריץ היחיד לרישום. המרכז למדע פתוח מחלק אלף דולר לאלף חוקרים שיעמדו בקריטריונים של "אתגר הרישום המוקדם" שלו.

כל הרשמים הללו הם פרויקטים מבורכים, אבל בפני עצמם הם לא שווים הרבה. דרושים תמריצים שיגרמו לחוקרים לרצות לרשום את המחקר שלהם. אחרת, הם לאניני טעם ומיטיבי לכת בלבד. ב-2014 הועדה הבינלאומית של עורכי כתבי-עת רפואיים (ICMJE) אימצה רישום מוקדם של מחקרים כתנאי סף לפרסום מחקרים בכתבי העת החברים בה. המדיניות הזאת תקפה לפחות לכל המחקרים שבודקים את היעילות של תרופות על בני אדם. נכון להיום למעלה מאלף כתבי עת מדעיים אחרים אימצו מדיניות דומה. גם גופי רגולציה נמצאים במסיבה. החל מ-2007 ה-FDA דורש רישום מוקדם של מחקרים קליניים כתנאי סף לאישור השיווק של תרופות חדשות.

במדע, כמו במדע, לא מעט חוקרים דואגים להזכיר לכתבי העת את ההבטחות שלהם בצורה הכי חנונית שאפשר – עריכת מחקרים שבוחנים את המחויבות שלהם לרישום כתנאי סף לפרסום. חוץ מזה, אני מאד אוהב את האמרה "אמנם קל לשקר עם סטטיסטיקה, אבל אפילו יותר קל לשקר בלעדיה".

בשלב הזה דברים מתחילים להיות יותר אפורים. מצד אחד, אפשר להסתכל על חצי הכוס המלאה. מחקר שפורסם ב-2013 בחן את המחויבות למדיניות הרישום המוקדם בחמישה מכתבי העת הרפואיים הכי יוקרתיים. החוקרים העריכו את אחוז המחקרים שפורסמו בכתביי העת הללו שאכן נרשמו מוקדם מתוך המחקרים שלגביהם תקפה מדיניות ה-ICMJE לרישום מוקדם. אחוז המחקרים הללו הלך ועלה בין השנים 2003 ו-2009, ואפילו הגיע לשיא של כמעט 90 אחוז ב-2008. עדיין יש עבודה לעשות, כדי להקטין אפילו יותר את ממדי התופעה, אך התוצאות הללו מאד מעודדות. הן מהוות שיפור של המצב בעבר.

מצד שני, אפשר להסתכל על חצי הכוס הריקה. מחקר שפורסם בשנה שעברה בחן את האכיפה של המדיניות הזאת בכתבי העת הרפואיים מבית BMC, סדרה של כתבי עת פחות יוקרתיים. הוא איתר את כל המחקרים שפורסמו בכתבי העת הללו ב-2013 ובדק האם הם נרשמו. התוצאה מאכזבת כמו קלקול קיבה מסושי. רק 30 אחוז מהמחקרים הקליניים נרשמו לפני שהתחיל איסוף הנתונים (33 מתוך 72 מחקרים).

לחץ, לחץ, לחץ

במבט מלמעלה, התוצאות הללו מעורבות, לא רעות לגמרי או טובות לגמרי. כתבי עת מראים שיפור במחויבות לרישום מחקרים מוקדם, אבל יש עוד הרבה מקום לשיפור. מחקרים מהסוג הזה עוזרים. הם מאפשרים, למי שאכפת לו מיושרה מדעית, לדעת מה מצב הדברים כיום. חשוב מזה, הם שמים את הלחץ על עורכי כתבי העת. לחץ הוא תרופה מצוינת לעצלנות, שאננות ועיגול פינות. תמריצים זה חשוב, כבר אמרתי?

רשמי מחקרים מאד טובים ביצירת נקודות לחץ. כל מה שדרוש הוא מישהו שמוכן ללחוץ עליהם, וכאלו יש בשפע. אחד הגיבורים שלי בנושא הזה הוא בן גולדייקר, רופא בריטי שעוסק כבר שנים במלחמה באפקט המגירה ובשאר תופעות קלוקלות שפוגעות באיכות הספרות הרפואית. הוא אפילו כתב ספר שלם ומאד מוערך על הטריקים המלוכלכים בעזרתם חברות התרופות מנסות להטות לצורכיהן את התהליך המדעי.

בסוף שנה שעברה, גולדייקר ואנה פאוול-סמית פרסמו תוכנה אוטומטית שמנתחת את נתוני רשם המחקרים ClinicalTrials.gov, אחד מרשמי המחקרים הכי גדולים בעולם. התוכנה מאתרת את המחקרים שרשומים כמחקרים שהושלמו ובודקת האם התוצאות שלהם פורסמו בספרות המדעית. הנתונים והתוצאות שלהם זמינים באתר מאד נאה שאתם יותר ממוזמנים לבקר בו. השורה התחתונה היא שמתוך כמעט 26 אלף מחקרים שהושלמו, כמעט 12 אלף לא פרסמו. אלו 45 אחוז מהמחקרים שהושלמו. זאת כמות אדירה של נתונים שנאספה אך לא זכתה לראות אור.

כבר נגעתי בפוטנציאל של אפקט המגירה לפגוע ביכולת של רופאים לתת טיפול אפקטיבי, אבל זאת לא הסיבה היחידה שאכפת לי מהנתונים החסרים האלו. סיבה נוספת היא שכמות הכסף והזמן שעומד לרשותם של מדענים היא סופית. אם מישהו כבר בדק השערה וגילה שהיא שגויה – מדענים צריכים לדעת על זה, כדי שיוכלו להשתמש בזמן שלהם באופן מועיל יותר. אפקט המגירה יכול לגרום לבזבוז זמן מיותר של חוקרים בכל תחום מדעי, לא רק ברפואה.

מעבר לזה, יש סיבה שהרבה יותר חשובה לי ורלוונטית במיוחד לרפואה. אלו נתונים חסרים ממחקרים קליניים בבני אדם. אלו מטופלים שמשמשים כחולדות מעבדה לטובת הכלל. הם השקיעו זמן ומאמץ, ולפחות חלקם יכלו לבחור שלא לעשות את זה. לפעמים הם זוכים לתשלום על ההשתתפות שלהם, אבל לא תמיד. לפעמים, בזכות ההשתתפות במחקר קליני הם מקבלים טיפול רפואי טוב יותר, אבל שוב לא תמיד. לא לפרסם את הנתונים האלו שקול לזריקת ההשקעה של המטופלים הללו לים. זה אי-צדק שמגרה לי את בלוטת הסימפתיה עם נייר זכוכית.

לכן, הייתי די עצבני, עד כמה שרגוע פתולוגי כמוני יכול להיות עצבני, כשגיליתי שיש זווית ישראלית למחקר של גולדייקר ופאוול-סמית. התוכנה שלהם מאפשרת לאתר בקלות את האשמים הגדולים בשמירת נתונים מדעיים במגירה. הייתי מאד מופתע כשגיליתי שאחד האשמים הגדולים הוא בית חולים רמב"ם. 90 אחוז מהמחקרים שהוא ערך לא הגיעו לספרות, מקום שלישי ומאד לא מכובד בקטגוריה הזאת. אלו 27 מתוך 30 מחקרים (תוכלו למצוא רשימה שלהם כאן) שמייצגים נתונים מיותר מאלף חולים.

זה רומז שכולנו יכולים לעשות משהו לגבי אפקט המגירה. יש לנו יכולת משלנו ללחוץ על המעורבים בעניין. אם אתם או מישהו שאתם מכירים השתתף במחקר קליני שתוצאותיו עוד לא התפרסמו, צרו קשר עם הרופאים שערכו אותו. שאלו אותם מה בדיוק מעכב את הפרסום. הזכירו להם את ההשקעה של כל אותם מטופלים שהשתתפו במחקר. דברו איתם על הסיבות האחרות שבגללן חשוב לפרסם את תוצאות הניסוי, גם אם הן שליליות. גם אתם יכולים להיות תמריץ שיעזור למיגור אפקט המגירה.

אפקט המגירה – לאן?

אפקט המגירה כאן בימינו ועוד לא מוגר לחלוטין. זה יכול לעורר ספק מדכא וחשוב להדגיש מהו מושא הספק הזה. אין לי ספק שאנשים יכולים להשתמש ברשומה הזאת כדי לנגח ממצאים מדעיים שגורמים להפעלת-יתר של בלוטת האג'נדה שלהם. מכחישי אבולוציה, מעודדי מחלות למיניהם, מכחישי שינוי אקלים וסתם בעלי אג'נדה ג'נריים – כולם יצטרכו למצוא דרך אחרת להתייחס בביטול לממצאים מדעיים שהם לא אוהבים. אפקט המגירה לא יעזור להם. הקונצנזוס על הנושאים הללו מבוסס על גוף נתונים אדיר, מעודן ומפורט שנאסף ונותח לאורך שנים רבות על ידי צוותים שונים של מדענים שהתכנסו למסקנה זהה באופן בלתי תלוי אחד בשני.

מושא הספק האמיתי הוא קצב ההתקדמות הממוצע של מדע. ספציפית, האם במצב היום מדע מצליח בממוצע להגיע לחקר האמת מספיק מהר, למרות אפקט המגירה? אם לוקח בממוצע עשרות שנים עד שתוצאה ראשונית שגויה אך סקסית נזרקת אל פח האשפה, בבירור מתבזבזים יותר מדי כסף וזמן של חוקרים מיומנים. משהו דורש תיקון. אם הממוצע הוא חודשים בודדים, כנראה אפשר לחיות עם זה. המספר האמיתי בבירור נמצא איפשהו בין שני המספרים הללו, אך מהו בדיוק? אני מרגיש שקצב ההתקדמות הממוצע הרבה יותר קרוב לגבול התחתון ואני לא לבד בתחושה הזאת. עדיין, זאת תחושה. הספק בולע הכל.

אין לי מענה מלא לספק הזה, אך אולי תהיה ביום מן הימים. בעולם המדע נפוצה תרבות שמעריכה ביקורת עצמית, מודעות עצמית, חתירה לאמת והוגנות. ברוח הזאת, תחום מחקר שלם מוקדש לחקר אפקט המגירה ושאר הטיות של המחקר המדעי. המטרה היא לייעל, לשפר ולהאיץ את חקר העולם הטבעי. זה מצליח, לפחות חלקית. החוקרים בתחום הצליחו לעורר מודעות בקרב מדענים לתופעות כמו אפקט המגירה וגם הצליחו ליישם כמה פתרונות חלקיים, כמו רשמי מחקרים שהזכרתי ברשומה הזאת ממש. כל מה שנותר לי זה להחזיק להם אצבעות, לעודד, לעקוב ולא להפריע.

מקורות

כל המקורות משולבים כלינקים ברשומה עצמה. החלק הזה מכיל אזכורים מפורשים של המקורות מתוך הספרות המדעית בלבד. המקור הראשון מוזכר כאן בשביל השעשוע שלי. מחקרי מטא של מחקרי מטא זה כל כך מטא. פעמיים כי טוב.

Dubben, H.-H., & Beck-Bornholdt, H.P. (2005). Systematic review of publication bias in studies on publication bias. BMJ, 331(7514), 433 LP-434.

Dwan, K., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias — An Updated Review. PLOS ONE, 8(7), e66844.

Harriman, S. L., & Patel, J. (2016). When are clinical trials registered? An analysis of prospective versus retrospective registration. Trials, 17(1), 187.

Huser, V., & Cimino, J. J. (2013). Evaluating adherence to the International Committee of Medical Journal Editors’ policy of mandatory, timely clinical trial registration. Journal of the American Medical Informatics Association, 20(e1), e169–e174.

Turner, E. H., Matthews, A. M., Linardatos, E., Tell, R. A., & Rosenthal, R. (2008). Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. New England Journal of Medicine, 358(3), 252–260.

Powell-Smith, A., & Goldacre, B. (2016). The TrialsTracker: Automated ongoing monitoring of failure to share clinical trial results by all major companies and research institutions [version 1; referees: 2 approved]. F1000Research, 5(2629).