סיפור אמיתי (שמות שונו מטעמי ביטחון שדה):

כשחזרנו מפראג (ראו שרשור רלוונטי בפורום מוזיקה), אמאש'לי השתמשה במפתח ספייר כדי למלא לנו אוכל במקרר.
בין השאר היה שם חומוס, כזה של מסעדות. אחרי שבוע בפראג בלי חומוס, התגעגענו (לא לארץ, לחומוס).
בכל אופן, שנים רבות, כשעוד גרתי בבית, היינו קונים חומוס במסעדת 'קוליפורום'. אחרי שעברתי לגור על אישתי באופן עצמוני, גילינו את מסעדת 'סלמונליה'. חומוס טוב לאין שיעור- יותר טרי, ומתכון שונה לגמרי (וטוב בהרבה).
אמאש'לי נותרה נאמנה ל'קוליפורום'. ב'קוליפורום' החומוס היה טרי לפעמים, תלוי מתי הגעת אליהם (רצוי מוקדם), אבל ממש לא מושקע ברכיבים באותה מידה.
בכל אופן, אנו מגיעים הביתה, ומגיעים לאכילת החומוס. "ואללה, שיחקה אותה אמאש'לי, נפלה ב'קוליפורום' על סיר טרי", אנחנו אומרים.
"אבל הם משתמשים בהרבה יותר מידי מלח לימון, ופחות מידי טחינה. סביר ולא יותר. לפחות זה טרי... ברור כשמש מדוע עברנו ל'סלמונליה'. נעבור בהזדמנות ב'סלמונליה' ונביא הביתה איזה קילו".
לאחר כמה ימים אכן הגענו לזה. "אחחחח... איזה חומוס. ב'סלמונליה' הם יודעים מה הם עושים! חלק, רך, נייטרלי, לא מתובל מידי, בלי מלח לימון (אלא לימון אמיתי), פשוט נפלא. המ-המ-המ".

טולולולו
טולולולולו
טולולולולולו

"הי אמאש'לי! בדיוק אוכלים חומוס. תאמיני לי, את לא יודעת מה את מפסידה מזה שאת קונה ב'קוליפורום'. ב'סלמונליה' הרבה יותר טוב! מה? מה את אומרת? את קונה כבר מזמן ב'סלמונליה'? ומשם הבאת לנו את החומוס כשחזרנו מפראג ולא מ'קוליפורום' כפי שסברנו????
הו, כה פתאים אנו! מי היה מאמין! זיכרוננו החושי על פני זמן הינו דבר כה מתעתע, והטיות מוקדמות משפיעות בקלות על שיפוטנו גם כן! אויה!"

כאמור, סיפור אמיתי (ומזעזע) לגמרי.
Fin

לא חסרים כאלו סיפורים, והם אכן מציפים בעיתיות שאני מניח שברורה כאן לכל הצדדים.

השאלה היא כיצד אנחנו מעבדים את הסיפורים האלו או מסיקים מהם מסקנות.

אחד מגיע למסקנה שהוא לא יכול לסמוך כלל על חושיו, אני באופן אישי הגעתי למסקנה שאני צריך להזהר.

אין ספק. ולראיה- אני עדיין קונה רק ב'סלמונליה'.
אבל לגבי גזירת מסקנות בכל דרך שאיננה ניסוי A/B מבוקר (שאינו חביב על אודיופילים, שלא לומר גסטרונומי חומוס רבים)- אני נזהר עד מאוד. זו פשוט הדרך היחידה שלי להיות נאמן עם עצמי.

רוי
בהקשרים שונים לאודיו קשה לחשוד בי שאני נגד ניסויי פלסבו כפולי סמיות....
אבל, האמת היא, שבעולם האמיתי, כזה שבו אנו נאלצים לעשות בחירות הרות גורל על בסיס יומי אין לנו אפשרות מעשית לעשות ניסויים כאלה.
דוגמא למצב כזה היא הבחירה בחומוסיה הנכונה. כאקס ירושלמי, אין לי ספק, שאין בחירה חשובה יותר מבחירת החומוסיה הנכונה. מצד שני, כאוהב חומוס, מעולם לא עלה על דעתי לטעום מצלחת ללא שיחה מקדימה עם המלצר......שלא לדבר על טעימה עיוורת (לנגב בלי לראות איפה הגרגרים....scary thought).
לכן, לפעמים, כל מה שנשאר לנו זה בחירה ללא ניסוי עיוור. למרות שהבחירה הזו אינה מהימנה באופן מוחלט והינה כפופה לשגיאות והטיות, החלק הקשה בהתייחסות אליה הוא שעדיין היא עשויה להיות נכונה ומדוייקת.

האם מסקנותיו של אלוני הן בהחלט מדוייקות? אין לי ספק שגם הוא יגיד שאולי כן.........ואולי לא.

"


איך אתה יודע שלא השתעלתי?"

לא ראיתי את היד ממהרת אל הפה, אבל מה שמעתי טוב את ה"בולשיט".

"
בפורום תפוז לפני 4-5 שנים בערך היינו עושים כל שבוע מבחנים כאלה המון באודיו והיו גם בדיקות למקרנים שיצאו ונוכחנו לדעת שאפילו בעניים ההבדל בין מקרן A לבין מקרן B אם הם לא נמצאים אחד ליד השני לפעמים קשה להבדיל. ומסקנה זו תקפה הרבה יותר לאודיו ששם ההבדלים קטנים הרבה יותר."
הי סונוס,
קראתי את חלק מהמבחנים האלה. תמיד התרשמתי מהנכונות של אנשים לנסות לבדוק באופן יסודי את הנקודות האלו (באמת). מצד שני, מרשים איך כל כך הרבה אנשים שמו כל כך הרבה זמן, על ניסויים לקויים מתודולוגית והגיעו למסקנות כל כך חד משמעיות. בתפוז קיים פער אדיר בין דרישה לניסויים עיוורים והיכולת להבין מה באמת הופך ניסויי עיוור לתקף, איך מסיקים מסקנה מניסוי כזה ואיך (אם בכלל) ניתן להכליל אותה.

אני לא מדבר על ניסויים עיוורים אלא A/B גלוי

הי נועם,

כפי שכתבתי, אני קונה וממשיך לקנות רק ב'סלמונליה', והחומוס שלהם בבירור יותר טוב Back to back כאשר משווים אותו במישרין לזה של 'קוליפורום'. רוצה לומר, אני לא טוען שאין הבדלים בין החומוסים; אני טוען שהדרך היחידה לדעת אם יש הבדל הוא 'ניסוי פלסבו כפול סמיות' כפי שהיטבת לומר.
לאורך זמן, וללא שני מושאי הבדיקה לפני הבוחן בו זמנית, מדובר לדעתי בלא הרבה יותר מניחוש (וכאמור, בלי קשר לאם יש הבדלים או לא).

אתה בא ואומר- "שבעולם האמיתי, כזה שבו אנו נאלצים לעשות בחירות הרות גורל על בסיס יומי אין לנו אפשרות מעשית לעשות ניסויים כאלה". מסכים. לפיכך, אני אומר, שבבחירות הרות גורל שכאלו (כמו להחליט לאילו תקעים נחבר את המערכת או איזה חומוס נאכל), היות שהתרשמות שאינה Back to back אינה יותר מניחוש, עדיף להסתמך על נתונים אובייקטיביים.
מהם נתונים אובייקטיביים? תורת החשמל למשל, מה יש למהנדסים (ולא לאודיופילים) לומר על העניין (גם על חומוס ), הבלים שכאלו.

על אחת כמה וכמה.

רוי,
דעתי היא, שבחירות חומוסיות, כבלים ובני זוג הן בחירות מסובכות משום שיש הרבה מאוד פרמטרים להערכתן ומשום ששיקלול הפרמטרים הוא אישי. לדעתי, הבחירה בניסויים עיוורים לגבי "בחירות הרות גורל" ) נובעת מניסיון לצמצם באופן מלאכותי את הפרמטרים הראויים לבדיקה. המציאות מורכבת יותר מבדיקת הקיבול או ההתנגדות של כבל, גם אם מישהו בפורום תפוז סבור כך - ואין לזה שום קשר, בשום צורה לוודו. למעשה הניסיון לעשות רדוקציה של מצבים מסובכים למדידות פשוטות הוא וודו מהסוג הגרוע ביותר (זו כמובן לא טענה ברמה האישית אלא ברמה העקרונית). לראיה - מסתובבים בתפוז מלא אנשים אינטליגנטיים מאוד שלא מסוגלים להקשיב לשום טיעון הגיוני בנושא אודיו בגלל שהם מחוייבים לאמונה הזו.
הטיעון של אלוני הוא טיעון צנוע בהרבה ואינו מחייב את שומעו להסכים אליו. זה לא וודו בעיני (זה שונה מההתעקשות של "מה ששמעתי זה נכון וזה נכון גם עבורך ואצלך").