מפת הספר

זה אינו ספר קלאסי על BI העוסק בהקמת סביבת נתונים ודו"חות. הדגש כאן הינו על החלטות, יתכן אפילו חד פעמיות שצריך לקבל, ועל מדידה שתסייע בקבלת החלטות מיטביות מבוססות נתונים. הנתונים נאספים פעמים רבות, במיוחד עבור החלטה זו. הספר כולל עקרונות אך גם חישובים מתמטיים, נוסחאות ומודלים; החישובים למיניהם לא הוכנסו לסיכום. הסיכום מכסה את עיקר המסרים והעקרונות ואינו מחייב ידע מתמטי לקריאתו. מי שנפשו חפצה בהעמקה, או בלימוד המודלים המתמטיים מוזמן לקרוא את הספר, ולפנות לנספחיו ולאתר המלווה howtomeasureanything.com הכוללים מסמכים וקבצים מסייעים למימוש מודלים אלו.
קריאה מהנה!

תפיסת המדידה

מנהלים רבים חיים תחת ההרגשה, שנושאים רבים לא ניתנים למדידה. דברים לא מוחשיים, דוגמת ערכו של שירות, איכות או מוסר עובדים, נתפסים כ"לא מדידים" ובעקבות זאת, רוב ההחלטות שמנהלים מקבלים, מבוססות הרבה פחות על נתונים, מאשר היה ניתן לצפות.
אם כתוצאה מכך מתקבלות החלטות פחות טובות, הרי שיש לכך מחיר בעלויות, בהקצאה של משאבים, בדחיית רעיונות טובים ועוד. התפיסה המוצעת בספר היא שכל דבר ניתן למדידה, אם בוחנים אותו בדרך הנכונה.
הנחת היסוד הראשונית המלווה את הספר, היא שמודדים כדי לקבל החלטות טובות יותר (בניגוד לתפיסת מדידה כחלק מרוטינה שוטפת).
לעיתים, ניתן למדוד משהו פשוט יותר, ומן המסקנה שלו, להסיק מסקנות לגבי הנושא הנבחן. דוגמא לכך היא מקרה המובא בספר על ילדה בת עשר שרצתה למדוד עד כמה הילרים אכן בעלי "מגע תרפי" ויכולים לעבור על גופו של אדם מבחוץ ולהסיר ממנו אנרגיות שליליות היא ראיינה 21 הילרים כאלו, ושאלה אותם, האם יוכלו לדעת רק דבר אחד פשוט- האם יש מול ידם משהו בעל אנרגיה. כולם ענו בחיוב. היא ביצעה ניסוי פשוט שבו הושיבה אותם מאחורי פרגוד, וביקשה שירימו את שתי כפות ידיהם. בהתאם לתוצאות מטבע שזרקה, הרימה היא את יד  ימינה או יד שמאלה אל מול היד המתאימה של ההילר. ההילרים התבקשו להגיד כל פעם, מול איזו יד שלהם ניצבת ידה היא. התוצאות היו קרוב ל- 50%, דהיינו, כמעט כמו ניחוש סטטיסטי גרידא. מכאן, יכלה אותה ילדה, אמילי, להסיק לגבי היכולת כולה. מחקרה התמים התפרסם בירחון אקדמי נחשב JAMA וזיכה אותה בפרסים ופרסום. הרעיון שעומד מאחורי המדידה כאן, שלעיתים, כדי לפסול משהו, ניתן לפסול משהו פשוט יותר, וממנו להסיק.
דוגמא אחרת המובאת בספר נוגעת במדידה מדויקת, אך תוך שימוש בטכניקת העברה: מדידה מעולם תוכן אחר, שממנו ניתן להשליך על העולם הרצוי. בספר מוזכרת דוגמא ידועה של חישוב גודלו של כדור הארץ ע"י אירתוזנס (יווני מהמאה השלישית לפני הספירה) ע"י חישובי אורכו של צל במקומות שונים בזמן מוגדר.
דוגמא שלישית מתייחסת לתיחום. לעיתים לא צריך באמת למדוד במדויק, אלא מספיק לתחום את התוצאה: "אני יודע שכמות הפסנתרנים במישיגן היא בין X ל- Y". ואיך? על ידי מדידת כמות מתקני הפסנתרים (דפי זהב), הערכת זמן עבודה ממוצע של כל אחד וכמות תיקונים ליום.
הרעיון ברור: המדידה יכולה להיות ישירה, יכולה להיות הסקתית ויכולה להיות הערכה תחומית. כל עוד אנו מצליחים להקטין את אי הוודאות (לעיתים חלקית, לעיתים באופן מוחלט) נוכל לקבל החלטה טובה יותר, והרווחנו את שרצינו. המדידה מוגדרת כמשהו המקטין את אי הוודאות על סמך בחינה/ הסתכלות.

צידה לדרך:

• כדי להצליח, צריך לא לחשוש שמא לא ניתן למדוד; צריך להבין היטב מה רוצים למדוד; וצריך להכיר טכניקות מדידה.
• בדרך כלל יש לנו יותר נתונים ראשוניים משאנו מעריכים.
• בדרך כלל הערכת מומחים פחות טובה משהיינו מצפים.
•  בדרך כלל צריך הרבה פחות נתונים משאנו חושבים, לטובת המדידה.
• להיזהר לא ליפול למלכודת של מדידת הנושאים שקל למדוד אותם.

חזרה

היערכות ותכנון

היות ו- Hubbard, מחבר הספר, לא מדבר על מדידה רוטינית, הרי שכאשר רוצים לקבל החלטה (למשל- האם כדאי לשדרג מערכת קיימת בארגון או עד כמה הלקוחות מרוצים ממוצר) יש לבצע היערכות ותכנון מקדימים.

להיערכות מספר היבטים:
1. משאבים:
    הבנת היקף כספי ומשמעות של ההחלטה המדוברת. גזירת התקציב האפשרי לצורך המדידה.
2. למידה:
   למידה ראשונית של התחום לייעול תהליך המדידה (בוודאי אם מבוצע ע"י מומחה למדידה).
   הנ"ל ע"י קריאת דו"חות קיימים וביצוע ראיונות.
3. מומחים:
   זיהוי מספר מומחים בהם יהיה ניתן להיעזר בעת המדידה. בד"כ 4-5 מומחים (ולכל היותר 20).
   נכון שנכתב כי המומחים מעריכים על פי רוב, לא טוב כל כך (וכנראה פחות מאשר מודלים

   סטטיסטיים טובים),אך מומחים קריטיים לתהליך היות והם מסייעים להגדיר מרכיבי מדידת

   ומסייעים להגדיר משקלות (חשיבות המדדים).
4. תכנית עבודה:
    קביעת תכנית עבודה (תהליך) והיערכות (תיאום אנשים ויומנים) לשלב הבא- סדנאות למידול ההחלטה.

חזרה

מידול ההחלטה
שלב זה של מידול ההחלטה הינו שלב מרכזי בהפיכתה של המדידה לישימה. יתר על כן, בשלב זה נקבע מה נמדוד.
הבעיה המרכזית של רובנו, בבואנו לקבל החלטות הנוגעות לתחומים "רכים" אינה בכך שקשה למדוד תחומים אלו עקב "רכותם", אלא, שמבחינתנו התחומים לא מוגדרים טוב דיים; זאת, היות ומדובר במושגים מופשטים.

שלב מידול ההחלטה עוסק בפירוק ההחלטה ממושג מופשט לגורמים קונקרטיים.
אם אנחנו, לדוגמא, מבקשים למדוד איכות, יתכן ונרצה לפנות להגדרותיו של Deming לגבי מהותה של איכות. Deming היה סטטיסטיקאי, ולכן הגדרותיו היו מעשיות. Deming הגדיר איכות כמידת העקביות עם הציפיות, ולכן, הדרך לבחינת איכות תהליך ייצור, נגזר מכאן, והוא נמדד ע"י תדירות תקלות שונות של מוצרים, שאינם הנורמה שהוגדרה.

כדי לפרק את התחום למרכיביו, יש לחזור להחלטה אותה מבקשים לקבל. למה אנחנו מודדים? מה רוצים להבין/ להשיג / להחליט?
כאשר קושרים את התחום להחלטה, קל יותר לנתח את המרכיבים השונים, ולתעדף את אלו המרכזיים; אלו החשובים ביותר להחלטה.
הדרך המומלצת למימוש מתודולוגיה זו היא על ידי סדרת סדנאות (3-5 בדרך כלל) עם מנהלים, מומחים וגורמים נוספים הקשורים בתחום ל:

1. הגדרת ההחלטה הרצויה
2. הגדרת מרכיבי התחום
3. קביעה מה אנחנו כבר יודעים לגבי הנושא ואיפה אי הוודאות
4. תעדוף הנושאים שיותר חשוב למדוד כי משפיעים יותר.

דוגמא:
הנושא שהוגדר- מדידת "IT SECURITY"- אבטחת מידע.
ההחלטה בה צריך לתמוך- האם נכון להשקיע בשיפור מערכות האבטחה כדי להקטין את תדירות ואת השפעת וירוסים מדבקים?
לא ניכנס לכל פרטי הלמידה, אך הנושאים והתוצאות אליהם הגיעו בתהליך הינן:

• כמות וירוסים רוחביים בסוכנות בשנה... בסבירות של 90% בין 2-4
• כמות אנשים מושפעים מכל מתקפה... בסבירות של 90% בין 25,000-65,000
• אחוז תפוקה שיורד בכל מתקפה... בסבירות של 90% בין 15-60%
• מספר שעות שכל מתקפה משפיעה... בסבירות של 90% 4-12 שעות
• עלויות שנתיות לעובד... בסבירות של 90% 50,000-100,000 $ (ו-  2,080 שעות לעובד לשנה)

מכפלת הנ"ל נותנת הערכה טובה לעלות ההפסד, ומכאן ניתן להסיק כמה מוצדק להשקיע במערכות כדי להקטין את הנזק.  בשלב הבא יש להעריך עד כמה כל פתרון ספציפי מצמצם הפסדים אלו.

חזרה

הערכה ומדידה
מדידה טובה יכולה להיות הערכה קרובה ולאו דווקא מדויקת באופן מלא.
בסוף הפרק הקודם הודגם כיצד משתמשים בהערכות של 90% ולא משקיעים בחישוב מדויק מלא.

כאשר מבצעים מדידה, התנאי הראשון הינו שהמדידה חייבת להיות מכוילת (Calibrated) ולא סובייקטיבית. אנשים נוטים להיות מוטים, או בעודף ביטחון (כלומר, חושבים שמעריכים יותר טוב ממה שבפועל) או בחוסר ביטחון (חוששים מהערכה וחושבים שהערכתם פחות טובה מזו שהיא באמת).
מחקרים מלמדים שסוכני הימורים ואנשים מזדמנים למשל, טובים יותר בהערכותיהם ממנהלים בכירים.
עם זאת, ניתן ללמד אנשים לשפר את הערכותיהם כדי שאלו אכן יהיו מכוילים ויהיו בעלי ערך.

בלי להיכנס לצעדים מפורטים לכיול, להלן מספר שיטות כלליות לשיפור הערכה:

1. חזרה על תרגיל הערכה, כאשר בין לבין ניתן משוב.
2. לכל הערכה, קביעת הערכות מקבילות נוספות שניתן להשוות אותן להערכה הראשונית ולהסיק עליה.
3. לכל הערכה, ניתוח 2 סיבות לפחות מדוע ההערכה מוצדקת, ו- 2 סיבות לפחות מדוע היא שגויה.
4. הימנעות ממספרי עוגן שיכולים להטעות.
5. הגדרת תחומים רחבים בהם נופלת ההערכה. צמצומם באופן הדרגתי עד ההגעה להערכה.

כדי להגיע למדידה מיטבית יש להעריך באופן כמותי את אי הוודאות (רמת הסיכון) הקשורה למדידה.
ניתוח כמותי של סיכונים מומלץ לבצע תוך שימוש במודל הנקרא מודל מונטה קרלו. מדובר במודל סטטיסטי, ולא נפרטו בסיכום זה. למעוניינים, אתר הספר מכיל Excel המסייע בהרצת המודל.

לאחר מכן, יש להעריך עד כמה המידע הנוסף יכול להיות בעל ערך. ישנן נוסחאות לחישוב זה, גם כאשר מדובר במספר מדויק, אך גם כאשר רוצים להעריך איכותו של טווח מספרים (בין X ו Y).

צידה לדרך:

• יש לבחון היטב מה המדדים שמחליטים למדוד. שגיאות נפוצות:
  א. בדרך כלל מודדים מה שקל למדידה.
  ב. מנהלים נוטים למדוד מה שיסייע להם לקבל את ההחלטה אותה הם רוצים להחליט ממילא.
• לידיעה- אי ודאות פוחתת מהר מאד, כבר במדידות הראשונות (8 מדידות, נותנות על פי רוב מידת ודאות של לפחות 90% להערכה).
• איטרטיביות: לא כדאי להתפתות להשקיע הרבה בלמידה לצורך מדידה של נושא בו אי הוודאות גבוהה. עדיף למדוד באופן ראשוני ולבחון את שהתקבל: אם אי הוודאות הוסרה, יש להעריך שוב, ואז לברר האם אנחנו מופתעים והאם יש צורך במדידה נוספת להמשך הבאת נתונים לקבלת ההחלטה.

חזרה

שיטות מדידה

איך מודדים?
התהליך: מחליטים על שיטת המדידה ומודדים.

החלטה על שיטת המדידה:

1. בחירת מרכיבי ההחלטה לגביהם יש אי ודאות (כבר כתבנו מספר פעמים- ובכל זאת ראוי להזכיר)
2. בחינה איך ניתן להגדיר את מה שרואים בתצפית ואיך בחינת הנראה תתרום למדידה הרצויה
3. החלטה על היקף המדידה וכמה צריך בכלל למדוד כדי לקבל סבירות גבוהה של תוצאה מהימנה
4. ניתוח מקדים של המקורות האפשריים של טעויות וכיצד להימנע מהם
5. בחירת כלים באמצעותם תבוצע המדידה
6. בחירת מודל סטטיסטי לניתוח הנתונים

יתרונות השימוש בכלי מדידה (על פני הערכה של אנשים):

• מזהים מה שאנחנו כאנשים לעיתים נתקשה לזהות
• עקביים
• ניתן לכייל אותם (כדי שלא יהיו מוטים)
• מודדים משהו מוגדר ותחום (בניגוד לבני אדם שנוהגים לבחון תמונה שלמה)
• זולים ומהירים לשימוש

ובחיים כמו בחיים...יש גם יתרונות לתשאול אנושי, ולא כדאי לבטל אופציה זו באופן קטגורי.

סוגי טעויות:

1. טעויות מערכתיות- הטיות קבועות להעדפת תוצאה מסוימת.
   דוגמאות: טעויות הנובעות מבחירת אוכלוסייה לא מייצגת; טעויות הנובעות מהסתכלות לא נכונה.
2. טעויות אקראיות- טעויות שלא קל לנבא מראש שתתרחשנה לפרט מסוים.

יש לזהות טעויות מערכתיות ולהקטינן. יש ללמוד להתעלם מטעויות אקראיות.

ניתוח הנתונים- שימוש במודלים שונים ופוטנציאל שיפור המדידה:

ההתחלה: מידע לא מובנה ותהליך לא אובייקטיבי      Û מעט שיפור Û
מידע מובנה, מיוצג באופן עקבי ועדיין הערכה לא פורמאלית       Ûמעט שיפור Û

מודל סטנדרטי מכויל (z-score  )                                                  Û שיפור משמעותי Û
שימוש במודל Lens המקטין אי ודאויות והטיות (בזכות המשתנים הבלתי תלויים) – או- 
שימוש  במודל Rasch לתוצאות סטנדרטיות של שיפוטים שונים של מבחנים שונים או מצבים שונים                                                                                     Ûשיפור משמעותי Û                      

מודל אובייקטיבי. מחייב גם מידע היסטורי.

צידה לדרך:

• כדאי לבחון האם יש כבר מידע שפורסם על מדידות שבוצעו בעולם. עדיף להתחיל מכוונון מדידה והחלטה, מאשר משאלה פתוחה לחלוטין.
• לא להתייאש אם שיטה אחת לא עובדת ולא מצליחים למדוד/ ללמוד מן המדידה. תמיד ניתן להתקדם לשיטה נוספת.
• בדרך כלל מספיק להשקיע 2-10%  מהערך המצופה במדידה כדי להגיע לתוצאה טובה.
• המלצות בהגדרת השאלות למדידה:
  • קצרות ומדויקות; לא מורכבות מכמה חלקים
  • לא מכילות קונוטציה חיובי או שלילית; לא מובילות לכיוון מוגדר
  • מומלץ לכלול שאלות ושאלות הפוכות גם יחד, כדי לאמת תוצאות

חזרה