פרויקט המדגם - מדדי אינטליגנציה רגשית - האם אינטליגנציה רגשית מנבאת הצלחה תעסוקתית? בחינת תוקף ניבוי ומבנה של מבחן אינטליגנציה רגשית

הכלים השונים למדידת א.ר, פותחו בהתאם לשתי אסטרטגיות מדידה, בהתבסס על שני סוגי המודלים התיאורטיים שמהם נגזרו. החוקרים המצדדים במודלים של יכולת (כמו Mayer, Caruso, & Salovey, 1999,), המגדירים א.ר כמערכת תחומה היטב של יכולות עיבוד רגשות, שואפים להעריך א.ר דרך מבחני ביצוע אובייקטיביים, הבודקים ישירות את יכולת הנבדק על פי רמת ביצוע במטלה כלשהי, בדומה למבחני אינטליגנציה כללית קונבנציונליים. בעוד שהחוקרים המצדדים במודלים מעורבים, התופסים את האינטליגנציה הרגשית כמקיפה היבטים רבים של התפקוד האישי (כמו Bar-On, 1997; Boyatzis, Goleman & Rhee., 2000;), שואפים למדוד א.ר דרך שאלוני דיווח עצמי, המתבססים על תפיסה עצמית של הנבדק לגבי יכולתו בתחומי א.ר.

הערכת איכות פסיכומטרית של מדד אינטליגנציה רגשית

על מנת שמדד א.ר יחשב איכותי, הוא צריך לעמוד במספר תנאים: ראשית, המדד צריך להיות מהימן, כמו מבחני אינטליגנציה כללית. שנית, חשוב שהמדד ינבא קריטריוני התנהגות אובייקטיביים. זאת ועוד, למבחני א.ר צריך להיות גם תוקף ניבוי מוסף (incremental validity) מעבר למדדי אינטליגנציה כללית ואישיות קיימים; אחרת, מושג הא.ר מיותר (Matthews, Zeidner & Roberts., 2003a). תוקף מבנה בוחן האם מבחן אכן מודד את התבנית התיאורטית שנועד לבדוק (Anastasi & Urbina, 1997) ומהווה גורם מרכזי בהערכת איכות פסיכומטרית של מדד. אחת הצורות החשובות ביותר של תיקוף מבנה היא בחינה של התוקף המתכנס (convergent validity) והתוקף המבחין (discriminant validity) של המדד (Campbell & Fiske, 1959). על מנת שא.ר תיחשב אינטליגנציה, אך גם תייצג כישורים ייחודיים, מעבר לאלה השייכים לאינטליגנציות אחרות, המתאם של מדד א.ר עם אינטליגנציות אחרות אמור להיות מתון, כלומר אמור להתקבל תוקף מתכנס (Matthews et al., 2003a; Mayer et al., 1999). מתאם נמוך של מדד א.ר עם מדדי אינטליגנציות אחרות מעיד כי לא מדובר באינטליגנציה, בעוד שמתאם גבוה מאוד של מדד א.ר עם אינטליגנציות אחרות מעיד שהמבחן כנראה מודד משהו שהוא לא א.ר ואין כאן תרומה ייחודית של תבנית האינטליגנציה הרגשית ולכן המבחן מיותר, בהתחשב במדדים קיימים אחרים (Mayer et al., 1999; Matthews et al., 2003a). בנוסף א.ר מערבת בחינה עצמית ודאגה לרגשות הזולת, כך שהיא צריכה להיות קשורה לגורמים אישיותיים יותר מאשר סוגים אחרים של אינטליגנציה (שאינם קשורים כלל לאישיות) (Janovics & Christiansen, 2001), אך הקשר אמור להיות חלש - כלומר אמור להתקבל תוקף מבחין - מכיוון שמדובר כאן בסוג של אינטליגנציה ולא במודל אישיות.

לפי מתיו'ס ועמיתיו (2002) מתאמים הנמוכים מ - .10 נחשבים נמוכים מאוד; .10-.30 - מתאמים נמוכים; .30-.50 - מתאמים מתונים; .50-.70 - מתאמים גבוהים; מעל .70 מתאמים גבוהים מאוד (Matthews, 2002).

מדדי דיווח עצמי

מדדי דיווח עצמי מבוססים על ההנחה שאנשים מסוגלים לדרג בעצמם, בצורה מדויקת, את יכולתם הרגשית וההתנהגויות שלהם הקשורות לא.ר. אסטרטגיה מדידה זו מניחה שלאנשים יש תובנה טובה יותר לגבי תפקודם הרגשי, מאשר ליכולותיהם האינטלקטואליות (Matthews, Zeidner & Roberts, 2003b) . קיימים מספר שאלוני דיווח עצמי למדידת א.ר (לדוגמא: TEIque; EIQ; EQ MAP; SSRI; TMMS) כאשר בהתאם לחוסר האחידות התיאורטית במודלים המעורבים לא.ר, שאלונים אלו שונים בצורה משמעותית בתוכנם ומשקפים חוסר ודאות לגבי הגדרת א.ר. שני השאלונים הנפוצים ביותר למדידת א.ר הם ה - EQ-i וה - ECI שיפורטו להלן (MacCan et al., in press).

שאלון ה - EQ-i של בראון נחשב כשאלון המוביל למדידת א.ר. שאלון זה מבוסס על המודל התיאורטי של בראון (Bar-On, 1997). שצויין לעיל, הוא כולל 133 פריטים, כאשר בסולם התשובות חמש דרגות (מ"מאד נכון עבורי" עד "מאד לא נכון עבורי"). השאלון מודד את פוטנציאל הביצוע ולא את הביצוע עצמו. הפריטים מפיקים 15 תת-מבחני EQ, לפי חמשת התחומים במודל התיאורטי: מיומנויות בין-אישיות (אמפתיה, אחריות חברתית ויחסים בין-אישיים), מיומנויות תוך-אישיות (כגון: מודעות רגשית, אסרטיביות, קבלה עצמית, הגשמה עצמית ועצמאות), כושר הסתגלות (פתרון בעיות רגשיות, בוחן מציאות וגמישות), התמודדות עם לחץ (סבילות ללחץ, שליטה בדחפים) ומצב רוח כללי (אושר ואופטימיות). ציוני תת-המבחנים הגולמיים מומרים לציוני תקן, עם ממוצע 100 וסטיית תקן 15 (כמו במבחני המשכל). השאלון כולל גם בדיקות תוקף - מופקים ממנו ציוני רושם חיובי ושלילי וציון חוסר עקביות בתשובות.

נתונים פסיכומטריים - נקודת חוזק מרכזית בשאלון היא המהימנות הטובה: לשאלון מהימנויות מבחן חוזר ( לאחר חודש ו - 75. לאחר ארבע חודשים 85., Bar-On, 1997) ועקיבות פנימית טובות (לדוגמא - לפיBar-On Brown, Kirkcaldy & Thome, 2000, ציון אלפא קרונבאך של תת-המבחנים השונים נע בין .75 ל - .85). נקודות החולשה הן: כמה מתת-המבחנים המרכזיים של ה - EQ-i מקושרים ביניהם בצורה חזקה, בגלל שיש פריטים המשמשים ביותר מתת-מבחן אחד; בעיה שעלולה להשפיע על תוקף המבנה (MacCan et al., in press). זאת ועוד, יש בעיות באישוש המודל התיאורטי מהשאלון - ניתוח גורמים שבוצע לשאלון (ראה Matthews, Zeidner & Roberts, 2002) העלה רק שלושה גורמים, שניתן לכנותם הערכה עצמית; אמפאתיה ושליטה בדחפים. כמו כן תוקף הניבוי של השאלון אינו גבוה במיוחד - Van Rooy ו - Viswesvaran (in press) מצאו במטה אנליזה שביצעו על סמך 13 מדגמים, הכוללים 3046 נבדקים, שתוקף הניבוי הכולל לביצוע (מול קריטריונים תעסוקתיים, אקדמיים ועוד) של שאלון ה - EQ-i הוא .20. תוקף ניבוי זה הוא הרביעי בגובהו מבין חמשת כלי הא.ר שנבדקו (שתוקף ניבוי הביצוע שלהם נע בין 19.-32.). תוקף הניבוי הכולל של חמשת גורמי השאלון נע בין 12.-23.

נקודות החולשה המרכזיות של השאלון הם קשר חזק מדי עם תכונות אישיות - תוקף מבחין נמוך וחוסר קשר עם אינטליגנציה כללית - תוקף מתכנס נמוך. מחקרים על ה - EQ-i (לדוגמא: Buford, 2002; Dawda & Hart, 2000; Newsome, Day & Catano, 2000) מצאו שרוב השונות בכלי יכולה להיות מיוחסת למודל הידוע, של חמשת גורמי האישיות. נראה שמדד זה משקף בעיקר נוירוטיות נמוכה (למשל r=-.72, -.62) עם תרומות קטנות יותר מאקסרוורטיות (r=.56, .52), Agreeableness (r=.43) ו - Conscientiousness (r=.51, .33) (המתאמים בסוגריים לקוחים מ - Dawda & Hart, 2000, כאשר המתאמים הגבוהים יותר הן של הנשים במחקר). מכיוון שהמתאם בין נוירוטיות והשאלון גבוה בדרך כלל כמעט כמו מקדם המהימנות של השאלון, ניתן לטעון שמדד זה כולל בעיקר היבטים של יציבות רגשית (נוירוטיות נמוכה) הקשורה להתנהגות אינטליגנטית רגשית, מאשר מצביע על מושג נפרד (Matthews et al., 2002). כמו כן, נמצא קשר חזק (r=-.77- -.70), בין חרדה תכונתית לציון הא.ר המופק משאלון זה (Bar-On, 1997, 2000; Newsome et al., 2000; OConner & Little, 2003) כך שנראה שתת-המבחנים ב - EQ-i מודדים באופן משמעותי חופש מחרדה תכונתית (MacCan et al., in press). זאת ועוד, יש ממצאים עקביים (Bar-0n, 2000; Derksen, Kramer & Katzo 2002; Newsome et al., 2000) שלשאלון ה - EQ-i יש קשר חלש מאוד (המתאמים הגבוהים ביותר נעים סביב .10) להרבה מבחני אינטליגנציה כללית (כמו WAIS, מבחן המטריצות של Raven, WPT) המייצגים סוגים שונים של אינטליגנציה כללית (g, Gc - אינטליגנציה מגובשת ו - Gf - אינטליגנציה נזילה).

שאלון ה - Emotional Competence Inventory: ECI, שפותח על ידי בויאטסיס ועמיתים (Boyatzis, Goleman & Rhee, 2000), כולל 110 פריטים ובעל סולם תשובות של 6 נקודות (מ - "התנהגות אופיינית מעט" ועד "התנהגות אופיינית מאוד") מבוסס על המודל התיאורטי של גולמן (Goleman, 2001) לא.ר, המפורט לעיל, ובהתאם מחולק לארבעה גורמים, המכילים 20 כישורים: (1) מודעות עצמית: מודעות עצמית רגשית, הערכה עצמית מדויקת ובטחון עצמי; (2) מודעות חברתית: אמפאתיה ומודעות ארגונית (3) ניהול עצמי: שליטה עצמית, זכאות לאמון, אחריות, סתגלנות, מניע הישג ויוזמה (4) ניהול מערכות יחסים: פיתוח אחרים, מוכוונות לשירות, השפעה, תקשורת, ניהול קונפליקטים, מנהיגות, זירוז שינוי, בניית קשרים ועבודת צוות ושתוף פעולה. מאפיין חשוב של ה - ECI הוא שהוא אינו לגמרי כלי דיווח עצמי, אלא נסמך גם על דו"חות של אחרים משמעותיים בארגון (מנהלים, עמיתים וכפיפים). בהתבסס על מאפיין זה, תומכי הכלי הציעו שסביר שהוא תקף יותר, מאשר אם הוא היה מבוסס על הערכה עצמית טהורה, למרות שנתונים העוסקים בנושא זה לכשעצמו מועטים (MacCan et al., in press).

הנתונים הפסיכומטריים שפורסמו על שאלון ה - ECI מבוססים על דו"חות ארגונים שלא פורסמו בספרות המחקרית, או שהם מבוססי אנקדוטות, כך שלא ניתן לבחון אותם בקפידה באופן עצמאי ולכן לא ניתן להמליץ על שימוש בשאלון (Matthews et al., 2003b). בכל מקרה, Boyatzis ועמיתיו (2000) מציינים שיש קשיים באישוש המודל התיאורטי מהשאלון, כאשר מודעות חברתית ומיומנויות חברתיות נוטים להגדיר גורם משותף. חלק ממהימנויות השאלון נמוכות: כך למשל נמצאו מהימנויות של 76. - 96. לארבעת הגורמים בדיווח עצמי של הנבדק (Sala, 2002), אך בהערכה של אחרים את הנבדק המהימנויות נעות בין 61. - 92. בלבד; בעוד ש - Boyatzis ועמיתיו (2000) מדווחים על מהימנויות אלפא קרונבאך הנעות בין 62. - 87. ל - 20 הכישורים בדיווח העצמי ובין 80. - 95. בהערכה של אחרים. נראה שתוקף הניבוי של השאלון סביר - Van Rooy ו - Viswesvaran (in press) מצאו במטה אנליזה שביצעו על סמך 6 מדגמים, הכוללים 1292 נבדקים, שתוקף הניבוי הכולל לביצוע של שאלון ה - ECI הוא 23. תוקף ניבוי זה הוא השלישי בגובהו מבין חמשת כלי הא.ר שנבדקו. התוקף המבחין של ה - ECI מתכונות אישיות טוב יותר משל ה - EQ-i, אך עדיין נמוך למדי. ה - ECI קשור במידה נמוכה בלבד לנוירוטיות (r= -.20 - -.07), אך מראה מתאם נמוך - מתון עם אקסטרוורטיות (24. - 49.) ועם צורך בשליטה (21. - 39.), מתאם נמוך עם פתיחות (20. - 28.) ומתאם אפסי עם נועם הליכות (02. - 08.) (Sala, 2002).

נראה שיש מספר בעיות כלליות בשאלוני דיווח עצמי למדידת א.ר. ראשית, יש קונצנזוס מועט בקרב החוקרים השונים בקשר להגדרת המושג (Matthews et al., 2003b) ושאלוני א.ר מודדים גם מאפיינים לא קוגניטיביים, הקשורים למושגי אישיות מבוססים (כגון: אסרטיביות, אופטימיות ושליטה בדחפים), יותר מאשר לא.ר (Matthews et al., 2002). שנית, שאלוני דיווח עצמי מתבססים על תפיסה עצמית של האדם לגבי יכולתו בתחומי א.ר ולכן התשובות עלולות להיות לא מדויקות במיוחד (למעשה, לפי הגדרת א.ר, התובנה של אנשים בעלי א.ר נמוכה לגבי רגשותיהם, לוקה בחסרMatthews et al., 2003b ) והפריטים זמינים לפרשנות אישית מכוונת מכיוון שהם חשופים לגורמי רצייה חברתית, הטעייה וניהול רושם (Roberts, Zeidner & Matthews, 2001). נמצא ששאלוני אמפתיה - שלעיתים נתפסת כמרכיב של א.ר - לא קשורים למדדים אובייקטיביים של "דיוק אמפתי" (דירוג הרגשות ומאפייני האישיות של אחרים), (Davis & Kraus, 1997). זאת ועוד, שאלונים אלו מקושרים במידה ניכרת למדדי אישיות, המבוססים טוב יותר, כמו חמשת גורמי האישיות (Matthewes et al., 2003b), כך שהמרכיבים המשותפים לשאלוני א.ר, הם באופן כללי חופש מחרדה, בצירוף היבטים של אקסטרוורטיות ולמעשה טרם הוכח ששאלוני א.ר מוסיפים משמעותית להערכה מסורתית של אישיות (MacCan et al., in press) גם לגבי ניבוי ביצוע תעסוקתי (Zeidner et al., in press). כמו כן, קיימים ממצאים עקביים ששאלוני א.ר לא קשורים למבחני אינטליגנציה כללית, על כל סוגיה - Gf, Gc ו - g (MacCan et al., in press) - Van Rooy ו - Viswesvaran (in press) מצאו במטה אנליזה שביצעו (בהתבסס על 10 מחקרים ו - 1962 נבדקים), שהמתאם בין שאלוני דיווח עצמי למבחני אינטלגנציה כללית היה רק .09, כך שאמנם קיימים מספר שאלוני דיווח עצמי לא.ר מהימנים ובעלי תוקף ניבוי טוב (בעיקר מול קריטריונים של מתח והסתגלות), אך מכיוון שגם התוקף המבחין וגם התוקף המתכנס נמוכים (Davies, Stankov & Roberts, 1998), תוקף המבנה של שאלונים אלו לקוי (Barrett, Miguel, Tan & Hurd, 2001), עובדה שקוראת תיגר על הגדרת א.ר מדווחת כיכולת לגיטימית.

מדדי ביצוע

לאור הבעיות המצוינות לעיל בנוגע לשאלוני דיווח עצמי, דוגלים Mayer, Salovey, & Caruso בפיתוח מבחני יכולת מבוססי ביצוע ואוביקטיביים לא.ר (Mayer, Caruso & Salovey, 1999, 2000; Mayer & Salovey, 1997; Mayer et al., 2000). מבחני הביצוע בודקים ישירות את יכולת האדם בתחומי א.ר על פי ביצוע משימות, לדוגמא: זיהוי רגש בפני אדם או ניתוח רגשות העולים במצב מסוים. כך שהמשתנה הנמדד הוא לא תפיסתו של האדם לגבי יכולתו, אלא יכולתו בפועל.

ה - Multifactor Emotional Intelligence Scale - MEIS - הוא מבחן הביצוע הראשון לא.ר שפותח על ידי Mayer ועמיתיו (1999) ממדדים מוקדמים יותר שמדדו מושגים קשורים כמו יצירתיות רגשית, אינטליגנציה חברתית ותפיסה לא-ורבלית (Mayer, Salovey, Caruso & Sitarenios 2003). הוא מבחן נייר ועיפרון, רב ברירתי, הכולל 12 תת-מבחנים, המודדים את ארבעת הגורמים במודל התיאורטי של החוקרים, שתואר לעיל. הגורם הראשון, תפיסת רגש, נמדד באמצעות ארבעה תת-מבחנים, שבכל אחד מהם מתבקש הנבחן לזהות רגש בפנים אנושיות, עיצובים, מוזיקה או סיפורים קצרים. הגורם השני, שימוש ברגש, נמדד על ידי שני תת-מבחנים: "סינתיזה", בו מתבקש הנבחן לדמיין סיטואציה שבה הוא חש רגש מסוים ולתאר אותה בשפה לא רגשית וב"הטיות בתחושה", מתבקש הנבחן להעריך מידע רגשי רלוונטי ולא רלוונטי ביחס למידע קוגניטיבי. הגורם השלישי, הבנת רגש, נמדד על ידי ארבעה תת-מבחנים, הבודקים ידע לגבי רגשות מורכבים ("תערובת מורכבת"), איך רגשות משתנים במשך הזמן ("המשכיות"), שינויים צפויים ממצב רגשי התחלתי ("מעברים") והשכיחות של תגובות רגשיות של שני אנשים במצבים דומים ("פרספקטיבה"). הגורם הרביעי, ניהול רגש, נמדד על ידי שני תת-מבחנים: "ניהול הזולת", מעריך את היעילות של תגובות שונות בפתרון בעיה רגשית, המערבת אנשים אחרים ו"ניהול עצמי" מעריך תגובות במצבים המערבים את הנבחן עצמו.

הבעיה המרכזית בשימוש במבחני ביצוע לא.ר היא ציינון הפריטים (ההחלטה איזה תשובות לפריטים יחשבו כנכונות או שגויות), מאחר שקשה מאוד להחליט באופן אובייקטיבי מהם התשובות הנכונות לפריט הכולל תוכן רגשי. יש שתי שיטות ציינון למבחני ביצוע של א.ר, כאשר השיטה המועדפת והמקובלת יותר (Matthews et al., 2003b) היא ציינון על ידי קונצנזוס. בשיטה זו הציון שמקבל נבדק עבור תשובתו לפריט מסוים, זהה לאחוז הנבדקים שבחרו בתשובה שאותה בחר הנבדק (לדוגמא, אם נבדק מחליט שבהבעת פנים מסוימת הופיעה "הפתעה רבה" ואפשרות זו נבחרה על ידי 45% מהמדגם, הנבחן יקבל ציון 0.45 עבור פריט זה. הסבר מפורט על שיטת ציינון זו מופיע בנספח 1). גישה זו מניחה שנתונים שנאספו ממדגם גדול ומייצג של אנשים וצורפו יחד יכולים לשמש אינדיקטור מהימן לא.ר, מכיוון שהמודל הארבע גורמי לא.ר משער שידע רגשי טבוע בתוך הקשר חברתי כללי ומתפתח של תקשורת ואינטראקציה (Mayer, Salovey, Caruso & Sitarenios, 2001). שיטת ציינון זו גם בדרך כלל מהימנה יותר ומפיקה מבנה גורמי טוב יותר למבחן (Mayer at al, 1999), ולכן בשלב זה, שיטה זו (כשהמדגם מורכב מאנשים מאותה חברה כמו הנבחן) נחשבת כאומדן הקרוב ביותר לתשובות "נכונות" במבחני ביצוע לא.ר (Matthews et al., 2002). למרות שקיימת ביקורת גם על שיטה זו (Roberts et al., 2001).

שיטת הציינון השנייה היא ציינון על ידי מומחים. בשיטה זו מומחים בתחום הרגשות (כגון: פסיכולוגים, פסיכיאטרים, פילוסופים וכו') משתמשים בהערכה הטובה ביותר שלהם על מנת להחליט מהי התשובה הנכונה לכל פריט במבחן, כאשר הנבחן מקבל נקודות זכות על תשובות התואמות לאלו שנתנו על ידי המומחים. הרציונל לשימוש בשיטה זו הוא, שכל הנראה, מומחים בתחום הרגש מביאים ידע מקצועי (בנוסף להיסטוריה של ידע התנהגותי), המסייע בזיהוי תשובות נכונות במהימנות גבוהה יותר מאשר האדם הממוצע, בעיקר כאשר המחקר מספק שיטות טובות יחסית לזיהוי תשובה נכונה, כמו במקרה של הבעות רגש בפני אדם והמשמעות של מונחים רגשיים (Mayer et al., 2001). נטען (Legree, 1995) כי הערכת מומחים היא לא יותר מאשר אינדיקטור מהימן לקונצנזוס הקבוצה, אף על פי שמדובר באינדיקטור רגיש במיוחד, הואיל ומדובר על מומחים בתחום הרגש.

נקודות החוזק הפסיכומטריות של ה - MEIS הן מהימנות עקיבות פנימית (של כלל המבחן וארבעת הגורמים) ותוקף מבנה (Caruso et al., 2002a; Ciarrochi, Chan & Caputi, 2000; Matthews et al., 2002; Matthews et al., 2003a; Mayer, Salovey et al., 2000) .

מהימנות - מהימנות העקיבות הפנימית של כלל המבחן וארבעת הגורמים טובה. המהימנות של כלל המבחן נעה בין 90. - 96. (Caruso et al., 2002a; Ciarrochi et al., 2000; Mayer et al., 1999; Roberts et al., 2001) ומהימנויות ארבעת הגורמים נעות בין 70. - 94., כשלגורם תפיסת רגש יש את המהימנות הגבוהה ביותר (זה נוצר גם מכיוון שבגורם זה הכי הרבה פריטים) והמהימנויות הנמוכות יותר התקבלו עבור שני הגורמים הגבוהים בהיררכית המודל - הבנה וניהול רגש (Caruso et al., 2002a; Ciarrochi et al., 2000). מהימנות מבחן חוזר לכלל המבחן - r= .75 (Caruso et al., 2002a).

תוקף מבנה - נראה שאחת מנקודות החוזק הבולטות ביותר של ה - MEIS היא תוקף המבנה שלו, המורכב מתוקף מתכנס ותוקף מבחין טובים (Matthews et al., 2002).

תוקף מתכנס - קשרים חיוביים מתונים ועקביים דווחו בין ה - MEIS ומבחני אינטליגנציה כללית, המודדים בעיקר אינטליגנציה מגובשת (כמו מבחנים מבוססי ידע מילולי). לדוגמא, Roberts ועמיתיו (2001) ו - Mayer ועמיתיו (1999) מצאו מתאמים של 32. ו - 36. בהתאמה. בדומה מצאו, ואן רוי וויסוורן במטה אנליזה שביצעו (בהתבסס על 8 מחקרים ו - 1368 נבדקים), שהמתאם בין ציון ה - MEIS הכללי למבחני אינטליגנציה כללית היה 33., כך שיש למבחן זה תוקף מתכנס טוב (Van Rooy & Viswesvaran, in press).

תוקף מבחין - נמצא של - MEIS קשרים נמוכים עם משתני אישיות שונים, בניגוד לשאלוני דיווח עצמי. מתאמים חיוביים עם נועם הליכות וצורך בשליטה ושליליים עם נוירוטיות הם אלו המדווחים ביותר (לדוגמא: Roberts, et al., 2001), אך המתאמים בדרך כלל נמוכים מ - 30. כמו כן, Mayer ועמיתיו (1999) מצאו קשרים חלשים בין ה - MEIS לבין תכונות האישיות שנמדדו על ידי שאלון הדיווח העצמי ה - 16PF (המתאם הגבוה ביותר היה r=.22) ותכונות אחרות כגון: אמפאתיה והערכה עצמית (Mayer et al., 2000).

נקודות החולשה של ה - MEIS הם: הוא אורך זמן רב; תוקף הניבוי שלו לא גבוה; למספר תת-מבחנים יש מהימנות נמוכה, ללא ספק, מהמצופה ממבחן יכולת; רוב המידע האמפירי אינו תומך במודל הארבע גורמי שלפיו פותח המבחן ויש בעיה חמורה של התאמה בין שיטות ציינון (Matthews et al, 2002).

תוקף ניבוי - נראה שתוקף הניבוי של ה - MEIS נמוך למדי ביחס למדדי א.ר אחרים (Matthews et al., 2003a). ואן רוי וויסוורן מצאו במטה אנליזה שביצעו על סמך 8 מדגמים, הכוללים 1368 נבדקים, שתוקף הניבוי הכולל (מול קריטריונים תעסוקתיים, אקדמיים ועוד) של מבחן ה - MEIS הוא 19. תוקף ניבוי של כלי זה הוא הנמוך ביותר מבין חמשת כלי הא.ר שנבדקו (Van Rooy & Viswesvaran, in press).

מהימנות של תת-המבחנים מהימנות אלפא קרונבאך של 12 תת-המבחנים נעה בין 0.31 - 0.94, (Caruso et al., 2002a; Ciarrochi et al., 2000; Mayer et al., 1999; Roberts et al., 2001). נראה שמספר תת-מבחנים, בעיקר אלו המודדים תפיסת רגש (שלהם המהימנויות הגבוהות ביותר), הם מהימנים בזכות עצמם, אך תת-מבחנים אחרים, בעיקר אלה המודדים הבנה (כמו תת-המבחנים המשכיות ותערובת, שלהם המהימנויות הנמוכות ביותר וגם מספר הפריטים הנמוך ביותר - 8) וניהול רגש, אינם מהימנים דיים. ממצאים עקביים אלה, בעייתיים ביותר מכיוון ששני גורמים אלו (המרכיבים את התחום האסטרטגי במודל) הכי קשורים לניבוי התנהגות חברתית בעולם האמיתי ולכן נחשבים כמרכיבים החשובים ביותר ב - MEIS ובמודל הארבע גורמי לא.ר (Matthews et al., 2002; Roberts et al., 2001).

מבנה גורמי - ניתוחי גורמים שונים אינם מאוששים את המבנה התיאורטי הארבע גורמי שעליו מבוסס המבחן, כאשר שום ניתוח גורמים שבוצע ל - MEIS, לא העלה פתרון ארבעה גורמי בצורה ברורה ועקבית. נראה שרק מחברי המבחן (Mayer et al., 1999) מדווחים די בקושי (Matthews et al., 2002) על מבנה גורמי של ארבעה גורמים במבחן, בעוד שחוקרים אחרים (Roberts et al., 2001) מדווחים רק על שלושה גורמים (תפיסת רגש, הבנת רגש וניהול רגש) או שני גורמים בלבד (תפיסת רגש והבנה וניהול) (Ciarrochi et al., 2000) חוסר התאמה בין שיטות ציינון נראה שהבעיה הפסיכומטרית החמורה ביותר (Mayer et al., 1999; Roberts et al., 2001) היא חוסר ההתאמה בין ציוני ה - MEIS שהתקבלו משיטות ציינון שונות - שיטת הקונצנזוס ושיטת המומחים (שהתבססה על שני מומחים בלבד). לדוגמא, רוברטס ועמיתיו (Roberts et al., 2001) מצאו שהמתאם בין שני ציוני ה - MEIS הכוללים, שחושבו לפי כל אחת משיטות הציינון הוא 48., כאשר גודל המתאם משתנה באופן משמעותי בכל אחד מהגורמים - המתאם הנמוך ביותר (r= -.02) התקבל בתפיסת רגש והגבוה ביותר בהבנת רגש (r= .78) .

מאייר ועמיתיו (2003) פיתחו מבחן ביצוע חדש לא.ר -Mayer-Salovey-Caruso Emotional Intelligence Test (MSCEIT), המהווה שכלול של ה - MEIS, במטרה ליצור מבחן קצר יותר, קל להעברה, שמתגבר על הבעיות הפסיכומטריות של ה - MEIS, ללא פגיעה בנקודות החוזק שלו (Matthews et al., 2002). תשומת הלב המחקרית מופנית כעת למבחן זה. ה - MSCEIT מבוסס גם כן על המודל הארבע-גורמי של מאייר וסלווי (Mayer & Salovey, 1997) ושתי שיטות הציינון הנהוגות במבחן ה - MEIS - הערכה על ידי קונצנזוס ומומחים נהוגות גם ב - MSCEIT (כאשר מספר המומחים עלה מ - 2 ממחברי המבחן ב - MEIS ל - 21 חוקרים בתחום הרגש ב - MSCEIT) . יש שתי גרסאות ל - MSCEIT: גרסה 1.1 וגרסה 2.0 (Mayer et al., 2003). גרסה 1.1 של ה - MSCEIT לא תתואר כאן, מכיון שהיא גרסה ניסיונית שהוחלפה מהר מאוד על ידי גרסה 2.0. מבחן ה - MSCEIT, גרסה 2.0 (שמעתה יכונה MSCEIT בלבד) מכיל 8 מבחני יכולת של אינטיליגנציה רגשית (במקום 12 ב- MEIS. כמו כן בתתי-המבחנים יש גם פחות פריטים לעומת ה - MEIS), כאשר כל שני מבחנים בודקים את אחד הגורמים במודל הארבע גורמי: תפיסת רגש, שימוש ברגש, הבנת רגש וניהול רגש (תיאור מפורט של הכלי מובא בפרק השיטה). עד היום מעט מחקרים בחנו את התוקף והמהימנות של ה - MSCEIT ג-2.0, מכיוון שזהו כלי חדש ביותר. עיקר הנתונים הפסיכומטריים של המבחן יפורטו להלן.

נראה שרוב נקודות החוזק של ה - MEIS: מהימנות טובה של כלל המבחן וארבעת הגורמים ותוקף מבנה טוב נשמרו ב - MSCEIT. מהימנות - ה - MSCEIT מספק הערכה מהימנה של א.ר כללית וארבעת הגורמים בשתי שיטות הציינון (Mayer et al., 2003; Matthews et al., 2003b). מהימנויות העקיבות הפנימית מסוג split-half של מבחן ה - MSCEIT, לפי Mayer ועמיתיו (2003) בשיטת הקונצנזוס ובשיטת המומחים הם, בהתאמה: כלל המבחן - 91., 93.; תפיסת רגש - 90., 91.; שימוש ברגש - 76., 79.; הבנת רגש 77., 80.; ניהול רגש 81., 83. . ברקט ומאייר מדווחים על מהימנות מבחן חוזר סבירה, לכלל מבחן ה - MSCEIT - r=.86 בהפרש של מעל שלושה שבועות (Brackett & Mayer, 2003).

תוקף המבנה

תוקף מתכנס - כמעט ואין מחקרים העוסקים בקשר שבין ה - MSCEIT ומדדי אינטליגנציה כללית. יאנוביץ' וקריסטיאנסן מצאו מתאם מתון ומובהק - r=.32 (עם תיקון בגלל חוסר מהימנות) - בין ציון כללי ב - MSCEIT לבין מדד אינטליגנציה כללית, כך שלפי מחקר זה התוקף המתכנס של ה - MSCEIT טוב (Janovics & Christiansen, 2001). תוקף מבחין - ל - MSCEIT יש תוקף מבחין טוב ממדדי אישיות (Matthews et al., 2003b). נמצא במספר מחקרים של - MSCEIT וגורמיו יש מתאמים נמוכים עם גורמי האישיות מסוג ה - Big Five, לדוגמא: מתאמים חיוביים נמוכים עם צורך בשליטה ונועם הליכות (r=0.02-0.33). עם שלושת הגורמים האחרים (נוירוטיות, אקסרווטיות ופתיחות), נמצאו גם כן מתאמים נמוכים (המתאם הגבוה ביותר הוא r= .28), אך בדפוס לא עקבי (מתאמים שליליים וחיוביים גם יחד). (Brackett & Mayer, 2003; Brackett, Warner & Mayer, in press; Janovics & Christiansen, 2001; Lopes, Salovey & Strauss, in press). נקודה שהייתה בעייתית ביותר ב - MEIS ושופרה מאוד ב - MSCEIT היא ההתאמה בין שתי שיטות הציינון במבחן.

התאמה בין שיטות ציינון

ההתאמה הטובה (Mayer et al., 2002b, 2003) בין שתי שיטות הציינון - מומחים וקונצנזוס (r=.98 לציון הכללי במבחן, ו - r=.94-.99 לציוני ארבעת הגורמים) מהווה התקדמות חשובה ב - MSCEIT. שתי נקודות חולשה של ה - MEIS - מהימנות תת המבחנים והמבנה הגורמי נשארו בעייתיות גם ב - MSCEIT. מהימנויות תת המבחנים המהימנויות של תת המבחנים ב - MSCEIT, שופרה לעין ערוך לעומת ה - MEIS (כאשר המהימנויות של כל תת-המבחנים ב - MSCEIT גבוהות יותר מאשר ב - MEIS) - מהימנות אלפא קרונבאך של 8 תת-המבחנים, בשתי שיטות הציינון, נעה בין 55.-88. (Mayer et al., 2003), אך עדיין יש כמה מהימנויות נמוכות יותר מהרצוי (בסדר עולה: תחושות, סיוע - שניהם מגורם 2, תערובות - גורם 3, ניהול מערכות יחסים וניהול רגש - שניהם מגורם 4) (Matthews et al., 2003b; Mayer et al., 2003). מבנה גורמי גם המבנה הגורמי של ה - MSCEIT אינו תומך בצורה טובה במודל הארבע גורמי לא.ר (Mayer & Salovey, 1997). שוב טוענים מחברי המבחן (Mayer et al., 2003) שהמודל הארבע גורמי, מתאים לנתונים טוב יותר במידה ניכרת לעומת מודלים אחרים, אך חוקרים אחרים (Matthews et al., 2002) סבורים שניתוח גורמים דומה (שבוצע על ידי Mayer ועמיתיו, b2002) בעייתי מאוד מבחינה סטטיסטית. חשוב לציין שפתרונות של ניתוח גורמים הם בעצם לא מוחלטים במקרים בהם יש רק שני תתי מבחן, המגדירים משתנה אחד. ניתוח גורמים במקרה כזה, יצביע על מושג צר יותר מאשר המושג שמייחסים למבחן מחברי המבחן (Matthews et al, 2003b). לסיכום, נראה שנקודות החוזק הפסיכומטריות של ה - MEIS נשתמרו ב - MSCEIT ומספר בעיות פסיכומטריות של ה - MEIS אכן נפתרו ב - MSCEIT, כך שניתן לומר שה - MSCEIT הוא אכן הגירסה המשופרת של מבחני הביצוע של Mayer ועמיתיו. כמו כן, למרות שיש לו גם מספר נקודות חולשה פסיכומטריות, הוא נחשב מבחן הביצוע העדכני והמקיף ביותר למדידת א.ר (MacCan et al., in press). מבחני היכולת שפותחו לפי האסכולה של המודל הארבע גורמי לא.ר, נחשבים כמובילים כיום בתחום בגלל שהם מוכווני ביצוע, אובייקטיביים, ומאפשרים מדידה ישירה לעומת שאלוני דיווח עצמי (Roberts et al., 2001). בהמשך לנטייה זו בתחום, גם מחקר זה ימדוד א.ר באמצעות מבחן היכולת מבוסס הביצוע המוביל לא.ר - ה - MSCEIT גרסה 2.0, תוך בחינה של נתוני תוקף המבנה ותוקף הניבוי שלו, כאשר ציינון הפריטים יתבצע לפי שיטת הקונצנזוס, המומלצת כיום.