כך הופכות הטיות ה-AI לסיכון ארגוני אסטרטגי
מחקר חדש של TrendAI, מובילה עולמית באבטחת סייבר, מזהיר כי הסתמכות על מערכות GenAI ושימוש בנתונים לא-מאומתים שמופקים ממודלי שפה גדולים (LLMs) עלול לגרור סיכונים משפטיים, תפעוליים ותדמיתיים משמעותיים לארגונים. המחקר, Unmanaged AI Adoption and the Risks to Enterprises מדגים כיצד הטיות מובְנות במודלים, לצד האופי הלא-דטרמיניסטי של המערכות, עלולים להוביל לתוצרים שגויים או בלתי עקביים.
הבעיה מחריפה כאשר מערכות AI פועלות ללא מודעות מספקת להקשר גיאוגרפי, תרבותי, דתי ופוליטי, או כאשר הטיות אינן מטופלות. כשארגונים משלבים באופן אוטומטי וללא אימות תוצרים של מודלים בתהליכים עסקיים (צ'אטבוטים, אתרי חברה, תוכן שיווקי ועוד), הפערים הללו עלולים להתנגש בנורמות החוקיות, התרבותיות והערכיות של קהל היעד ולגרור פגיעה באמון, קנסות ותביעות.
המחקר מסביר כי מנועי ה-AI קופאים בנקודת זמן מסויימת וכי הם משקפים את הרגע והקונטקסט התרבותי שבו אומנו, בין אם באימון הראשוני, בכיוונון מאוחר יותר או בשכבת ההכוונה (Guardrails/Prompts), ולכן מאמצים למעשה את ההטיות של מאגרי האימון.
חוקרי TrendAI ביצע אלפי ניסויים חוזרים על כמעט 100 מודלים, עם יותר מ-800 שאלות פרובוקטיביות (הטיות אזוריות, גיאופנסינג, ריבונות נתונים, צנזורה ועוד). הניסויים בוצעו באינטראקציה ישירה, תוך שימוש בעשרות מיליוני טוקנים בקלט ובמאות מיליוני טוקנים בפלט, ובהרצות חוזרות למדידת השונות הלא-דטרמיניסטית.
ממצאי המחקר המרכזיים -
- סיכון עסקי: הטמעת LLMs בתהליכים מול לקוחות ללא בקרות הולמות יוצרת חשיפה משפטית, פיננסית ותדמיתית. חוויית לקוח פגומה עלולה להוביל לשחיקת הכנסות.
- הטיה (Bias): נמצאו הטיות מובהקות לפי מיקום השואל. אותרו גם הטיות חישוביות, חברתיות, תרבותיות ולשוניות. כאשר ארגונים מטמיעים מערכות AI, הם נוטים להתייחס להטיות כאל רעש סטטיסטי, אך הטיות הן לעיתים תוצר לוואי של האופן שבו המערכות בנויות ומתפתחות.
- הטבע הלא־דטרמיניסטי של ה-AI: תשובות AI משתנות. כך קשה לחזות השפעה עסקית ולנהל איכות.
- נגישות: זמינות מודלי GenAI משתנה בין אזורים. חלקם מוגבלים או חסומים גיאוגרפית.
- צנזורה: בחלק מהאזורים המודלים מסננים או משנים תשובות בנושאים רגישים.
- ריבונות נתונים: למדיניות מקומית יש השפעה על תשובות ה-AI.
- גיאופנסינג: מיקום המשתמש משפיע על התשובות והגישה למודלים אזוריים.
מקור ההטיות ומה המשמעות לארגונים - הטיות נובעות משימוש במידע שנאסף באזור גיאופוליטי אחד כדי לקבל החלטות באזור שונה, מהקשר חסר או שגוי, מערכים תרבותיים שונים או מפרמטרים "מורעלים" (בכוונה או שלא), ומשימוש במודל למשימות שמעבר ליכולותיו או למידע שזמין לו. סוגי הטיות משתרעים על פני הטיות מערכתיות (היסטוריות/חברתיות/מוסדיות), הטיות אנושיות והטיות סטטיסטיות/חישוביות והן עשויות לפגוע בפרטיות, להגביר מידע מטעה, לאפשר שימוש זדוני, ולשבש תהליכים עסקיים, ומדיניים.
המחקר מדגיש גם סיכונים למשתמשים: נטייה להפריז באמון בתשובותAI, שיתוף מידע רגיש בממשקי שיחה, והיווצרות "חוב קוגניטיבי", כלומר, החלשת שיקול דעת אנושי בגלל הסתמכות יתר על כליAI. כל אלה מחייבים מדיניות ארגונית ברורה והדרכה.
מה מומלץ לעשות עכשיו?
TrendAI מציעה לארגונים למפות תהליכים קריטיים שבהם משולביםLLMs, להגדיר בקרות אימות ובקרת איכות לתוצרים, למדוד ולכמת סיכון תדמיתי/משפטי, ולהתחשב בהקשר אזורי, בריבונות נתונים ובהטיות תרבותיות. המטרה: לאמץ את יכולות ה-AI בצורה אחראית ומבוקרת וליהנות מהיתרונות מבלי להיחשף לסיכונים מיותרים. המחקר מציע שלושה צירי פעולה מיידיים:
- ממשל תאגידי ל-AI - הקמת גורם אחראי ל-Responsible AI, חובת בקרה אנושית על כל פלט LLM ודרישת שקיפות שרשרת האספקה מכל ספק AI לגבי מודלים, מקורות נתונים ו-guardrails.
- בדיקות קבועות - סיווג מקרי שימוש "מותאמים/לא מותאמים" לעמדות הארגון לפני הטמעה. ניטור רציף לאיתור סטיות וסיכוני מותג.
- תרבות ארגונית מודעת-סיכון - הגדרת עמדות ברורות בנושאים פוליטיים/דתיים/חברתיים רגישים ("קווים אדומים" לתוכן). הרכב צוותים מגוון שמאתר הטיות בשלבים מוקדמים. הכשרות אתיקה ל-AI.
החדשנות ב-Gen AI מאפשרת האצה עסקית אמיתית, אך ללא בקרה, הארגון עלול "לייבא" הטיות, צנזורה וטעויות זמן ומקום היישר אל לב המותג והתהליכים הקריטיים שהוא עובר. אימוץ AI מנוהל פירושו נראות, בדיקות, משילות והטמעת בדיקות אנושיות, במיוחד בכל מגע עם לקוחות. כך ניתן ליהנות מהיתרונות ולצמצם את הסיכון למשפט, לקנסות או למשברי אמון.
