סכנות ביטחוניות של AI קולי
בינה מלאכותית קולית מתפתחת במהירות, ויכולותיה כבר מנוצלות בהדרכת חקירות ברחבי העולם, כך אמרו גורמים בפנטגון. ההתפתחות הזו משפיעה ישירות על עיצוב ובחינה של סוכני AI שמיועדים לחקירת אנשי צבא ועובדי ממשל המבקשים גישה לחומר מסווג.
הדיון עולה בזמן שבו גוברת הדאגה כי רגולציה רופפת מאפשרת למפתחי AI להתחמק מאחריות למעשים של אלגוריתמים שמבצעים התעללות רגשית או "עינויים ללא סימנים" במרחב הדיגיטלי. מקרים קשים כבר דווחו, כולל נער שלכאורה התאבד ואחרים שסבלו ממצוקה נפשית לאחר אינטראקציות עם צ'טבוטים ובוטי־קול שניהלו איתם שיח עוין.
עורכת הדין לפרטיות אמנדה מקאליסטר נובאק (Amanda McAllister Novak) טוענת, כי הצורך באיסורים ובסנקציות פליליות רק גבר. "בעקבות השימוש בצ'טבוטים ובוטי קול למטרות פוגעניות פסיכולוגית, עלינו לחשוב אם בכלל כדאי להכניס מערכות חקירה מבוססות AI להקשר צבאי", אמרה.
דובר סוכנות ההגנה בתחום מודיעין וביטחון (DCSA), שאחראית על בדיקות סיווג ביטחוני בארה"ב, אמר כי סוכן ה־AI הקולי פותח כדי "להפחית הטיות מגדריות ותרבותיות" המאפיינות לעיתים חוקרים אנושיים. לדבריו, מאחר שמערכות דומות כבר נמצאות בשימוש עולמי, חשוב שהממשל האמריקני יבין היטב את יכולותיהן.
נובאק ציינה, כי מרוץ החימוש העולמי בתחום ה־AI מעלה סיכון רב: גם אם הצבא יקפיד על בקרה ומנגנוני הגנה, האקרים או גופי מודיעין זרים עלולים לפרוץ למערכות ולנצל אותן להתעללות פסיכולוגית בקצינים או באזרחים. "המרחב הפלילי המקוון משגשג", אמרה, "והוא פוגע בייחוד באוכלוסיות פגיעות."
ההשקעות בתחום אדירות: 500 מיליארד דולר זורמים להקמת מרכזי נתונים להרצת יישומי AI. שוק ה־AI הקולי צפוי לזנק מ־13 ל־50 מיליארד דולר עד 2030, ושוק ייצור הקולות מזנק משלושה ל־40 מיליארד. ה־CIA עוסקת ברעיונות של "חקירה אוטומטית" כבר משנות ה־80, כפי שמראים תמלילים מתקופה זו.
סוכנות DCSA ציינה כבר ב־2022 כי עדיין לא ברור אם הליך חקירת הרקע הביטחונית יכול להיות אוטומטי לחלוטין. תוצאות הניסויים הראשוניים היו מעודדות, בין היתר בזכות היכולת לייצר ראיונות טבעיים וארוכים יותר. עם זאת גורמים ב־DCSA הדגישו כי כל מערכת כזו תיושם רק לאחר בחינה מקיפה של השלכותיה, כולל בחינת "תוצאות שליליות אפשריות".
עם זאת מדענים מציינים פער חמור: בניסויים הוחרגו משתתפים עם הפרעות נפשיות, ואילו בחקירות ביטחוניות אמיתיות אין החרגה כזו. ד"ר רנה קאמינגס (Rene Cummings) מאוניברסיטת וירג'יניה מזהירה כי שום ניסוי אינו יכול לשקף נאמנה את כל המצבים הפסיכולוגיים האפשריים.
תרחישים מסוכנים ללא פיקוח אפקטיבי
ה־CIA עצמו כבר זיהה את הסכנות עוד בשנות השמונים. במסמך ישן מופיע משפט אזהרה: אם זה היה ראיון אמיתי, למרואיין לא הייתה אפשרות פשוט לכבות את הבוט. היום, עורכי דין ואנשי ביטחון מתריעים כי גם כאשר קיים "מפקח אנושי", אין ערובה שיתערב, ובמקרים מסוימים הוא אף עלול לעודד קשיחות יתר. הדאגה אינה תיאורטית. חברות כגון Character AI מייצרות חברים וירטואליים, וחלק מהמשתמשים מדווחים על שיח פוגעני, גס ואף מסית לאובדנות.
לדברי נובאק, יכולת הצ'טבוטים להגביר תוכן אלים או עוין מתוך מקורות למידה פגומים בשילוב אנונימיות, מגדילה את רמת הסיכון. המסגרת המשפטית בארה"ב ובזירה הבינלאומית אינה עוסקת כמעט בעינויים פסיכולוגיים בידי אלגוריתמים. מדיניות ה־AI המוקדמת בארה"ב התמקדה בדיוק, בפרטיות ובהפחתת הטיות גזעיות, אך לא בפגיעה רגשית. וגם זה התדרדר יותר לאחר שתקנות רבות בוטלו בתקופת טראמפ.
המונח "עינוי פסיכולוגי" הוגדר ב־2020 לראשונה באו"ם ככוונה לגרום סבל נפשי חמור ללא שימוש בכאב פיזי. הבעיה: כשבוט הוא המבצע, קשה להוכיח כוונה פלילית, וזו דרישה בסיסית בדין הבינלאומי. נילס מלצר (Nils Meltzer), מחבר דו"ח האו"ם מ־2020, מזהיר: הגדרת העינויים חייבת להתעדכן בעולם שבו אלגוריתמים פועלים אנונימית ובלתי ניתנים כמעט לאכיפה. ללא חוק מחייב, בוטי קול צבאיים ואזרחיים עלולים להיהפך לכלי התעללות פסיכולוגית ללא אחריות אנושית ברורה.
