זיהוי תנועה חכם מבוסס מצלמה

חוקרים הצליחו לפתח מערכת חדשנית המשלבת למידת מכונה ובינה מלאכותית כדי לנתח את סגנון ההליכה, המבנה האנטומי והתנועה של בני אדם, תוך שימוש בנתוני וידאו פשוטים ממצלמות רגילות. הטכנולוגיה החדשה מציעה פוטנציאל פורץ דרך בתחומים כגון רפואה שיקומית, אבטחה, ספורט ומדעי ההתנהגות.

תנועת הגוף האנושי נחשבה במשך דורות לכלי לאבחון של מצבים רפואיים, להבנת רגשות ואף לזיהוי ייחודי של פרטים. אך עד כה ניתוח תנועה מדויק הצריך ציוד יקר - מצלמות עומק, חיישני תנועה ואפילו מערכות Motion Capture מתקדמות בדומה לאלו שבשימוש בתעשיית הקולנוע.

אל מול המורכבות והעלויות, קם אתגר: האם אפשר ללמוד פרטי תנועה באופן מדויק, כולל זיהוי יציבה, יציבות, א־סימטריה בין חלקי גוף ועוד, באמצעות מצלמות רגילות וללא מגע פיזי? על השאלה הזו ביקשו לענות חוקרים מאוניברסיטת פיזאן באיטליה, בשיתוף עם שותפים בינלאומיים, ופרסמו את תוצאות מחקרם בכתב העת המדעי המוביל Scientific Reports ביוני 2025.

המערכת מבוססת על מודל למידת מכונה בשם GaitTransformer. מדובר ברשת עצבית מתקדמת הלומדת לנתח את תנועת הגוף מפריימים של וידאו, תוך כדי בניית ייצוג מופשט (latent representation) של מאפייני הגוף. המטרה אינה רק למדוד מה שרואים (כגון מהירות או כיוון) אלא לפענח אילו מאפיינים אנטומיים קבועים מגדירים את ההליכה של האדם: זוויות מפרקים, שווי משקל, גובה התנועה של הרגליים ועוד.

באמצעות קידוד תלת־ממדי, המערכת מסוגלת לחלץ תובנות כגון סימטריה או חוסר סימטריה בתנועה; רמות יציבות בהליכה (מעידות על סיכון לנפילות); מאפייני יציבה חריגים (כגון עקמת או צליעה); התאמה בין מבנה הגוף לצורת הליכה.

המערכת מתבססת על רצף של סרטונים (תמונות מווידאו סטנדרטי), ומהם בונה מודל תלת־ממדי של תנוחת הגוף לאורך זמן. כך אפשר לעקוב אחר מיקומם של אברים מרכזיים - אגן, ברכיים, קרסוליים, גב - ולחשב את תנועתם המדויקת לאורך שלבי ההליכה. האלגוריתם משתמש בטכניקות כגון autoencoders (מקודדים או מפענחים), ובעזרתם מצמצם את המידע לפרמטרים מייצגים אך מדויקים. המידע המקודד הזה מאפשר זיהוי של מאפיינים אישיים קבועים ושל חריגות דינמיות (למשל שינוי בדפוס ההליכה עקב פציעה).

תכונות המערכת

אין צורך בציוד יקר - מהפכה בגישה הדיגיטלית לאבחון תנועה: אחד החסמים המרכזיים בעבודה עם מערכות לניתוח תנועה היה עד כה העלות הגבוהה של הציוד, בכלל זה מצלמות תלת־ממד, חיישני אינפרא־אדום, סימונים פיזיים על גוף האדם וחדרים ייעודיים לבדיקות. עלויות אלה הפכו את הכלים למצרך נדיר בבתי חולים, במיוחד מחוץ לערים הגדולות או במדינות מתפתחות.

המערכת שפותחה מבוססת על קלט מווידאו רגיל, שיכול להגיע ממצלמות אבטחה, ממצלמות טלפון נייד או ממצלמות מחשב פשוטות. בכך היא מנגישה את האפשרות לבצע ניתוח תנועה מדויק במוסדות קטנים, בקליניקות פרטיות ואפילו בבית המטופל. יתרון זה מבטיח הפצה רחבה של הטכנולוגיה בשוקים הרפואי, החינוכי והחברתי.

זמינות אוניברסלית: המערכת מתאימה למגוון רחב של סביבות ואוכלוסיות מאחר שהיא אינה תלויה בתנאים מיוחדים לצילום. היא יכולה לעבוד במגוון סביבות: חדרי טיפול, בתים פרטיים, מיתקני שיקום, מסדרונות בתי חולים ואף במרחב הציבורי. לדוגמה, אדם מבוגר יכול לצלם את עצמו הולך במסדרון ביתו ולשלוח את הסרטון לרופאו, שיקבל ניתוח אובייקטיבי של איכות ההליכה, יציבות הגוף או הסיכון לנפילות.

יצרה מזו, הגמישות הזו מאפשרת מעקב שוטף ורציף לאורך זמן במקום להסתפק ב"צילום סטטי" של מצב המטופל בעת בדיקת מרפאה. כך נוצרת רציפות טיפולית ומתקבל מידע קליני עשיר, שמסייע להתאים טיפולים, פיזיותרפיה או תרופות באופן אישי ודינמי.

דיוק אבחוני מרשים מבדיל בין תבניות תנועה קליניות עדינות: המערכת אינה מסתפקת בזיהוי תנועה כללית. היא מסוגלת לנתח פרטים עדינים כגון א־סימטריה בין הרגליים, שינויים קלים בקצב ההליכה, ירידה בטווח התנועה של מפרק מסוים או דפוסים אופייניים למחלות נוירולוגיות.

למשל, אדם הסובל מפרקינסון מפתח לאורך זמן דפוס הליכה אופייני: קצב צעדים מהיר מהרגיל (festination), תנודות גוף מצומצמות ולעיתים תנועות ידיים מופחתות. מאפיינים אלה קשים לעיתים לזיהוי במבט אנושי - במיוחד בשלבים מוקדמים - אך המערכת מסוגלת לאתרם דרך ניתוח מדויק של וידאו. גם במקרים של טרשת נפוצה, שבץ מוחי, פגיעות בעמוד השדרה או בעיות אורטופדיות, אפשר לזהות שינויים במנח הגוף, יציבה לא מאוזנת או צליעה חבויה. הזיהוי המוקדם מאפשר אבחון מדויק יותר, קבלת החלטות טיפוליות נכונה יותר ומעקב אחר תגובת המטופל לטיפול לאורך זמן.

מעקב דינמי ארוך־טווח - בניית "טביעת הליכה" אישית: המערכת שומרת ייצוג מתמטי של דפוס ההליכה של האדם, לפיכך אפשר להשוות את כל הקלט עתידי לחתימה הבסיסית שלו. המשמעות היא שאפשר לזהות שינויים מינוריים לאורך זמן בעקבות הידרדרות, שיפור או שינויים פתאומיים (למשל לאחר נפילה, פציעה או שינוי תרופתי). בכך נבנית לראשונה מסגרת לניטור שיקומי רציף - מעין "בדיקת דם תנועתית" - שאפשר להפעילה תדיר בבית המטופל ולשלוח את הנתונים לגורמים הרפואיים.

היכולת לאסוף מידע במשך שבועות וחודשים מביאה לדיוק קליני חסר תקדים ולעשייה המבוססת על נתונים אמיתיים מהשטח, ולא רק מהמפגש המרפאתי. ההשלכה החשובה: בעבור מטופלים הסובלים מבעיות כרוניות כגון פרקינסון, טרשת ובעיות שיווי משקל בגיל השלישי, הכלי מביא את הקליניקה אליהם, ומאפשר לנהל טיפול מותאם אישית ונגיש יותר מאי פעם.

יישומים מעשיים

רפואה שיקומית וניטור קליני רציףאחד השימושים החשובים ביותר במערכת הוא בתחום הרפואה הפיזיותרפית והשיקומית. מטופלים לאחר פציעות, ניתוחים, שבץ מוחי או מחלות נוירולוגיות כגון פרקינסון זקוקים למעקב מדוקדק אחר שיפור בתפקוד המוטורי. עד כה נאלצו רופאים להסתמך על התרשמות סובייקטיבית של קלינאים או תיעוד ויזואלי מוגבל ממצלמות מרפאה. באמצעות המערכת החדשה אפשר לנתח את דפוס ההליכה באופן אובייקטיבי ומדיד: האם חזר הא־סימטריה בין הגפיים? האם הרגל הימנית נשארת מאחור בקצב התקדמות? האם יש סימנים לשיפור בקואורדינציה? יתרה מזו, המערכת יכולה להתריע על דפוסים מקדימים לנפילות כגון ירידה בקצב, סטיות פתאומיות מהקו או שינויים בזווית הדריכה. בכך היא נהפכת לכלי חיזוי ולא רק לאבחון, ולגורם שעשוי להציל חיים.

אבטחה, ביומטריה וזיהוי זהות בתנועההליכה - כמו טביעת אצבע או תווי פנים - היא חתימה ביומטרית. אי אפשר לשכפל במדויק את הדרך שבה אדם מניף רגל, משנה את משקלו או מתאם בין זרוע לרגל נגדית. מחקרים מצאו שלכל אדם יש דפוס הליכה ייחודי וקבוע לאורך חייו, שאפשר להשתמש בו לזיהוי.

ביישום זה, מערכות מבוססות GaitTransformer עשויות להחליף בעתיד סריקות פנים או טביעות אצבע בכניסות מאובטחות, בנמלי תעופה, במיתקני צבא או באזורי גישה מוגבלת. יתרונה הגדול של הביומטריה התנועתית טמון בקושי לזייף אותה, בניגוד לתמונה או מסכה. כמו כן אפשר לזהות אדם מרחוק גם כשאינו מודע לכך, והדבר עשוי לסייע באכיפת חוק, אך גם מעורר שאלות אתיות מהותיות.

ספורט, ביצועים ושיפור תנועהבתחום הספורט והכושר, כל שיפור קטן בדפוס התנועה עשוי להכריע בין הצלחה לפציעה. מערכת שמנתחת את ההליכה או הריצה של ספורטאים בזמן אמת יכולה לזהות טעויות בתנועה, עומסים לא מאוזנים או תחילתה של שחיקה. לדוגמה, רץ מקצועי שמטה את האגן קלות לכל צעד יוצר עומס מצטבר על הברך, והדבר עלול להביא לדלקת גידים. GaitTransformer מסוגל לזהות את ההטיה הזו ולספק למאמן משוב מדויק. אפשר גם לבנות פרופיל תנועתי אישי לכל ספורטאי, ולבחון כיצד שינוי בתזונה, בשעות השינה או בתוכנית האימונים משפיע על הדינמיקה הגופנית. המערכת פותחת פתח לאימון מותאם־נתונים ("Data-Driven Coaching").

חקר רגשות ובריאות הנפשפחות מוכר, אך בעל פוטנציאל מהפכני, הוא השימוש בטכנולוגיה זו לאבחון רגשות ומצבים נפשיים. מחקרים מלמדים שדיכאון, חרדה, ביטחון עצמי, מתח ואפילו מניה דפרסיה משפיעים על דפוס ההליכה: מקצב הצעדים, דרך מהירות ההתקדמות ועד תנועת הידיים והראש. למשל, אדם במצב רוח ירוד נוטה להאט את קצב הליכתו, לכופף את כתפיו ולהניע את גופו באופן פחות סימטרי. אלו פרמטרים שיחמקו בקלות מעיני הסביבה, אך לא מעיני הבינה המלאכותית. המשמעות היא שהמערכת עשויה להיות כלי עזר במרפאות בריאות הנפש, בשירותים פסיכולוגיים ואפילו באפליקציות לניטור עצמי. אפשר לדמיין אפליקציה עתידית המתריעה לאדם כי דפוס ההליכה שלו משתנה, ומציעה לבדוק אם מדובר במצב נפשי שיש לשים לב אליו.

שיקום צבאי ופציעות לחימהחיילים שנפגעו בפעילות מבצעית עוברים תהליכי שיקום ארוכים שכוללים שחזור תפקודים מוטוריים. המערכת יכולה לשמש בסיס לניטור התקדמות השיקום, במיוחד לגבי פגיעות עמוקות בגפיים, בחוט השדרה או שימוש בפרוטזות. מערכות אלה עשויות להשתלב גם בתרגול צבאי שגרתי, לזיהוי עומסים גופניים גבוהים בקרב לוחמים עוד לפני פציעה. בכך הן מאפשרות מניעה, לא רק טיפול.

ביטוחי בריאות ושירותי רפואה מרחוקביטוחים רפואיים המחפשים אמצעים להעריך את סיכון הלקוח עשויים להיעזר במידע מבוסס הליכה: האם ההליכה יציבה? האם יש סימנים להידרדרות נוירולוגית? האם אדם מתפקד כראוי גם בגיל מבוגר? בד־בבד רפואה מרחוק עשויה להפוך את הכלי הזה לבסיס קבוע למעקב אחר מטופלים, במיוחד באוכלוסיית הגיל השלישי, שבה נפילות הן אחת הסכנות המרכזיות לחיים עצמם.

אתגרי המערכת

לצד ההתרגשות מהפוטנציאל הגלום בטכנולוגיה, החוקרים מציינים מספר אתגרים שיש להתגבר עליהם כדי להבטיח שימוש מדויק, מוסרי ובטוח במערכת.

תנאי צילום לא אידאלייםלמרות שהמערכת מתפקדת היטב עם מצלמות סטנדרטיות, היא עדיין רגישה לגורמים סביבתיים. תאורה עמומה, צללים חזקים, צילום בזווית חריגה או לבוש שמסתיר את תנועת המפרקים (כגון מעילים רחבים או שמלות רפויות), עלולים לפגוע בדיוק הניתוח. הדבר נכון במיוחד לגבי זיהוי דקויות כגון צליעה קלה או א־סימטריה זעירה. בעתיד הקרוב ישולבו ככל הנראה אלגוריתמים מתקדמים יותר שיאפשרו ניתוח אמין גם בתנאים מאתגרים יותר, לדוגמה בעזרת תיקון תאורה בזמן אמת או הסקת תנועה גם כשיש הסתרות.

שונות אנטומית, תרבותית וגיליתכמו בכל מערכת למידת מכונה, המודל מאומן על בסיס קבוצות נתונים קיימות, ואם אלו אינן מגוונות דיין, יש חשש להטיה. לדוגמה, האם המערכת תדע לזהות תנועת הליכה אופיינית אצל ילדים? אצל אנשים עם מוגבלות גופנית? אצל מבוגרים בני 90? מעבר לכך, קיימות השפעות תרבותיות על תנועה. בתרבויות מסוימות, למשל, הליכה איטית ומרוסנת נחשבת מנומסת יותר, ובאחרות - צעידה מהירה נתפסת כחיונית. לכן יש הכרח להרחיב את מאגרי הנתונים ולהתאים את המודלים לקהלים מגוונים, כדי למנוע תיוגים שגויים או ניתוחים חלקיים.

פרטיות ואתיקה - איפה עובר הגבול?צילום הליכה עשוי להיראות תמים, אך הוא עלול לחשוף מידע רגיש: מגבלות פיזיות, מצב רגשי ואפילו זיהוי ייחודי של אדם ממרחק. אם הנתונים האלה יאוחסנו בענן, יעובדו על ידי צדדים שלישיים או ינוצלו למטרות מסחריות, אנו עלולים למצוא את עצמנו בעולם שבו כל צעד מצולם, מפורש ומדורג. לכן צריך לקבוע מסגרות רגולציה אתית: איפה מותר לצלם? האם נדרש אישור? כיצד יש לאחסן את הנתונים? והאם אפשר למחוק אותם? זה תחום שמצריך שיתוף פעולה בין מדענים, משפטנים, אנשי פרטיות ומקבלי החלטות.

מבט לעתיד

במאמר שפורסם ב־Scientific Reports מציינים החוקרים כי GaitTransformer הוא רק שלב ראשון. הם שואפים להרחיב את המערכת לניתוח מגוון רחב יותר של תנועות גוף - ישיבה, עמידה, תגובות למצבים - ולשלב נתונים נוספים כגון קול, תווי פנים או קצב לב. במילים אחרות, העתיד שייך למערכות שיבינו את האדם לא רק דרך מילים אלא דרך תנועה.

השילוב של למידת מכונה, ראיית מחשב ומצלמות פשוטות מאפשר לראשונה לנתח תנועה אנושית באופן מדויק, מהיר ונגיש. התוצאה: פריצת דרך שמניחה יסוד לעידן חדש, שבו כל תנועה מספרת סיפור, והבינה המלאכותית לומדת להקשיב לו.

לפרטים נוספים