הטבעות שמתרגמות שפת סימנים בזמן אמת: הפיתוח החדש עשוי לשנות את עולם הנגישות
המרוץ להפוך את הבינה המלאכותית לכלי נגיש יותר עבור אנשים עם מוגבלויות מגיע לשלב חדש: קבוצת חוקרים פיתחה מערכת מבוססת טבעות חכמות שמסוגלת לתרגם שפת סימנים לטקסט בזמן אמת, בלי מצלמות, בלי כפפות מסורבלות ובלי כבלים מגבילים.
המחקר, שפורסם בשבועות האחרונים בכתב העת המדעי Nature Communications, מציג מערכת לבישה המבוססת על טבעות אלחוטיות זעירות עם חיישני תנועה, שהצליחו לזהות מילים ומשפטים בשפת הסימנים בדיוק של יותר מ-88%.
החוקרים מסבירים כי המטרה הייתה לפתור בעיה שמלווה שנים את תחום התרגום האוטומטי של שפת סימנים: רוב המערכות הקיימות דורשות מצלמות מתקדמות, תנאי תאורה יציבים או כפפות חכמות שאינן נוחות לשימוש לאורך זמן.
בלי מצלמות ובלי כפפות מסורבלות
פתרונות מבוססי מצלמות נחשבים מדויקים יחסית, אבל בפועל הם מוגבלים מאוד מחוץ למעבדה. שינוי בתאורה, רקע עמוס או זווית צילום לא טובה עלולים לפגוע ביכולת הזיהוי. במקביל, כפפות חכמות שנחשבו במשך שנים לפתרון המרכזי בתחום - סובלות ממספר בעיות: הן יוצרות חום ולחות בזמן שימוש ממושך, אינן מתאימות בצורה אחידה למבני יד שונים ולעיתים מחוברות בכבלים שמגבילים תנועה.
- האם ה-AI יפתור את חסמי הנגישות בתחבורה הציבורית?
- הערעור נמשך, הקנס נשאר: עירייה תשלם על ליקויי נגישות
- המלצת המערכת: כל הכותרות 24/7
המערכת החדשה מנסה לעקוף את המגבלות האלו באמצעות טבעות קלות שממוקמות על האצבעות ואוספות נתוני תנועה בלבד. החוקרים בחרו שלא להשתמש באותות חשמליים מהשרירים, טכנולוגיה שקיימת בחלק מהמכשירים הלבישים, משום שהיא דורשת כיול אישי ממושך עבור כל משתמש.
במקום זאת, המערכת מתבססת על חיישני תנועה זעירים ועל אלגוריתמים של למידת מכונה שמנתחים את תנועות היד והאצבעות בזמן אמת.
לפי החוקרים, אחד האתגרים המרכזיים היה עמידות החיישנים בכיפופים חוזרים. כדי להתמודד עם הבעיה הם שינו את מבנה החיבורים האלקטרוניים מצורה ישרה לצורה מתפתלת, מה שמקטין את הסיכון לשבירה במהלך שימוש ממושך.
להרחבה: האם ה-AI יפתור את חסמי הנגישות בתחבורה הציבורית?
- המחסור בטייסים הופך לבעיה של הנוסעים: פחות קווים, פחות מושבים וכרטיסים יקרים יותר
- ספייסX בדרך להנפקת ענק: ומניות החלל מזנקות
- תוכן שיווקי שוק הסקנדרי בישראל: הציבור יכול כעת להשקיע ב-SpaceX של אילון מאסק
- ביל גייטס בפנים: חברת האנרגיה הגיאותרמית שמזנקת ב-40% ביום...
דיוק של יותר מ-88% - גם במשפטים רציפים
המערכת אומנה תחילה על נתונים שנאספו משני משתמשים ולאחר מכן נבדקה על חמישה משתמשים נוספים ללא התאמות אישיות נוספות. לפי תוצאות המחקר, המערכת הצליחה להגיע לדיוק של 88.3% בזיהוי 100 מילים נפוצות בשפת הסימנים האמריקאית (ASL), ולדיוק של 88.5% בזיהוי 100 מילים בשפת הסימנים הבינלאומית.
בניגוד לחלק מהמערכות הקיימות, הטכנולוגיה לא מסתפקת בזיהוי מילים בודדות בלבד, אלא מסוגלת לתרגם גם רצפים של מילים ומשפטים קצרים. עם זאת, החוקרים מדגישים כי המערכת עדיין רחוקה מלהחליף תרגום מלא של שפת סימנים.
כיום היא מזהה בעיקר תנועות ידיים ואצבעות, אך אינה מנתחת הבעות פנים, תנועות פה או מבנים תחביריים מרחביים - מרכיבים מרכזיים בחלק גדול משפות הסימנים בעולם.
בנוסף, בעוד ששפות סימנים מלאות כוללות אלפי סימנים שונים, המערכת הנוכחית מתמקדת בשלב זה באוצר מילים מצומצם יחסית.
לא רק נגישות: גם מציאות מדומה, רפואה ושיקום
הפיתוח החדש מגיע בתקופה שבה שוק המכשירים הלבישים מבוססי AI צומח במהירות. לפי נתוני חברת המחקר IDC, שוק המכשירים הלבישים החכמים צפוי להמשיך לצמוח בשנים הקרובות, בעיקר בזכות שילוב בינה מלאכותית במכשירי בריאות, ניטור תנועה וממשקי משתמש חדשים.
החוקרים מעריכים כי מעבר לתחום הנגישות, לטכנולוגיה עשויים להיות שימושים גם במציאות מדומה ורבודה, בשליטה בממשקי מחוות, בשיקום מוטורי ובהערכת תפקוד ידיים לאחר פציעות או אירועים נוירולוגיים. גם חברות טכנולוגיה גדולות בוחנות כיום שילוב של חיישנים לבישים במוצרים עתידיים.
מטא, למשל, כבר הציגה בשנים האחרונות מחקרים על צמידים חכמים שמזהים תנועות יד לצורך שליטה בממשקי מציאות רבודה, בעוד אפל וסמסונג אלקטרוניקה ממשיכות להרחיב את תחום החיישנים הבריאותיים במכשירים לבישים.
השלב הבא של החוקרים הוא להעביר את רוב עיבוד הנתונים ישירות לסמארטפונים, במקום למחשב חיצוני. המטרה היא לקצר את זמני התגובה, לשפר פרטיות ולאפשר שימוש רציף לאורך היום.
נכון לעכשיו, הטבעות מסוגלות לפעול כ-12 שעות בין טעינות, אך החוקרים מודים שהאתגר הגדול עדיין לפניהם: להפוך את המערכת למדויקת, יציבה ונוחה מספיק לשימוש יומיומי בעולם האמיתי, ולא רק בתנאי מעבדה.
