אפליה של אלגוריתמים – הכצעקתה?

יש חדש תחת השמש? ואם כן – מה?

בפוסט זה נעסוק בהטיה ואפליה של אלגוריתמים. רבות כבר נכתב על הנושא הזה (וגם אנחנו כבר כתבנו על אלגוריתם COMPAS). לפעמים נראה שמדובר בשיח של חרשים, משום שאפילו ההגדרות של שוויון אינן מוסכמות. ברצוני לגשת לבעיה הזאת מנקודת מבט קצת אחרת. ננסה לפצח האם אפליה של אלגוריתמים היא תופעה חדשה או תוצר אבולוציוני של אפליה שתמיד הייתה וגם תמיד תהיה. ואולי דווקא בימינו, נולדות דרכים חדשות להלחם באפליה.

מובן שאפליה כשלעצמה לא התחילה רק לפני כמאה שנה, כשטיורינג המציא את המחשב. אפליה על בסיס מין, גזע, לאום, נטייה מינית וכיו"ב, כבר הייתה קיימת מראשית האנושות. מכאן שהזעקות על "עולם חדש" (ולא "מופלא") של אפליה הן מוגזמות כנראה. ובכלל, שום אלגוריתם לא יקלל, יכה או יהרוג אותך רק בגלל היותך יהודי, זאת לעומת בני אדם שעשו זאת… לפיכך הדיון כאן לא בא לגמד את התופעה, אלא להכניס אותה למסגרת מוכרת יותר של המאבק באפליה.

יש הטוענים שקל יותר לטפל באפליה שגורם אלגוריתם מאשר באפליה שגורמים בני אדם. לא קל להוכיח אפליה הנוצרת בגלל אנשים. איסוף הנתונים יכול להיות יקר ולארוך זמן רב, וייתכן שאז כבר יהיה מאוחר מדי. לעומת זאת, את האלגוריתם אפשר להריץ בזמן קצר, ובעזרת ניתוח תיאורטי למצוא את האפליה. נדגים זאת בעזרת השוואה בין אפליה אנושית לאפליה של אלגוריתם בשוק העבודה.

אדם ואלגוריתם באים להפלות

במחקר מפורסם שנערך ב-2003, שלחו החוקרים אלפי קורות חיים למעסיקים פוטנציאליים. קורות החיים נשלחו כמענה למודעות דרושים שפורסמו בעיתון. המחקר ניסה לענות על השאלה אם יש אפליה כלפי שחורים. החוקרים בחרו אקראית קורות חיים מתוך מאגר שהיה ברשותם, ושלחו שמות שהיו שמות של לבנים במובהק או שמות של שחורים במובהק (למשל, בחירה בשם Emily לעומת Lakisha). התוצאות היו חד-משמעיות. המעסיקים חזרו ל"מועמדים" הלבנים כ-50% יותר מאשר חזרו ל"מועמדים" השחורים. תוצאה זו הייתה יציבה עבור ערים שונות, מקצועות שונים ומין המועמדים.

גם אלגוריתם לגיוס עובדים של אמזון התגלה כמפלה נגד נשים. האלגוריתם חיפש באינטרנט קורות חיים, ושלח הצעות עבודה למועמדים שנראו מתאימים. התברר שאף שלאלגוריתם לא ניתן במפורש מין המועמד, האלגוריתם הצליח לזהות מילים מסוימות הקושרות את המועמד למינו. לדוגמה, המילה “executed” היא מילה נפוצה בקורות חיים של גברים, ואילו Women’s Collage (קולג' לנשים בלבד) יופיע כמובן רק אצל נשים. הסיבה שהאלגוריתם היה מפלה היא משום שהוא "אומן" על החלטות גיוס קודמות של אמזון.

בואו נשווה בין המקרים. כדי להגיע לתוצאות במחקר נדרש זמן רב, עבודה רבה ו"שפני ניסוי" רבים. במחקר שהזכרנו רק שלב איסוף הנתונים ארך שנה שלמה (!). לאלפי אנשים (אמנם וירטואלים) נגרם עוול, רק כדי שנוכל להגיד שקיימת בעיה. וזה עוד לפני שבכלל ניגשים לפתרונות.

בני אדם לא נוטים להשתכנע בקלות שרצוי שיפסיקו להיות גזעניים. נסה לשכנע מגייס, שדחה קורות חיים של אדם שחור, שהוא גזען. אנשים נוטים להתגונן ולא לשנות את התנהגותם.

לעומת זאת, את האפליה של האלגוריתם אפשר היה לאתר על ידי סימולציות בלבד. וברגע שמצאת את הבעיה, פשוט תתקן את הקוד, האלגוריתם לא יתגונן ולא יתלונן …

למרות כל זאת, ברור שלהטיה של אלגוריתמים סכנות משלה. היכולת המדהימה של למידת מכונה לתת אלפי תשובות בשנייה יכולה להיות בעוכרינו. ההשפעה שיכולה להיות לאלגוריתם, בהתחשב בתפוצה והאוטומטיות של התשובות, יכולה להיות עצומה. זהו בדיוק המקום שבו בא לידי ביטוי האופי ה"משתכפל" של הטכנולוגיה. אם האלגוריתם של אמזון היה מופץ גם לחברות אחרות, לדוגמה במסגרת שירותי הענן של אמזון, הוא היה גורם לאפליה בכל העולם! כמו כן אפילו במחקר שהצגנו, היו מגייסים שהפלו לטובה את השחורים דווקא, ואילו אם האלגוריתם של אמזון היה מופץ, ההטיה הייתה לכיוון אחד בלבד.

יתר על כן, אנשים מתייחסים לטכנולוגיה אחרת מאשר להחלטות של בני אדם. אנשים נוטים לייחס לטכנולוגיה אובייקטיביות שאין הם מייחסים לבני אדם. בכל ויכוח אנחנו מנסים "לפצח" את הכוונות הנסתרות של בן שיחנו. לדוגמה, תמיד תעלה התהייה אם מי שמתנגד לאפליה מתקנת הוא גזען בסתר. לעומת זאת, באובייקטיביות של החלטות אלגוריתם איננו מעזים לפקפק. משמציגים לפנינו מספרים וקוד, מיד נשתחווה אפיים ארצה ולא נחשוב על המתכנת ועל הדאטה המסתתרים מאחורי המודל. תופעה זו נפוצה גם בקרב אנשים חסרי גישה לטכנולוגיה וגם בקרב המתפרנסים מכתיבת קוד או מודלים.

נשמע מפחיד? אכן כן. עכשיו דמיינו שנצליח לפתור את האפליה באלגוריתם של אמזון. בבת אחת כל החסרונות שהצגנו הופכים ליתרונות. אמזון תפיץ לכל העולם את שירותי הגיוס השיוויניים שלה, מה שכנראה לא היה מעולם. אף גזען לא יעיז לפקפק בהחלטות של האלגוריתם. ימות המשיח ממש!

הדילמה: ריכוז לעומת ביזור

אם כן, ברור שאלגוריתם מפלה הוא בעיה, לאו דווקא חמורה יותר או פחות מאפליה אנושית, אלא שונה. אם תרצו, האלגוריתם עוטף את כל הבעיות הנמצאות בדאטה, ומגיש לנו אותן בבת אחת. אם רוצים לטפל בבעיות אלה, צריך לפתוח את העטיפה ולהבין מה קורה בפנים. לא תמיד הדבר קל, ולפעמים אף בלתי אפשרי, אבל לפחות יש מקום מסוים ויחיד שבו אפשר לחפש. זאת לעומת אפליה הנוצרת על ידי אלפי סוכנים המבצעים החלטות מפלות, כל אחד מסיבותיו הוא, ואולי אף בכיוונים שונים.

אני מניח שיהיו כאלה שיחשבו שעדיף לרכז הכול במקום אחד ולנסות להתמודד איתו שם. כך נוכל להקים רגולטור ייעודיי שיתמחה באפליה. הצוותים האלה יכללו כמובן מהנדסים וסטטיסטיקאים, אבל גם פילוסופים, פסיכולוגים, אנשי דת ואחרים. כך נוכל לפתור בעיות שאנחנו מתמודדים איתן במשך אלפי שנים. דמיינו עולם בלי אפליה, עולם שיש בו אחווה אנושית, עולם הכול חולקים עם הכול…

מן הצד השני, יש אנשים שעצם הרעיון הזה מעורר בהם חלחלה. הרעיון שיהיה רגולטור שיוכל להחליט מהי אפליה יכול בקלות לדרוס דעות ורעיונות. ריכוז הכוח בידי גוף אחד יגרום לכולם להיות מחויבים לעקרונות של אותו הגוף. למשל, אם תיאסר האפליה נגד כבדי משקל, גם חברות אבטחה לא יוכלו לסנן מועמדים כאלה, וזאת עוד טרם הדיון על אפליה מתקנת. לפי גישה זאת עדיפה אפליה מבוזרת, על פני "מניעתה" באופן ממוסד.

לסיכום, התמודדות עם אפליה של אלגוריתמים שונה מהתמודדות שגרתית עם אפליה. האלגוריתם מרכז את כל ההחלטות שעליהן אומן, גם הטובות וגם הרעות. התפוצה הרחבה יכולה להיות קטסטרופה או ברכה. מי ייתן שנצליח.