שנאת הסיכון של ה-FAA

אנחנו על סף המהפכה הבאה בתחום התחבורה. אני לא מתכוון לנסיעה שיתופית או להיפרלופ. אני מדבר על השמיים.

עברו 115 שנים מאז שהאחים רייט ביצעו את הטיסה הראשונה. בעשורים האחרונים התחבורה האווירית הרחבה מאוד וגם הפכה נגישה יותר כלכלית. אבל תחבורה אווירית מתבצעת באותו אופן כבר כמה עשרות שנים והיא מעין מועדון סגור מבחינת יזמות וחדשנות.

בואו נשים את הציניות בצד ולרגע נעז לחלום: מכוניות מעופפות, רחפנים לא מאוישים וטיסות על-קוליות. יש בארה"ב המון השקעות ומיזמים שרוצים לקדם את זה. אבל התחום לא ממש יכול להתקדם כי כל פעילות חייבת אישור מרשות התעופה האמריקאית (FAA). בירוקרטיה היא לא דבר חדש, אבל תחום התעופה הוא דוגמה לרגולציה מחמירה מידי שמנוהלת על-ידי שנאת סיכון ופחד. התוצאה היא שה-FAA מעדיף לאשר טכנולוגיות קיימות ופחות נלהב לאשר טכנולוגיות חדשות ולא מוכרות.

שנאת הסיכון לא מוגבלת לטכנולוגיה, היא פוגעת גם במודלים כלכליים חדשים. למשל, בשנת 2014 ה-FAA הטיל איסור על שיתוף טיסות (flight-sharing) – מודל שבו משתפים טיסות לא מסחריות, כמו ש-Uber עושה במכוניות.

האקדמיה הלאומית למדעים, הנדסה ורפואה (בארה"ב) פרסמה בשנת 2018 דוח שבחן את הסיכונים שכרוכים בכלי טייס בלתי מאוישים. אחת המסקנות של הדוח היא שהפחד מלעשות טעות מכתיב את התרבות ב-FAA, שלעיתים קרובות מגלה עודף שמרנות במיוחד לגבי רחפנים לא מאויישים שלא מציבים סיכון ישיר לחיי אדם ["'Fear of making a mistake' drives a risk culture at the FAA that is too often overly conservative, particularly with regard to [drone] technologies, which do not pose a direct threat to human life"].

למה זה קורה?

למה שגוף רציני ומקצועי כמו ה-FAA ינוהל על ידי פחדים? התפקיד הראשי של ה-FAA הוא לדאוג לבטיחות וכל המהות של הארגון סובבת סביב בטיחות ומניעת תאונות. לכן יש על הארגון לח רב למנוע תאונות.

שופט בית המשפט העליון של ארה"ב, סטפן בראייר הסביר איך זה הופך לבעיה. לדבריו, סוכנויות רגולטוריות סובלות לעיתים מראיית מנהרה (tunnel vision) – הסוכנות מתמקדת באינטרס אחד בלבד (למשל בטיחות) ומזניחה את התמונה הרחבה. הסוכנות "שוכחת" שתפקידה לשפר את מצבו של הציבור והיא מתעלמת מיתר ההשפעות של הרגולציה: מהעלויות לציבור, מההשפעה על יזמות, חדשנות, תחרות ועוד. בסוף יוצא שהרגולטור ממקסם מטרה אחת, אבל כשמסתכלים על התמונה הרחבה מגלים שהתועלת נמוכה מן העלות – גרמנו יותר נזק מתועלת [אגב, השופט בראייר מונה על ידי קלינטון והוא מזוהה עם השמאל בארה"ב – לא מתנגד גדול לרגולציה].

הדוח של האקדמיה למדעים, הנדסה ורפואה מסביר שרגולטורים כמו ה-FAA מתוגמלים על החלטות שנמנעות מסיכון, אפילו כשהם פועלים בשנאת סיכון קיצונית. במילים אחרות – רגולטורים נוטים לקבל החלטות לא מאוזנות שמביאות לתוצאה לא רצויה, בגלל שהסביבה דוחפת אותם לעשות את זה ["FAA risk avoidance behavior is often rewarded, even when it is excessively risk averse, and rewarded behavior is repeated behavior"].

הסברתי כאן איך זה קורה בישראל ואיך כולנו (הציבור, הנציגים שלנו והתקשורת) מעודדים את זה.

אבל יש מקום לתקווה

העולם לא שחור ולבן, ואחרי כל הביקורת אני רוצה להציג ארבע תובנות אופטימיות.

רגולטור אחד ויחיד

סקטורים רבים כפופים למספר רגולטורים ולכן כל התקדמות תלוייה בקבלת אישורים מכל הרגולטורים הרלוונטיים. הדוגמאות הבולטות הן רישוי עסקים, תכנון ובניה ותשתיות. מצב של ריבוי רגולטורים עלול לשתק לחלוטין את הפעילות ומחייב שינוי גישה אצל כל אחד ואחד מהרגולטורים. אבל תחום התעופה כפוף לרגולטור מרכזי אחד. זה אומר שפשוט יחסית לפתור את הבעיה.

שחקנים אחרים יכולים לסייע לרגולטור לקחת סיכון

גם אם הרגולטור נמצא במלכודת שדוחפת אותו להימנע מסיכונים – הוא לא לבד. למשל הקונגרס האמריקאי התחיל למלא תפקיד אקטיבי בקידום טכנולוגיות ובעידוד חדשנות. תיקון חקיקתי אחד שעבר בשנת 2018 נועד לאפשר טיסות על-קוליות מעל יבשה ותיקון שני נועד לאפשר שיתוף טיסות. החקיקה הזו לא מחליפה את הרגולטור המקצועי, אבל היא מתווה לו דרך, מסירה ממנו את הלחץ החד-צדדי ומסייעת לבחון סט רחב של שיקולים.

יש עוד מדינות

במשך עשרות שנים הרגולציה של ה-FAA שימשה כסטנדרט בין-לאומי בתחום התעופה. אבל הגישה המתגוננת השאירה אותו מאחורה. לאחרונה רגולטורים אחרים – בבריטניה, גרמניה, שוויץ ויפן – התחילו לקדם מדיניות שמאפשרת ומעודדת חדשנות. העולם הטכנולוגי וההזדמנויות העתידיות לא שבויים של ה-FAA.

המצב מתחיל להשתנות

בסוף אפריל ה-FAA העניק לראשונה אישור לבצע משלוחים באמצעות כלי טייס לא מאויישים. האישור הראשון ניתן לחברת-בת של גוגל, שבשלב הראשון תבצע משלוחים באזורים כפריים. זה צעד ראשון לקראת רגולציה מודרנית יותר שמאפשרת ליזמים להציע לכולנו קידמה והזדמנויות חדשות.

אידהו מציגה: שקיעה רומנטית

משהו מדהים קורה במדינת אידהו בארה"ב. כל הרגולציה שלה עומדת להתבטל (אולי).

הכל התחיל בגלל שהרגולציה של אידהו בנויה בצורה יחודית. בכל שנה צריך לבחון את הרגולציה ולעגן אותה מחדש בפרלמנט. בדרך כלל התהליך הזה קורה באופן טבעי ובלי עניין גדול. אבל השנה קרה משהו אחר.

הרגולציה בתוקף עד סוף יוני ולכן לפני מספר חודשים הפרלמנט של אידהו התכנס לדיון על עיגון מחדש של הרגולציה. מדובר על כ-8,200 עמודים שמכילים 736 פרקים שונים. אבל הדיונים בפרלמנט הסתיימו בלי להגיע להסכמה והפרלמנט יצא לפגרה עד סוף השנה. לכן הדרך המרכזית שבה אפשר לשמר את הרגולציה (כולה או חלקה) בתוקף זה באמצעות צווי חירום המושל (ראש הרשות המבצעת של המדינה).

אבל העסק רק מתחיל להסתבך כי מושל מדינת אידהו, בראד לייטל (Brad Little) הכריז מלחמה על עודף הרגולציה. הוא לא רק מדבר, הוא גם עושה. לייטל נכנס לתפקיד רק בחודש ינואר וכבר הספיק להעביר כמה רפורמות גדולות. אחת מהן קבעה שעל כל רגולציה חדשה שרוצים להוסיף – צריך לבטל שתי רגולציות קיימות (זה נקרא one in – two out). זה נשמע משמעותי אבל בפועל המנגנון מעורר הרבה שאלות. בפוסט הזה הסברתי את נקודות התורפה של המנגנון.

מה יכול לקרות?

כנראה שהמושל לייטל יחיל צווי חירום על חלק לא מבוטל מהרגולציה של אידהו כדי שהיא תמשיך לחול. ועדיין, במצב הייחודי הזה יכולים לקרות כל מיני דברים מעניינים.

ראשית, המון הוראות עשויות להתבטל. עלול להיווצר כאוס אבל זה גם יכול להיות ניסוי מעניין (ומסוכן) – לראות מה קורה במצב עולם "נקי" בלי חלק מן ההוראות. שנית, בדרך כלל חלק מהרגולציה ממשיך להתקיים מכח האינרציה (כמו רגולציה על מצות ואיסורים בני 100 שנים על ריקודים ועל מסחר בינ"ל). לכן אפשר להניח שחלק מהרגולציות שיתבטלו ב-1 ליולי לא יחודשו לאחר מכן. שלישית, אירוע בסדר גודל כזה נותן מקום לדיון ציבורי – אם באמת פותחים את ספר החוקים יש לציבור הזדמנות להתייחס להוראות שחלות עליו ולהשפיע.

כמובן שיש הרבה רגולציות נחוצות שמשרתות תכליות חשובות. האתגר של כל ממשלה הוא לזהות אילו הוראות נחוצות ואילו לא (ואז לשפר ולדייק את הרגולציות הנחוצות). לדעתי זה רוב מה שמעסיק כרגע את הממשל באידהו – להחליט אילו רגולציות לשמר בצו חירום ועל אילו לוותר.

עלייתם של סעיפי השקיעה

אבל הסיפור האמיתי הוא הסיבה שכל זה קרה דווקא באידהו. הרגולציה של אידהו מכילה מנגנון שנקרא סעיפי שקיעה (sunset clause). הרעיון פשוט: לרגולציה יש תאריך תום תוקף – וכשהוא מגיע הרגולציה מתבטלת, אלא אם עיגנו אותה מחדש. המנגנון מגן על קובעי המדיניות מפני הסטטוס-קוו – ההמשכיות הנצחית של הרגולציה עד אינסוף (כי שינוי מייב פעולה יזומה). הוא גם עוזר להבטיח שהרגולציה מתאימה למטרה שלה (fit for purpose). חוקים צריך לעגן מחדש בפרלמנט, תקנות צריך לעגן בחתימת השר ונהלים צריכים להקבע ולהתפרסם מחדש על-ידי הגורם המקצועי המוסמך.

השימוש בסעיפי שקיעה נועד להבטיח שהמערכת לא מתאבנת ושהרגולציה לא מתיישנת. הרי אם לא נבדוק את הרגולציה שלנו אחת לכמה זמן – יצטבר עליה אבק, היא תתיישן ותהפוך ללא רלוונטית (לא מועילה או אפילו מזיקה). סעיפי שקיעה דורשים חשיבה מחדש אחת לתקופה ויוצרים מערכת מסודרת עם לוחות זמנים ידועים מראש.

וכשחושבים על זה, אנחנו מכירים מנגנון ממשלי שעובד בדיוק באופן הזה – תקציב המדינה. את התקציב צריך להעביר אחת לשנה (במקרים חריגים הוא היה דו שנתי). חשוב לנו שהמדיניות התקציבית תהיה עדכנית, שיתקיים לגבי דיון ציבורי ושהיא תבחן פעם בשנה. אז למה זה הגיוני שרגולציה תקבע לנצח? הכל תלוי בברירת המחדל. בתקציב ברירת המחדל היא חובת חידוש תקופתית, אך ברגולציה ברירת המחדל היא היעדר מנגנון קבוע לבחינה, עדכון ותיקון.

סעיפי שקיעה לא חייבים להיות לתקופה קצרה של שנה. בנייר עמדה שכתבתי יחד עם כמה קולגות, אנחנו מציעים לקבוע שרגולציה בחקיקה ראשית תבחן אחת ל-20 שנים, תקנות וצווים יבחנו פעם ב-10 שנים ונהלים כל 5 שנים. פרק זמן כזה מעניק יציבות ומאפשר מספיק זמן כדי לבחון את ביצועי הרגולציה בפועל. ועם זאת – 20 שנים זה שיפור משמעותי בהשוואה לברירת המחדל של היעדר בחינה תקופתית סדורה.

איידהו היא לא המדינה היחידה בעולם שעושה שימוש בסעיפי שקיעה (תוכלו לקרוא על עוד דוגמאות בנייר העמדה שלנו), אבל מגיע לה קרדיט על השימוש במנגנון כזה. מצד שני, אם צריך לאשר את כל הרגולציה בבת אחת, זה יוצר מצבים מוזרים כמו זה שקורה עכשיו באידהו. לכן כדאי לייצר פריסה הדרגתית של מועדי השקיעה.

מה שחשוב לזכור זה שסעיפי שקיעה מעניקים לנבחרי הציבור ולרגולטורים הזדמנות לבחון את הרגולציה ולקבל החלטה עדכנית אחת לתקופה.

רגולציה ובינה מלאכותית (3): הסכנות שאולי מצדיקות רגולציה

שנת 1998 היתה השנה האחרונה שבה ניתן היה לשבט בני אדם באופן חופשי בישראל. בסוף של אותה שנה העבירה הכנסת חוק שאסר על התערבות גנטית בבני אדם, שכוללת יצירת עוברים משובטים או מניפולציה גנטית בתאי רביה. הרקע לחוק אינו גל של שיבוטים אנושיים, אלא השיבוט המפורסם של הכבשה דולי בקיץ 1996 בסקוטלנד. יצירת היונק המשובט הראשון בעולם עוררה דאגה מוסרית ואתית מהאפשרות שטכנולוגיית השיבוט תיושם יום אחד על בני אדם. לכן מדינות רבות החליטו רבות לאסור שיבוט בני אדם בחקיקה, הרבה לפני ניסיון ראשון לשיבוט בני אדם.

רגולציה, כידוע, נועדה להתמודד עם סיכונים. לעיתים עצם האפשרות התיאורטית שסיכונים כלשהו יתממש גורר התערבות רגולטורית אגרסיבית מראש. מנסחי החוק למניעת התערבות גנטית בבני אדם לא המתינו לשיבוט האנושי הראשון לפני שהחליטו למנוע זאת מבעוד מועד.

להתערבות רגולטורית מוקדמת יש מחיר. הגבלות על מחקר ופיתוח עלולות למנוע חדשנות טכנולוגית, שעשויה יום אחד להביא לפריצת דרך רפואית או מדעית. ייתכן שנפיק מאותו פיתוח תועלת הרבה יותר גבוהה מהנזק הפוטנציאלי – אבל לעולם לא נדע כי חסמנו אותו בתחילת הדרך. זו דילמה שאין לה פתרון קסמים. קשה לקבוע האם הטכנולוגיה יוצרת סכנה כה גדולה ודרמטית, עד שהיא מצדיקה את העלות של התערבות מוקדמת.

בינה מלאכותית – סכנה קיומית?

עד כמה חמור הסיכון מטכנולוגיית בינה מלאכותית? יש שסבורים שיותר ממה שנדמה לנו. הפילוסוף השוודי ניק בוסטרום, החדיר לשיח הציבורי את המושג "בינת-על" (superintelligence). הכוונה לאפשרות התיאורטית שמכונות ישתכללו בביצוע יותר ויותר משימות עד כדי כך שבשלב מסוים הם יעלו על היכולות הקוגניטיביות של בני האדם בכל התחומים. על אף שתרחיש כזה נראה קיצוני ומרוחק, אנחנו רואים שעם הזמן מכונות לומדות מאפילות על בני אדם בעוד ועוד תחומים, כך שלא ניתן לשלול אותו לחלוטין.

הטענה של בוסטרום היא שהסיכון הנשקף מפיתוח לא זהיר של בינה מלאכותית מציב אותה בקטגוריה של איומים כמו מלחמה גרעינית או שינוי אקלים – סיכון קיומי לעתיד האנושות. לאזהרות האלו הצטרפו דמויות טכנולוגיות כמו ביל גייטס, סטיב ווזניאק ואילון מאסק – לא בדיוק אנשים טכנופוביים, פסימיסטיים או חובבי רגולציה.

הכוח של ענקיות ה-AI

תחום הבינה המלאכותית נשלט כיום על ידי תשע חברות ענק: שש אמריקאיות (גוגל, פייסבוק, אפל, מיקרוסופט, אמזון ו-IBM) ושלוש סיניות (באידו, אליבאבא וטנסנט). כל אחת מענקיות הטכנולוגיה משלבות כבר היום אלגוריתמים מבוססי AI במגוון רחב של שירותים "חינמיים" – ניווט, תרגום, קשרים חברתיים, חיפוש, כתיבת מיילים, בחירת תכנים, ניהול בתים חכמים ומשימות יומיומיות.

האלגוריתמים הללו עוזרים קצת למשתמשים, אבל המשתמשים עוזרים לאלגוריתמים להפוך ליותר ויותר משוכללים בחיזוי התנהגות. וכאשר התנהגות ניתנת לחיזוי, היא גם ניתנת לשליטה. חברות הטכנולוגיה לא מרוויחות רק ממכירת פרסומות, אלא מהיכולת לעצב את ההתנהגות שלנו כדי להגדיל את הערך למפרסמים. במלים אחרות, החשש אינו שהמכונות ישמידו אותנו בעתיד הרחוק, אלא ישלטו בהתנהגות שלנו למטרות עסקיות. זה לא פרק עתידני של "מראה שחורה" – זה קורה כבר היום.

יוזמות לרגולציה על AI

ההתפתחויות האלו מעוררות קריאות לרגולציה חדשה כוללת של בינה מלאכותית. פול נמיץ, יועץ בכיר בנציבות האירופית טוען כי ריכוז העוצמה מפיתוחים של בינה מלאכותית בידיים של מספר מצומצם של חברות מהווה סכנה מוחשית לדמוקרטיה, לכלכלה החופשית ולחירויות הפרט. לדבריו, ה-GDPR, אשר מסדיר את איסוף המידע האישי ועיבודו, מטפל רק בחלק מהבעיה. השלב הבא והמתבקש הוא חקיקה כללית חדשה שתסדיר את האופן שבו מכונות מקבלות החלטות.

איך תיראה רגולציה כל כך שאפתנית? חלק מההצעות פשוטות יחסית, כמו לחייב הזדהות ושקיפות של בוטים שבאים באינטראקציה עם בני אדם, בעיקר לצרכים פוליטיים. הצעות אחרות יותר דרמטיות: נמיץ מציע לחייב חברות לבצע הערכת סיכונים של בינה מלאכותית, בדומה לחובה דומה ב-GDPR, לפני השקת מוצר חדש; וכן לחייב חברות להסביר כל החלטה של אלגוריתם בפני כל מי שמושפע ממנה.

רעיון אחר הוא להקים סוכנות אירופית לרובוטיקה, שתפעיל מערך רישוי של מערכות בינה מלאכותית. הרעיון עלה גם בארה"ב –חוקר בשם מתיו שצ'רר הציע רישוי ממשלתי וולונטרי של בינה מלאכותית (חברות שיקבלו את הרישוי הממשלתי ייהנו מאחריות מקלה במקרה של נזק, בעוד שחברות ללא רישיון יהיו כפופות למשטר של אחריות מוחלטת).

תגובת נגד

למרות שיש הסכמה שצריך רגולציה על שימושים ספציפיים בבינה מלאכותית, הרעיון של רגולציה כוללת על בינה מלאכותית מעורר הרבה מחלוקת. המבקרים טוענים שהחששות מפני בינה מלאכותית מוגזמת מדי ונשענות על תרחישים אפוקליפטיים ושעדיין לא הוכח שהרגולציה הקיימת לא מספיקה. מכון המדיניות American Action Forum, טוען שלרגולטורים יש ארסנל של כלים אחרים שהם צריכים להפעיל – כמו "רגולציה רכה" שפועלת באמצעים לא מחייבים (best practice) ושיתופי פעולה עם התעשייה. לדעתם פעולות כאלו (שכבר התחילו) ייתרו את הצורך ברגולציה.

דוגמה לכך ניתן לראות במסמך שהאיחוד האירופי פרסם לאחרונה בנושא של אתיקה של בינה מלאכותית. המסמך קובע שורה של עקרונות לפיתוח אתי של מערכות ממוחשבות חכמות: העדר פגיעה באוטונומיה אנושית (שהמכונות תמיד יהיו כפופות להתערבות של בני אדם), שמירה על פרטיות, שקיפות, יציבות ואבטחה, העדר אפליה ויצירת השפעה חיובית על רווחת בני אדם. המסמך של האיחוד האירופי אינו רגולציה כופה אלא קווים מנחים (guidelines). זאת אומרת שהדיון במישור האתי ולא הרגולטורי.

כנראה שבעתיד הקרוב נראה בעיקר רגולציה על שימוש ספציפיים של בינה מלאכותית, אבל אם החברות לא יפעלו בצורה אחראית ושקופה – הן עלולות לעורר תגובת נגד של רגולציה כוללת ומקיפה מאוד.

__

סדרת הפוסטים בנושא AI (כמו גם הפוסט הזה) נכתבה יחד עם עו"ד עדן לנג. עדן הוא עורך דין ברשות ניירות ערך ומתמחה ברגולציה פיננסית וטכנולוגיה. הדעות המובעות הן שלו בלבד ולא מייצגות בהכרח את עמדת הרשות.

איך פותרים את המתח בין פוליטיקאים לדרג המקצועי?

כוחו של הדרג המקצועי

כשגדלנו לימדו אותנו שהכנסת היא הרשות המחוקקת שקובעת את הכללים. אבל המציאות קצת יותר מורכבת. במדינה המודרנית, הרבה מהכללים שקובעים את החיים שלנו נקבעים על ידי דרג מקצועי לא נבחר (כשרוצים לזלזל קוראים להם "פקידים").

זאת לא קנוניה. הכנסת אמורה לקבוע את עקרונות העל – חוקים – שמהם יגזרו תקנות. ומהתקנות יגזרו נהלים, רישיונות וכו'. ברור שהדרג המקצועי כותב נהלים, הוראות עבודה, מפרטים טכניים וכו'. אבל המעורבות של הדרג המקצועי לא עוצרת שם. שר חותם על תקנות, אבל הוא לא כותב אותן לבד, במיוחד כשמדובר ברגולציה מקצועית.

בנוסף, רוב החקיקה הראשית של הכנסת היא חקיקה שהממשלה יוזמת (זה מקובל בדמוקטיה פרלמנטרית). מי מנסח את התקנות ואת הצעות החוק הממשלתיות? ניחשתם נכון, הדרג המקצועי בממשלה.

יש טענות שצריך לרסן את הדרג המקצועי כי מדובר בכוח לא דמוקרטי ולא נבחר. אני חושב שהטענות האלו קצת מוגזמות וחלקן מבוססות על אינטרס או על חוסר אמון בדרג המקצועי (זה קצת דומה לחוסר האמון של חלק מהציבור בפוליטיקאים).

אין כאן הפיכה בלתי חוקית ולא צריך לעשות מזה דרמה (למרות שפוסטים פרובוקטיבים מייצרים טרפיק). פשוט צריך להכיר במצב הזה. למדינה המודרנית יש יותר כוח, וזה גם אומר שגם לדרג המקצועי יש יותר השפעה.

התופעה הזו קיימת בכל המדינות המודרניות. גם אם היינו בוחרים באופן ישיר את השרים ואת ראש הממשלה/ הנשיא שלנו – עדיין בלתי אפשרי לבחור את הדרג המקצועי. הרי לא נקיים בחירות כדי למנות כל אחד מבין 900 עובדי משרד התחבורה, נכון?

האתגר הוא שאם אנחנו לא מרוצים מהממשלה – אנחנו יכולים להצביע בבחירות למישהו אחר ולהדיח אותה. זה קרה למפלגת העבודה שנדחקה הצידה מהגה השלטון וזה קרה למפלגת הליכוד ב-2006 (לצד אירועים פוליטים נוספים). אבל אם הציבור לא מרוצה מהקו המקצועי שמשרד התקשורת מוביל (למשל), הוא לא יכול להחליף את הדרג המקצועי של המשרד. בנוסף, יש חשש שהציבור לא יהיה מודע להחלטות המקצועית שמתקבלות מידי יום וכשלא יודעים או לא מבינים – כמובן שאין ביקורת ציבורית.

בעד ונגד הדרג המקצועי

חשוב לומר שיש גם יתרונות לעובדה שהדרג המקצועי הוא לא דרג נבחר. למשל, אנחנו נוטים להאשים פוליטיקאים בפופוליסטיות ובשיקולים שטחיים וקצרי טווח כדי למצב את עצמם פוליטית. אבל דרג מקצועי שלא עומד לבחירה נהנה מהיכולת לקדם מדיניות ארוכת טווח באופן עקבי, כשהם חופשיים מהתחרות הפוליטית והמשחקים עם התקשורת.

אבל יש בעיה עם הרעיון שאפשר לתת לדרג המקצועי לעשות את העבודה בלי "להפריע להם". כי ה"הפרעות" האלו מהציבור, מהדרג הנבחר ומהתקשורת הן חלק מהמערכת ומהשיטה הדמוקרטית. אם המטרה הציבורית שנקבעה על ידי המחוקק הייתה טכנית וחד משמעית, הדרג המקצועי היה יכול לעבוד בלי דיון ציבורי. אבל הרבה מההחלטות המקצועיות שהרגולטורים קובעים הן החלטות מדיניות, שכרוכות בהפעלת שיקול דעת ואין תשובה אחת חד משמעית. בהרבה מהסוגיות האלו צריך לאזן בין כמה אינטרסיים וההחלטה היא לא מקצועית נטו.

למשל, ההחלטה אם תקן טכני של מכון התקנים יהיה תואם לתקנים אירופים היא לכאורה החלטה טכנית, שמהנדסים וכימאים יודעים הכי טוב איך להכריע בה. אבל למעשה זו שאלה של עלות מול תועלת, ניהול סיכונים וחסמי יבוא לישראל. תמיד יש לרגולטור מטרה מקצועית (כמו בריאות או בטיחות), אבל צריך לאזן אותה מול עוד מטרות ואינטרסים שאינם בתחום המומחיות שלו.

לפני כ-130 שנים, הנשיא האמריקאי וודרו ווילסון טען שחייבת להיות הפרדה דיכוטומית בין הדרג הפוליטי לדרג המנהלי. לדעתו יש נושאים שהם פוליטיים, ויש נושאים שהם מקצועיים – ולא מערבבים ביניהם.

העניין הוא שהכל פוליטי ואנשי מקצוע מוציאים לפועל את ההחלטות של הפוליטיקאים. כשהפוליטיקאים מחליטים להטיל רגולציה על פעילות מסוימת, הם מכפיפים את הנושא לשליטת המדינה וככה הם מכניסים לתמונה את הדרג המקצועי.

לפתור את הפלונטר

המטרה היא שהתזמורת הזו – שמורכבת מדרג נבחר ומדרג מקצועי – תעבוד ביחד. לדעתי הפתרון לאתגר הזה הוא הכלים הדמוקרטיים שקיימים והמפתח נמצא בכנסת. הכנסת היא לא רק הרשות המחוקקת, היא בעיקר הרשות המפקחת. הכנסת יכולה לדרוש דין וחשבון, לייצר שקיפות, להבטיח אחריותיות (acountability) ובמידה הצורך גם להפעיל לחץ.

שלושה דברים צריכים לקרות כדי שהם יעבדו יחד.

ראשית, הדרג הפוליטי צריך להתערב ולהתעניין במה שהדרג המקצועי עושה. לשאול שאלות קשות, לאתגר, לקדם אג'נדה שחשובה לציבור. ציינתי בעבר שבתור יו"ר וועדת הפנים של הכנסת, ח"כ יואב קיש, הוביל דיונים מקצועיים סבוכים ומפורטים על הרפורמה ברישוי עסקים. אלו היו דיונים מאוד מפורטים, בלי כותרות צבעוניות והצהרות של "בעד" או "נגד". דוגמה אחרת – נכחתי בדיונים שניהל ח"כ אלי אלאלוף, בהם הוא חקר את משרדי הממשלה מדוע לא קובעים תקנות שהוסכם לקבוע. הוא ירד לפרטים, שאל שאלות קשות ולא נתן שיסיטו את הדיון. אנחנו צריכים עוד מזה – שנבחרי הציבורי שלנו ידברו שפה מקצועית, ויבחנו את המדיניות הממשלתית באופן סדור ושיטתי יותר.

שנית, הדרג הפוליטי והדרג המקצועי צריכים שיטה מוסכמת. תהליך עבודה מסודר שגם עוזר לקבל החלטות וגם עוזר לבצע פיקוח ובקרה על החלטות שהתקבלו.

שלישית, צריך שפה משותפת. כשפוליטיקאים מדברים על "ראוי" ו"פסול", והדרג המקצועי מדבר בשפה טכנית (הנדסה, כימיה, וירולוגיה, בטיחות אש וכו') – זה לא עובד.

לדעתי גילינו את התשובה, ואנחנו מתחילים להשתמש בה. כלים כמו ניהול סיכונים, או שיטת רגולציה חכמה (RIA) מעניקים כלי עבודה ושפה משותפת שיכולה לחבר בין הדרג הנבחר לדרג המקצועי. כלים כאלו גם משפרים את קבלת ההחלטות וגם את הפיקוח על הדרג המקצועי.

אני מאמין שיש פה ריקוד עדין וארוך טווח. אם הדרג הנבחר שלנו יעסוק יותר בפיקוח וישתמש בכלים שישראל אימצה בשנים האחרונות, והדרג המקצועי שלנו יתן יותר דין וחשבון ציבורי – נצליח לייצר מדיניות טובה, שקופה ואחראית יותר.

בואו נקווה שהכנסת ה-21 שנבחרה לאחרונה תשכיל לעשות את זה.

___
למי שמתעניין בנושא – מומלץ לקרוא את הספר Unelected Power.

רגולציה ובינה מלאכותית (2): האתגרים של הרגולטורים

במבט ראשון זה נשמע מוזר שצריך להתייחס בנפרד לרגולציה על בינה מלאכותית. למה זה משנה שהפעילות נעשית על ידי מכונה ולא על ידי בני אדם? הרי אותם כללים צריכים לחול על הפעילות, בלי קשר לטכנולוגיה. קוראים לזה מדיניות "נייטרליות טכנולוגית" (tech neutrality) והיא מבוססת על עקרון השוויון – same business, same risks, same rules (אותם עסקים, אותם סיכונים, אותם כללים).

ניקח להמחשה ענף שצפוי להשתנות דרמטית בעקבות מהפכת הבינה המלאכותית – ביטוח. זה תחום עם המון רגולציה. על חברות הביטוח חלים שורה ארוכה של כללים והגבלות, שנועדו להבטיח שהן פועלות באופן תקין ושומרות על הזכויות של הלקוחות שלהם.

נניח שחברת הביטוח מחליטה להשתמש באלגוריתם של בינה מלאכותית – לדוגמה, אלגוריתם שמחליט מהו גובה פרמיית ביטוח הבריאות של לקוח פוטנציאלי. אם החברה תעמוד בכל החובות הרגולטוריות שלה – מדוע שבכלל תתעורר בעיה?

כשהצורה משנה את המהות

המציאות יותר מסובכת. העיקרון של "ניטרליות טכנולוגית" מבוסס על כך שהטכנולוגיה לא משנה את המהות – כלי הוא רק כלי. אבל הבינה המלאכותית מערערת את הפרדיגמה הזו. בלי להיכנס לדיון הפילוסופי על ההגדרה של "בינה", אפשר להסכים שישויות עם בינה מלאכותית נמצאות על הרצף שבין כלי לבן אדם, בין אובייקט לסובייקט. חוקר בשם Ignacio Cofone מאוניברסיטת מקגיל מצביע על שלוש מאפיינים של רובוטים שמקנים להם תכונות כמו-אנושיות:

(1) אוטונומיה – מערכות ממוחשבות אוספות מידע ולומדות מהטעויות של עצמן. יכולת הלמידה הזו משנה את קבלת ההחלטות באופן שמפתחי המערכות לא תמיד יכולים לחזות או לשלוט עליו;

(2) מוחשיות – לחלק מהרובוטים יש התגלמות מוחשית במציאות שמאפשרת להם לפעול ולהיות באינטראקציה עם בני אדם;

(3) ערכיות חברתית (social valence) הם מעוררים הזדהות ואינטימיות (תחשבו על הסרט "Her").

התוצאה היא טשטוש ההבחנה בין אדם לכלים ושינוי מהותי של כללי המשחק. השימוש בבינה מלאכותית יוצר מציאות חדשה. ובעולם החדש רגולטורים צריכים להתמודד עם ארבעה אתגרים מרכזיים.

אתגר ראשון: רגולציה שמיועדת לבני אדם

האתגר הראשון הוא טכני ופשוט יחסית: רגולציה שדורשת פעולה של בן אדם. מי שעבר תיאוריה בישראל אמור להכיר את סעיף 28 לתקנות התעבורה, שקובע כי "נוהג רכב חייב להחזיק בידיו את ההגה או הכידון כל עוד הרכב בתנועה". לרכב אוטונומי אין ידיים.

דוגמה אחרת מגיעה מרגולציה פיננסית. בהקשרים שונים יש דרישה שנציג אנושי יהיה מעורב באינטראקציה עם לקוחות, כמו זיהוי פנים-אל-פנים בעת פתיחת חשבון.

חסם אחר הוא חוקים שקובעים שרק לקבוצה מסוימת של בני אדם מותר לבצע פעולות מסוימות, למשל אבחון, זיהוי וריפוי מחלות (רופאים) או ייעוץ משפטי וכתיבת חוזים (עורכי דין). רובוט שעוסק בכירורגיה או בודק הסכמים משפטיים עשוי להיחשב כ"מסיג את גבול המקצוע".

אם מחוקקים ורגולטורים רוצים לאפשר לכלים טכנולוגיים מתקדמים להגיע לשווקים – עליהם להסיר חסמים כאלו (חלק מהחסמים נגרמים מתקני תהליך, שאפשר להחליף בתקני ביצוע).

אתגר שני: לפקח על קבלת ההחלטות

במקרים אחרים הרגולציה קובעת הוראה רחבה וכללית, כדי להכווין שיקול דעת ולקבוע סטנדרט של התנהגות ראויה. לחברות אסור להפלות לקוחות על בסיס דת, מין, גזע ונטייה מינית; למונופולים אסור "לנצל את כוחם לרעה"; וגופים פיננסיים חייבים "לנהל סיכונים באופן זהיר ותקין". איך קובעים את הסטנדרט עבור החלטות של גורם לא-אנושי?

נחזור לדוגמה של האלגוריתם שקובע את גובה פרמיית הביטוח הרפואי. איך אפשר לדעת האם האלגוריתם לא מפלה לרעה את המבוטח בשל שיקולים אסורים?

מחוקקים ורגולטורים יצטרכו להכריע מהו הסטנדרט שלפיו נקבע האם אלגוריתם "פעל באופן מפלה". האם הבעיה היא במידע שהאלגוריתם קיבל על המועמדים? האם הבעיה היא בהחלטות הלא-שוויוניות שהתקבלו לגביהם? האם הבעיה היא בתהליך האימון שעל בסיסו נבנה המודל? או שהבעיה היא בעובד האנושי שהסתמך על האלגוריתם בקבלת ההחלטה?

אלגוריתמים הם לעתים קרובות "קופסה שחורה": אופן קבלת ההחלטות שלהם אינו מובן לאיש, אפילו למפתחים שלהם. אם אנחנו לא יודעים איך הם "חושבים" נתקשה לפקח עליהם ולקבוע האם הם הפלו או נהגו בזהירות מספקת.

אתגר שלישי: של מי האחריות?

ואם זה לא מספיק, יש גם את נושא האחריות. חוקים ותקנות לא רק מגדירים חובות, אלא גם קובעים על מי הן מוטלת, ומי אחראי כשנגרם נזק. למשל, חוקי תעבורה מגדירים מי הגורם האחראי לפיצוי בגין נזקים בתאונת דרכים מבין כל הגורמים הרלוונטיים – נהגים, הולכי רגל, יצרני הרכב, חברות הביטוח או המדינה.

עכשיו רגולטורים צריכים להכריע מה עושים עם תאונות שיערבו כלי רכב אוטונומיים. האם האחראי הוא הנהג, היצרן הסופי או המתכנת? ועל בסיס אילו קריטריונים קובעים זאת?

אתגר רביעי: להתאים את הרגולציה לטכנולוגיה

ואולי השאלה החשובה ביותר בעצם הפוכה ממה שדיברנו עליו עד עכשיו – לא איך רובוטים ומכונות חכמות יוכלו לציית לכללים הקיימים, אלא מה הכללים המתאימים? התפקיד העיקרי של הרגולטורים יהיה לחשוב מחדש על הרגולציה ולהתאים אותה לשינויים טכנולוגיים.

יישומים דיגיטליים לאבחון רפואי מוסדרים כיום על ידי ה-FDA בארה"ב כ"ציוד רפואי" (medical device). תהליך רישום ציוד רפואי הוא ארוך ומסורבל, ועשוי לקחת מספר שנים. הביקורת על ה-FDA היא שהתהליך לא מתאים לאפליקציות של אבחון רפואי, מאחר שיש להן אלגוריתם דינמי שלומד ומשתכלל כל הזמן. ה-FDA הודה לאחרונה כי המדיניות הישנה אינה מתאימה למוצרי בריאות דיגיטלית, והודיע כי הוא מגבש מסגרת רגולטורית חדשה שתתאים למאפיינים הייחודיים שלהם.

לפעמים השינויים הנחוצים נמצאים בפרטים הקטנים ממש. רוב חוקי התעבורה בעולם מחייבים נהגים לשמור מרחק מינימלי אחד מהשני מטעמי בטיחות. אבל חוקרים מצאו שכלי רכב אוטונומיים שנוסעים צמוד אחד לשני בשיירה (Platooning) ומתקשרים אחד עם השני ברשת אלחוטית יכולים להקטין את העומס בכביש, מבלי להתפשר על בטיחות. נכון להיום 11 מדינות בארצות הברית העבירו חוקים שמאפשרים למשאיות אוטונומיות לנהוג בשיטה הזו. נהג אנושי ורכב אוטונומי נוהגים אחרת, ולכן אין סיבה שהרגולציה עליהם תהיה זהה.

מחשבות לסיכום

ראינו שהטשטוש בין כלים לבני אדם מייצר מגוון שאלות שאין להם עדיין תשובה ברורה. לא תמיד נכון לשמור על ניטרליות טכנולוגית, כי לפעמים הטכנולוגיה משנה את המהות עצמה. במקרים האלו נצטרך לחשוב מחדש על הרגולציה ולהתאים אותה.

אבל ייתכן שבינה מלאכותית יוצרת סיכונים פוטנציאלים כל כך גדולים, שאנחנו צריכים לחשוב על פתרונות חדשים לחלוטין. נדבר על זה בפוסט הבא.

__

סדרת הפוסטים בנושא AI (וגם הפוסט הזה) נכתבה יחד עם עו"ד עדן לנג. עדן הוא עורך דין ברשות ניירות ערך ומתמחה ברגולציה פיננסית וטכנולוגיה. הדעות המובעות הן שלו בלבד ולא מייצגות בהכרח את עמדת הרשות.

שש סיבות שבגללן אנחנו נכשלים בניתוח סיכונים

מה עדיף – לרכב על אופניים בלי קסדה או לרבוץ על הספה ולהשמין?

ומה לגבי אכילת ירקות שרוססו בחומר הדברה, מול הימנעות מאכילת ירקות?

החיים מלאים בהחלטות על סיכונים אבל בסך הכל בני אדם הם יצורי שדי גרועים בניתוח סיכונים. הנה 6 סיבות לכך שאנחנו נכשלים בהערכת סיכונים. זה קורה לכולנו – בחיים הפרטיים, בעבודה ובעיצוב מדיניות.

1. האבולוציה והרגשות שלנו מנהלים אותנו

החלק המודע והמחושב במוח שלנו עובד הרבה יותר לאט מרגשות ורפלקסים אבולוציוניים. לפני שאנחנו בוחנים נתונים סטטיסטיים ואפילו לפני שאני חושבים שכדאי להסתכל על הנתונים – המוח שלנו כבר גיבש עמדה. בדרך כלל העמדה הזו מגיעה "מהבטן" (למעשה מהמוח הקדום שלנו).

כתוצאה מכך רגשות ופחדים עתיקים מעצבים את ההחלטות שלנו. נחשים ועכבישים מפחידים אותנו בצורה לא פרופורציונאלית שאנחנו לא יודעים להסביר. זה בגלל שהפחד מהם הוא שריד אבולוציוני. הבעיה היא שסיכונים חדשים לא מפחידים אותנו באותה מידה. למשל, מכוניות מסוכנות הרבה יותר מנחשים, אבל אתם לא חשים פחד ממכוניות, נכון?

2. אנחנו מפחדים ממקרים יוצאי דופן

כשאנחנו נחשפים לאירוע עוצמתי ויוצא דופן אנחנו חווים אותו הרבה יותר חזק ממה שהוא באמת. הבעיה היא שבראש שלנו אירוע חמור ונדיר – מתורגם ליותר נפוץ ושכיח. כן, זה סותר את ההיגיון. התופעה הזו נקראת הטיית הבולטות (salience bias). פגיעות ברק, התאבדויות, תאונות מטוס ותקיפות כריש – כמעט לא מתרחשות. אבל אנחנו מתייחסים אליהם כסיכונים שכיחים. כנראה שגם עבור מקבלי החלטות יותר אטרקטיבי לטפל במקרים צבעוניים.

3. אנחנו מתעלמים מסיכונים מצטברים

הצד השני של המשוואה הוא סיכונים כרוניים. מלחמות ואירועי טרור מפחידים אותנו יותר מתאונות; תאונות מפחידות אותנו יותר מסרטן; וסרטן מפחיד אותנו יותר ממחלות לב והשמנת יתר. אבל באופן פרדוקסלי, דווקא הסיכונים ה"זוחלים" עם ההשפעה המצטברת, מסוכנים ושכיחים יותר.

כנראה שגם זה קשור לשורשים האבולוציוניים שלנו, שהתפתחו במשך מיליוני שנים. כשתוחלת החיים הייתה קצרה (ולפני המדע המודרני) – הסיכונים המרכזיים היו אקוטיים: אלימות, תאונות וכו'. לא היה זמן לחלות מסרטן או לפתח מחלת לב, כי תוחלת החיים הייתה פחות מ-40. עכשיו הגלגל התהפך. אנשים כמעט לא מתים ממלחמות, אלא ממחלות שמתפתחות לאורך שנים כתוצאה מאורח החיים המודרני (כאן יש השואה בין מדיניות שונות בעולם).

4. אשליית השליטה

אנחנו מרגישים יותר בטוחים כשיש לנו שליטה על התוצאה או כשאנחנו בוחרים לקחת סיכון. נסו לנהוג ברכב ואז להתחלף עם מישהו ולעבור למושב ליד הנהג. פתאום חוויה הנסיעה הרבה יותר מלחיצה (ואתם כל הזמן מעירים לו).
כשאנחנו חושבים שיש לנו שליטה או בחירה – אנחנו יותר מוכנים לקחת סיכונים. האפקט הזה מתעצם עם הזמן. יש לזה שתי משמעויות – אנחנו פוחדים יותר כשאין לנו שליטה, גם אם מדובר באותו סיכון בדיוק; ואנחנו מנסים לקחת לשליטה (למשל להטיל פיקוח) כי זה גורם לנו להרגיש בטוחים יותר.

5. יש לנו העדפה לדברים טבעיים

אנחנו תופסים את הטבע כ"שפיר" ובטוח. ומנגד מילים כמו "כימיקלים" ו-"קרינה" מלחיצות אותנו. יש לנו רתיעה מחומרים סינטטים ואנחנו בעד מוצרים אורגניים. טבעי הוא לא בהכרח בטוח.

יש לזה השפעות מעשיות. אנחנו מפחדים מקרינה גרעינית אבל לא מפחדים ולא נזהרים באותה מידה מקרינת השמש, למרות שהיא הורגת הרבה יותר אנשים (סרטן העור). בשנת 2004 ה-FDA הכניס לפיקוח ואף פסל תוספי תזונה טבעיים שהכילו חומר טבעי בשם ephedrine alkaloids – מאחר שהוא נמצא לא בטיחותי.

6. אנחנו לא מפחדים מהפחד עצמו

הסעיף הזה הוא סעיף כפול. ראשית, התרבות שלנו (במיוחד במגזר הציבורי) מעודדת זהירות. זה מתבטא בעקרונות כמו "better safe than sorry" והשגיאה המכונה "עיקרון הזהירות המונעת". שנאת סיכון נתפסת כדבר חיובי, ומי שמוכן ליטול סיכונים מוגדר כפזיז או כיוצר הפקרות. אבל כמו שהדגמתי בעבר הימנעות מסיכון היא אסטרטגיה מאוד מסוכנת.

שנית, הלחץ (stress) שכרוך בפחד מסיכונים לא בריא. מספר מחקרים מצאו שככל שאנשים נחשפו יותר לסיקור התקשורתי של אסונות (כמו פיגוע מגדלי התאומים) – כך הם סבלו יותר מחרדה ודיכאון (ויש ממצאים לגבי השפלכות נוספות כמו סכרת ומחלות לב). במילים אחרות – הפחד לא בריא לנו, literally.

ולסיום חידה: איזה גורם מוות יותר שכיח בארה"ב: התאבדות או רצח?

(התשובה כאן)

רגולציה ובינה מלאכותית (1): אדם, מכונה ורגולטור

השעה 14:45 ביום 6 במאי 2010 תיזכר לדיראון עולם בהיסטוריה של השווקים הפיננסיים. בתוך כמה דקות המדדים המובילים בארה"ב צנחו בפראות ומחקו שווי של כטריליון דולר. ובתוך חצי שעה הם הספיקו להתאושש. מקרה מוזר של קריסה ומיד השתקמות.

הדעה הרווחת היא שמפולת הבזק של 2010 נגרמה כתוצאה מפעילות של תוכנות למסחר אלגוריתמי בתדירות גבוהה (HFT). אלו תוכנות מחשב למסחר אוטומטי שמתמחות במסחר בהיקפים עצומים ובמהירויות גבוהות. חלק ממפעילי התוכנות האלגוריתמיות נקטו בטקטיקות חדשות כמו Spoofing ו-Layering שנועדו להשפיע על שערי המסחר בהיקפים עצומים.

כבר עשרות שנים שיש רגולציה של השווקים הפיננסיים והיא כוללת גם מניפולציות בשווי ניירות הערך. אבל המפולת של ה-6 במאי המחישה שהרגולציה צריכה עדכון גרסה כדי להתמודד עם המסחר האלגוריתמי, שכיום אחראי לרוב המסחר בבורסות. להמשיך לקרוא רגולציה ובינה מלאכותית (1): אדם, מכונה ורגולטור