פרויקט REASON: מערכת AI לבדיקת היגיון בתוצרים מחקריים

מאת: שובל בן יאיר
תאריך: 14/05/2023
זרקור 1 בסדרה: מבט מעבר לים למערכות מידע לצרכים אנליטיים במודיעין[1]
לזרקור המלא בקובץ PDF

ההיכרות עם מערכות מידע מודיעיניות מועטה בדרך-כלל, כי רבות מהן מסווגות. עם זאת, לעתים פרסומים של ארגוני מודיעין שונים מאפשרים לנו הצצה לחלק מהדרכים בהן גופי מודיעין משלבים, או ישלבו, מערכות מידע ייעודיות בעבודתם. לדוגמה, מערכת SMAPS של ה-NGA ופרויקטי SMART ו-REASON של IARPA.

סדרת הזרקורים הנוכחית תסקור מערכות מידע שנועדו לצרכים מחקריים שונים של ארגוני מודיעין. זאת על בסיס פרסומים גלויים, כאשר כל זרקור יציג מערכת אחת. זרקור זה מתאר את פרויקט REASON, אותו התניעה IARPA בתחילת שנת 2023.[2]

הייעוד של REASON

מטרת הפרויקט, שנמצא בשלב התכנון, היא רתימת יתרונות הבינה המלאכותית (AI)[3] עבור בדיקת ושיפור הטיעונים המחקריים בדו"חות מודיעין. זאת, באמצעות סיוע של המערכת בהתמודדות עם אתגרים שחוקרי מודיעין נתקלים בהם. לפי הגדרת IARPA, שני האתגרים העיקריים  שהמערכת אמורה לסייע לחוקרים להתמודד עמם הם מציאת כל המידע הרלוונטי מתוך שפע המידע והסקת מסקנות נכונות אל מול חוסר הוודאות.

ה-Program Manager של פרויקט REASON מסביר על הפרויקט

השימוש במערכת

המשתמשים המיועדים של המערכת הם חוקרי המודיעין עצמם. כל חוקר אמור להשתמש במערכת באופן אישי, על-ידי הזנה של טיוטת התוצר המחקרי שלו. השימוש במערכת יתבצע כחלק מבדיקה עצמית של תהליכי העבודה לצורך שיפור התוצר.

דגש חשוב בפיתוח המערכת הוא שהשימוש בה לא ידרוש מחוקרי המודיעין להתאים ולשנות את התהליך המחקרי שלהם, אלא יהווה שלב נוסף בתוך התהליך הקיים.

עבודת המערכת

לאחר שהמערכת תקלוט תוצר מחקרי, היא תחזיר אותו לחוקר עם הצעות לשיפור באופן שדומה להערות של מערכת לבדיקת דקדוק, כך שהחוקר יחליט אם ברצונו לקבל את ההצעות. מכך עולה, שהמערכת לא מתיימרת להחליף את החוקר, מתוך הכרה בחסרונות של כלי AI וביתרונות האנושיים.

ההצעות האלה יכללו הצבעה על חוזקות וחולשות בטיעונים המחקריים שמובאים בתוצר תוך הצגת רעיונות להתמודדות עם החולשות, והצבעה על פיסות מידע רלוונטיות שלא נעשה בהן שימוש. בדיקת החוזקות והחולשות על-ידי המערכת תתבסס, בין היתר, על שיטות מחקר מובנות מוכרות,[4] והיא תבדוק את מימוש השיטות במקום שהחוקר יצטרך לעשות זאת.

לסיכום

פרויקט REASON נמצא בתחילת דרכו והמערכת עדיין לא פותחה, כך שמוקדם לדעת אם מימושו יצליח ויפתור את הבעיות שהוגדרו על-ידי IARPA– מציאת כל המידע הרלוונטי מתוך שפע המידע והסקת מסקנות נכונות אל מול חוסר הוודאות.

על פי הפרסומים הגלויים, למערכת עלולות להיות נקודות חולשה מגוונות – לדוגמה אופן ההגדרה של "היגיון מחקרי" עלול ליצור הטיות, החוקרים עלולים לקבל את כל המלצות המערכת ללא הפעלת שיקול דעת, וההסתמכות על כך שהחוקר יכניס לתוצר תיעוד מספק של תהליכי העבודה שלו והמקורות עליהם הוא התבסס. אם המערכת תצליח לתת מענה לחולשות השונות, היא עשויה לפתור את הבעיות ש-IARPA הגדירה, ולשפר את תוצרי המודיעין של משתמשיה.


[1] תודה לסא"ל (מיל') נעם אלון על הסיוע בכתיבת סדרת הזרקורים, ובכללה הזרקור הנוכחי. נעם אלון הוא עמית מחקר בכיר במכון לחקר המתודולוגיה של המודיעין.
[2] כלל המידע על פרויקט REASON הובא מהמקורות הבאים – https://bit.ly/3llGW2r, http://bit.ly/3KrVFmS, http://bit.ly/3KsvFYA, https://bit.ly/41ODSfE
[3] משפחת טכנולוגיות שמבצעות משימות בצורה שמדמה את אופן הפעולה של המוח האנושי. כלי AI שונים מתמקצעים בסוגים שונים של משימות. מקור – O'Brien, A. (June 21st, 2022). The Power and Pitfalls of AI for US Intelligence. Wired. http://bit.ly/3M5FmgH
[4] לדוגמה SAT, שהוא סט כלים שנועד להבנות את החשיבה, לצמצם את השלכות המגבלות הקוגניטיביות, ולשקף את תהליך המודיעין למקבלי ההחלטות. הכלים האלה לא מהווים תהליך שלם ולא מחליפים את החשיבה האינטואיטיבית, אלא משתלבים בתוכם. קיים מגוון רחב מאוד של כלים מסוג זה, שמתאימים למקרים ולצרכים שונים. מקור – https://bit.ly/cognitive-biases-solutions
חזרה

אולי יעניין אתכם לקרוא גם

כיצד ראוי להגדיר את הפעילות הגוברת בסייבר: רכיב בתחרות המודיעינית? תחרות אסטרטגית?

מטרת הסקירה שלפניכם היא להציג את שתי התזות המתחרות ביחס לשאלה האם יש לראות בסייבר כרכיב בתחרות המודיעינית או כתחרות אסטרטגית? היא מבוססת על שני פרקים הלקוחים מספר שיצא לאחרונה בכותרת "Deter, Disrupt, Or Deceive: Assessing Cyber Conflict As an Intelligence Contest". מהלך הסקירה כולל הצגה של מאפייני התחרות המודיעינית, לפי Joshua Rovner (מחבר פרק מספר 1), הצגת כל אחת משתי התיזות ביחס לשאלת המחקר כפי שמתארים אותן Fischerkeller ו- Harknett בפרק החמישי ולבסוף דיון קצר סיכום ומסקנות. 
קרא עוד

התמודדות קהילת המודיעין עם 'פייק ניוז' / Hector Rendon, Alyson Wilson & Jared Stegall

הזרקור עוסק בחקר דפוסי הפצת מידע כאמצעי למדידת אמינות כלי התקשורת. כותבי המאמר עשו שימוש בכלים סטטיסטיים במטרה ליצור אלגוריתם המבוסס על מומחיותם של חוקרי קהילת המודיעין בזיהוי מידע אמין. המאמר מצביע על האפשרות לתפקיד מרכזי של קהילת המודיעין במיפוי תופעת ה'פייק ניוז'. למימוש תפקיד זה על ידי קהילת המודיעין יתרונות רבים, בהם ייעול עבודתם של חוקרי המודיעין ויחידות האיסוף; הרגעת אזרחים מודאגים, שיוכלו ללמוד מניסיונה של קהילת המודיעין בעידן של שקיפות; ושימוש כמקור השראה לסקטור הפרטי, תוך אספקה של ההבנות והאלגוריתם שפיתחה קהילת המודיעין.
קרא עוד

פרסומי קהילת המודיעין האמריקנית בנוגע לאיומים ומגמות ארוכות-טווח - תובנות מתודולוגיות / מאת: ד"ר עופר גוטרמן

בחודשי האביב פרסם משרד מנהל המודיעין האמריקני (ODNI) בגלוי שני מסמכי הערכה משמעותיים: ב-9 באפריל התפרסם מסמך האיומים השנתי של קהילת המודיעין (Annual threat assessment) ובחודש מרס התפרסם מסמך המגמות העולמיות לשנת 2040 (Global trends 2040), אותו גיבשה "קבוצת העתידים האסטרטגיים" ב-NIC (גוף המחקר של ה-DNI). יחדיו, שני הפרסומים פורסים את הערכת המודיעין של הקהילה האמריקנית ביחס לאתגרים הניצבים בפני ארצות הברית בטווח הזמן הקצר של השנים הקרובות, וביחס לעתיד ארוך הטווח של שני העשורים הבאים. הזרקור שלפניכם, אשר נכתב ע"י ד"ר עופר גוטרמן, עמית מחקר בכיר במכון, מציג את התובנות המרכזיות בהיבטים המתודולוגיים שעולות משני פרסומים אלו. מעבר לתכני ההערכה המעניינים כשלעצמם, פרסומים אלו מאפשרים הצצה עדכנית לאופן שבו המודיעין האמריקני תופס את תפקידו ביחס לקברניטים, כמו גם כלפי הציבור. בנוסף, מהמסמכים משתקפת המחויבות ליסודות המקצוע המודיעיני, לצד יישום מתודולוגיה ייעודית להערכת העתיד והקפדה על "שיתוף ציבור" בתהליך ההערכה.
קרא עוד

מבט מעבר לים: נשים במודיעין האמריקאי

"נשים במודיעין האמריקאי" הוא המאמר השני מגיליון מספר 8 של כתב העת "מודיעין הלכה ומעשה", העוסק במגדר ומודיעין, וייצא לאור בשבועות הקרובים. במאמר – שמתבסס על סדרת שיחות שניהלה ענבל עם בכירות בקהילת המודיעין האמריקאי - מציגה ענבל קארו, עמיתת מחקר במכון, את האופן בו  נדרשת קהילת המודיעין האמריקאית לסוגיית המגדר ואת הדרכים בהן ניתן להתמודד עם חסמים העומדים בפני נשים המעוניינות להתקדם במערכת. בין התובנות במאמר ראוי לציין החלטה של הנהלת הארגונים שמתרגמת להגדרת נהלים והישגים מדידים, הצורך בשקיפות והכרה בכך שתהליכים ארגוניים מרכזיים נוטים לטובת הגברים. בגיליון ניתן יהיה לקרוא גם על נקודות מבט שונות בקהילת המודיעין הישראלית בסוגיית קידום נשים וללמוד מהמגזר הפרטי בישראל, בדגש לתחום ההייטק. הגיליון יוצא בשיתוף של המכון לחקר המתודולוגיה של המודיעין וענף מד"ה באמ"ן.
קרא עוד