מקום ליד השולחן: האם ה-ChatGPT יכול "לשבור את הקונספציה"?
מאת: תא"ל (מיל.) איתי ברון וד"ר תהילה שוורץ אלטשולר
תאריך: 01/05/2023
לקריאת המחקר המלא - ראו קובץ PDF
בערב יום הכיפורים מתכנסת הצמרת המדינית-ביטחונית של ישראל לדיון חירום סביב שולחנה של ראש הממשלה. ראש אמ"ן מציג את המידע ההתרעתי שהגיע בימים האחרונים. הוא פותח במידע ובהערכות שהעביר המלך חוסיין לראש הממשלה וממשיך בניתוח שורה של סימנים מטרידים נוספים: תרגיל מלחמה שהחל במצרים, שבמסגרתו נמצאים הכוחות בכוננות עליונה ובהיערכות למלחמה; ביטול חופשות וכניסה למערכי חירום בצבא סוריה; מידע מפורש שלפיו התרגיל הוא למעשה מסווה למלחמה ובסיומו תתקוף מצרים את ישראל; ביקור של שר המלחמה המצרי בסוריה; ומידע חדש שהגיע בלילה שעבר על פינוי כל היועצים הסובייטים ממצרים וסוריה.
בסיום הסקירה שואלת ראש הממשלה באופן ישיר: האם תהיה מלחמה מחר? את התשובה שהשיב ראש אמ"ן ב-5 באוקטובר 1973 אנחנו מכירים היטב, וכך גם את תוצאותיה הטראגיות: מקבלי ההחלטות הבכירים ביותר בישראל, בדרג המדיני ובדרג הצבאי, העריכו עד לפרוץ הקרבות ממש שהסבירות למלחמה בין ישראל לערבים היא נמוכה.
אבל, בסימולציה שערכנו לאחרונה, השיב ראש אמ"ן תשובה אחרת. הוא ענה לראש הממשלה שלפי המידע "מצרים וסוריה נערכות לפעולה צבאית וייתכן שתהיה מלחמה בטווח הזמן הקרוב" וכן "שהסבירות למלחמה גבוהה מזו של השלום". עם זאת, הוא הוסיף שלא ניתן "לחזות במדויק אם מלחמה תתחיל מחר או לא".
מי ששימש בתפקיד ראש אמ"ן בסימולציה הזאת לא היה קצין מודיעין וותיק ומיומן, אלא ה-ChatGPT של חברת OpenAI (להלן: GPT), שמטלטל את העולם מאז הופעתו בנובמבר 2022. השימוש בצ'טבוט הנגיש, בשיחה רהוטה שדומה מאוד לשיחה אנושית, מאפשר לרבים לחוות את ההתקדמות העצומה בתחום הבינה המלאכותית היוצרת (Generative AI) ומעורר שאלות לגבי יכולתה לבצע משימות חשיבה מתקדמות, שעד לא מזמן נתפסו בתחום היתרון המובהק של המוח האנושי (על "מערכות שפה גדולות יוצרות", ראו להלן בנספח). לשאלות אלו יש, כמובן, השלכות גם על פוטנציאל השימוש במוצרי בינה מלאכותית יוצרת בתחום המודיעין בכלל והמודיעין האסטרטגי בפרט.
הסימולציה על מלחמת יום הכיפורים היא חלק משלוש סדרות של סימולציות שערכנו לאחרונה במטרה לבחון את יכולתו של ה-GPT לסייע לייצר הערכת מודיעין כבסיס לקבלת החלטות אסטרטגיות בתנאי אי וודאות קשים. מדובר, ככל הידוע לנו, בהתנסות אמפירית ראשונה עם מודל שפה ענק כדוגמת ה-GPT בהיקף רחב בהקשרים של מודיעין אסטרטגי. כל הסימולציות בוצעו עם גרסת ה-3.5 של ה-GPT. על חלק מהסימולציות חזרנו גם עם גרסת ה-4.0 של המערכת באמצע מרץ 2023 והן חיזקו את המסקנות שאליהן הגענו באמצעות שימוש בגרסה המוקדמת יותר.
מטרתו של מסמך זה היא להציג את הסימולציות ולנתח את תוצאותיהן. כל הסימולציות עסקו ברמות המודיעין הגבוהות (מודיעין לאומי-אסטרטגי), כבסיס לקבלת החלטות בצמרת הצבאית והמדינית. הנושא המרכזי שנבחן בסימולציות היה יכולתו של ה-GPT לסייע להערכת המודיעין במרחב הזמן של ימים ושעות לפני תחילת מתקפת פתע או מהלך התקפי אחר.
מודלי שפה ענקיים כדוגמת ה-GPT כבר יכולים לבצע מטלות בסיסיות של איסוף, סיווג וניתוח מידע באיכות, במהירות וביעילות המשתוות לאלו של בני אנוש. בהקשר שלנו, ה-GPT הדגים יכולת להצביע על "אפשרויות מתחרות", הן כהסברים לתופעות שנצפות במידע והן כתרחישים לגבי העתיד. הוא גם הראה יכולת לסייע בהכוונת האיסוף. לתוצאה זו ישנה חשיבות שכן רבות מהפעילויות המחקריות השוטפות, בעיקר של החוקרים הזוטרים, הן מהסוג הזה. נכון לבחון את היכולות האלו בסימולציות נוספות שכן סביר שניתן יהיה לרתום את המכונות לביצוע משימות כאלו באופן שיוכל להפנות משאבים למשימות אחרות, מורכבות יותר.
ואולם, המסקנה המשמעותית יותר שעולה מהסימולציות שביצענו היא שלמערכת ישנן סגולות נוספות שנוגעות דווקא למשימות חשיבה מתקדמות. מסקנה זו עולה בקנה אחד עם מחקרים נוספים שפורסמו לאחרונה שטוענים שמודלי שפה ענקיים יכולים לבצע תהליכי חשיבה והיסק כאלו, אך בדרך שונה מזו של בני אדם. שונות זו מאפשרת העשרה של תהליכי החשיבה האנושיים.
נקודת המוצא לתיאור תוצאות אלו של הסימולציה היא הקביעה של וולשטטר שהבאנו בפתח המאמר אודות "הנטייה של בני אנוש להיצמד בעקשנות לדעות ישנות", היינו – לקונספציה. הממצא העיקרי שזיהינו בסימולציות הוא של-GPT יש יכולת גבוהה להצביע על סתירה בין קונספציה לבין מידע סותר, ללא ההטיות שמאפשרות וגורמות לחוקרים אנושיים למצוא דרכים לעמעם את הסתירה ולהיצמד בעקשנות למה שמוכר, מצופה ורצוי. כלומר, אין לו את אותה "התנגדות עיקשת ... לחומר חדש" שיכול לערער את הקונספציה, שאותה זיהו וולשטטר וחוקרים רבים אחרים. ההשערה שעולה מהסימולציות היא שהקונספציה ("דעת המומחים") נתפסת על ידי ה-GPT כפריט מידע נוסף ולא כזה שיש לו עדיפות על פרטי המידע האחרים. זאת, ככל הנראה, משום שדרך הניתוח שלו שונה מזו של חוקרים אנושיים שנזקקים למסגרת תפיסתית (קונספציה) כדי לברר את המציאות ולהבין אותה. לתכונה זו יכולה להיות, להערכתנו, חשיבות ככלי עזר להערכת המודיעין.
ל-GPT יש כמובן ליקויים והטיות משלו. כל התנסות עם ה-GPT (גם בגרסה 3.0 וגם בגרסה 4.0) מראה שיש לו מגבלות קשות בכל הקשור לתיאור המציאות העדכנית ובמתן מענה על שאלות ידע בסיסיות. אין לו יכולת להבחין בין אמת לשקר והוא לעיתים קרובות ממציא פרטים שאינם קיימים במציאות. עניין זה לא השפיע על הסימולציות שכן במהלכן לא עשינו שימוש ביכולת חיפוש המידע של ה-GPT. אנחנו סיפקנו ל-GPT הן את נתוני היסוד והן את כל המידע המודיעיני שעליו התבססה הסימולציה. מה שבחנו הוא את יכולתו לסייע בתהליך הניתוח של המידע שסופק לו. יכולת זו מבוססת, כנראה, על היכרות עם ישויות (מדינות, ארגונים) בעלות מאפיינים דומים; היכרות עם פרשיות עבר ואירועים שבהם השתקפו תהליכים ודינמיקות רלוונטיים; והיכרות עם גישות מחקריות מתחומים שונים.
לכן, הגישה שאנו מציעים במאמר זה באשר לפוטנציאל השימוש ב-GPT ובמוצרי בינה מלאכותית יוצרת דומים היא זו של "מקום ליד השולחן". לפי גישתנו, אין כוונה שה-GPT יחליף את ראש אמ"ן או את החוקרים של חטיבת המחקר אלא שייעשה בו שימוש להעשרת תהליך החשיבה שלהם.
הסימולציות שקיימנו מוכיחות של-GPT יש צורת ניתוח שונה וסגולות ייחודיות שביכולתן לסייע לאנשי מודיעין ולמקבלי החלטות לברר את המציאות ולהבין אותה. שונות זו היא שמהווה בראייתנו את "כרטיס הכניסה" של ה-GPT לדיונים שמתנהלים סביב שולחנו של ראש אמ"ן ושולחנות נוספים בארגונים המודיעיניים. את מאפייניו המדויקים של המקום הזה סביב השולחן נכון להגדיר במחקרי המשך.
תאריך: 01/05/2023
לקריאת המחקר המלא - ראו קובץ PDF
בערב יום הכיפורים מתכנסת הצמרת המדינית-ביטחונית של ישראל לדיון חירום סביב שולחנה של ראש הממשלה. ראש אמ"ן מציג את המידע ההתרעתי שהגיע בימים האחרונים. הוא פותח במידע ובהערכות שהעביר המלך חוסיין לראש הממשלה וממשיך בניתוח שורה של סימנים מטרידים נוספים: תרגיל מלחמה שהחל במצרים, שבמסגרתו נמצאים הכוחות בכוננות עליונה ובהיערכות למלחמה; ביטול חופשות וכניסה למערכי חירום בצבא סוריה; מידע מפורש שלפיו התרגיל הוא למעשה מסווה למלחמה ובסיומו תתקוף מצרים את ישראל; ביקור של שר המלחמה המצרי בסוריה; ומידע חדש שהגיע בלילה שעבר על פינוי כל היועצים הסובייטים ממצרים וסוריה.
בסיום הסקירה שואלת ראש הממשלה באופן ישיר: האם תהיה מלחמה מחר? את התשובה שהשיב ראש אמ"ן ב-5 באוקטובר 1973 אנחנו מכירים היטב, וכך גם את תוצאותיה הטראגיות: מקבלי ההחלטות הבכירים ביותר בישראל, בדרג המדיני ובדרג הצבאי, העריכו עד לפרוץ הקרבות ממש שהסבירות למלחמה בין ישראל לערבים היא נמוכה.
אבל, בסימולציה שערכנו לאחרונה, השיב ראש אמ"ן תשובה אחרת. הוא ענה לראש הממשלה שלפי המידע "מצרים וסוריה נערכות לפעולה צבאית וייתכן שתהיה מלחמה בטווח הזמן הקרוב" וכן "שהסבירות למלחמה גבוהה מזו של השלום". עם זאת, הוא הוסיף שלא ניתן "לחזות במדויק אם מלחמה תתחיל מחר או לא".
מי ששימש בתפקיד ראש אמ"ן בסימולציה הזאת לא היה קצין מודיעין וותיק ומיומן, אלא ה-ChatGPT של חברת OpenAI (להלן: GPT), שמטלטל את העולם מאז הופעתו בנובמבר 2022. השימוש בצ'טבוט הנגיש, בשיחה רהוטה שדומה מאוד לשיחה אנושית, מאפשר לרבים לחוות את ההתקדמות העצומה בתחום הבינה המלאכותית היוצרת (Generative AI) ומעורר שאלות לגבי יכולתה לבצע משימות חשיבה מתקדמות, שעד לא מזמן נתפסו בתחום היתרון המובהק של המוח האנושי (על "מערכות שפה גדולות יוצרות", ראו להלן בנספח). לשאלות אלו יש, כמובן, השלכות גם על פוטנציאל השימוש במוצרי בינה מלאכותית יוצרת בתחום המודיעין בכלל והמודיעין האסטרטגי בפרט.
הסימולציה על מלחמת יום הכיפורים היא חלק משלוש סדרות של סימולציות שערכנו לאחרונה במטרה לבחון את יכולתו של ה-GPT לסייע לייצר הערכת מודיעין כבסיס לקבלת החלטות אסטרטגיות בתנאי אי וודאות קשים. מדובר, ככל הידוע לנו, בהתנסות אמפירית ראשונה עם מודל שפה ענק כדוגמת ה-GPT בהיקף רחב בהקשרים של מודיעין אסטרטגי. כל הסימולציות בוצעו עם גרסת ה-3.5 של ה-GPT. על חלק מהסימולציות חזרנו גם עם גרסת ה-4.0 של המערכת באמצע מרץ 2023 והן חיזקו את המסקנות שאליהן הגענו באמצעות שימוש בגרסה המוקדמת יותר.
מטרתו של מסמך זה היא להציג את הסימולציות ולנתח את תוצאותיהן. כל הסימולציות עסקו ברמות המודיעין הגבוהות (מודיעין לאומי-אסטרטגי), כבסיס לקבלת החלטות בצמרת הצבאית והמדינית. הנושא המרכזי שנבחן בסימולציות היה יכולתו של ה-GPT לסייע להערכת המודיעין במרחב הזמן של ימים ושעות לפני תחילת מתקפת פתע או מהלך התקפי אחר.
מודלי שפה ענקיים כדוגמת ה-GPT כבר יכולים לבצע מטלות בסיסיות של איסוף, סיווג וניתוח מידע באיכות, במהירות וביעילות המשתוות לאלו של בני אנוש. בהקשר שלנו, ה-GPT הדגים יכולת להצביע על "אפשרויות מתחרות", הן כהסברים לתופעות שנצפות במידע והן כתרחישים לגבי העתיד. הוא גם הראה יכולת לסייע בהכוונת האיסוף. לתוצאה זו ישנה חשיבות שכן רבות מהפעילויות המחקריות השוטפות, בעיקר של החוקרים הזוטרים, הן מהסוג הזה. נכון לבחון את היכולות האלו בסימולציות נוספות שכן סביר שניתן יהיה לרתום את המכונות לביצוע משימות כאלו באופן שיוכל להפנות משאבים למשימות אחרות, מורכבות יותר.
ואולם, המסקנה המשמעותית יותר שעולה מהסימולציות שביצענו היא שלמערכת ישנן סגולות נוספות שנוגעות דווקא למשימות חשיבה מתקדמות. מסקנה זו עולה בקנה אחד עם מחקרים נוספים שפורסמו לאחרונה שטוענים שמודלי שפה ענקיים יכולים לבצע תהליכי חשיבה והיסק כאלו, אך בדרך שונה מזו של בני אדם. שונות זו מאפשרת העשרה של תהליכי החשיבה האנושיים.
נקודת המוצא לתיאור תוצאות אלו של הסימולציה היא הקביעה של וולשטטר שהבאנו בפתח המאמר אודות "הנטייה של בני אנוש להיצמד בעקשנות לדעות ישנות", היינו – לקונספציה. הממצא העיקרי שזיהינו בסימולציות הוא של-GPT יש יכולת גבוהה להצביע על סתירה בין קונספציה לבין מידע סותר, ללא ההטיות שמאפשרות וגורמות לחוקרים אנושיים למצוא דרכים לעמעם את הסתירה ולהיצמד בעקשנות למה שמוכר, מצופה ורצוי. כלומר, אין לו את אותה "התנגדות עיקשת ... לחומר חדש" שיכול לערער את הקונספציה, שאותה זיהו וולשטטר וחוקרים רבים אחרים. ההשערה שעולה מהסימולציות היא שהקונספציה ("דעת המומחים") נתפסת על ידי ה-GPT כפריט מידע נוסף ולא כזה שיש לו עדיפות על פרטי המידע האחרים. זאת, ככל הנראה, משום שדרך הניתוח שלו שונה מזו של חוקרים אנושיים שנזקקים למסגרת תפיסתית (קונספציה) כדי לברר את המציאות ולהבין אותה. לתכונה זו יכולה להיות, להערכתנו, חשיבות ככלי עזר להערכת המודיעין.
ל-GPT יש כמובן ליקויים והטיות משלו. כל התנסות עם ה-GPT (גם בגרסה 3.0 וגם בגרסה 4.0) מראה שיש לו מגבלות קשות בכל הקשור לתיאור המציאות העדכנית ובמתן מענה על שאלות ידע בסיסיות. אין לו יכולת להבחין בין אמת לשקר והוא לעיתים קרובות ממציא פרטים שאינם קיימים במציאות. עניין זה לא השפיע על הסימולציות שכן במהלכן לא עשינו שימוש ביכולת חיפוש המידע של ה-GPT. אנחנו סיפקנו ל-GPT הן את נתוני היסוד והן את כל המידע המודיעיני שעליו התבססה הסימולציה. מה שבחנו הוא את יכולתו לסייע בתהליך הניתוח של המידע שסופק לו. יכולת זו מבוססת, כנראה, על היכרות עם ישויות (מדינות, ארגונים) בעלות מאפיינים דומים; היכרות עם פרשיות עבר ואירועים שבהם השתקפו תהליכים ודינמיקות רלוונטיים; והיכרות עם גישות מחקריות מתחומים שונים.
לכן, הגישה שאנו מציעים במאמר זה באשר לפוטנציאל השימוש ב-GPT ובמוצרי בינה מלאכותית יוצרת דומים היא זו של "מקום ליד השולחן". לפי גישתנו, אין כוונה שה-GPT יחליף את ראש אמ"ן או את החוקרים של חטיבת המחקר אלא שייעשה בו שימוש להעשרת תהליך החשיבה שלהם.
הסימולציות שקיימנו מוכיחות של-GPT יש צורת ניתוח שונה וסגולות ייחודיות שביכולתן לסייע לאנשי מודיעין ולמקבלי החלטות לברר את המציאות ולהבין אותה. שונות זו היא שמהווה בראייתנו את "כרטיס הכניסה" של ה-GPT לדיונים שמתנהלים סביב שולחנו של ראש אמ"ן ושולחנות נוספים בארגונים המודיעיניים. את מאפייניו המדויקים של המקום הזה סביב השולחן נכון להגדיר במחקרי המשך.
