ה"היצמדות" ל-CUDA והעתיד

כפרילאנסר, אני מציע שרות שלא מעט חברות ועסקים זקוקים לו בהתחלה – והוא קשור ל-CUDA, הדרייבר של nVidia, והשבב הגרפי הפנימי שנמצאים במעבדים של אינטל (בתחנות עבודה). הצירוף של ה-GPU המובנה במעבד של אינטל וה-GPU של Nvidia לא תמיד יודעים "לעבוד" יחד, במיוחד בכל מה שקשור ל-OpenGL ו-Xorg וצריך לדעת איך "לפשר" ביניהם. מעבר לכך, ה-CUDA של Nvidia יכול לעבוד רק מגרסאות מסויימות בכרטיסי ה-GPU החדשים של NVidia כמו Tesla מסידרה T. כתוצאה מכך אני עוקב בזמני הפנוי אחרי גרסאות CUDA, דרייברים הן של אינטל והן של Nvidia.

מבחינת השוק כיום – בין אם מדובר בסטארטאפים, עצמאים וחברות שעובדים בתחומים הקשורים ל-AI, Deep learning וכו', כרטיסי ה-GPU המועדפים בצורה חד משמעית הם הכרטיסים של NVidia וכמובן הכל הולך לפי התקציב: למי שאין תקציב, רוכש כרטיסי RTX (כרטיסי ה-GTX כבר "מתו"), ולמי שיש תקציב – רוכש כרטיסי Tesla או Quadro. כשזה מגיע לשרתים, ההמלצה החד משמעית היא כרטיסי Tesla הואיל והאיוורור שיש בשרתים אינו מתאים לכרטיסי RTX (זה יעבוד, אבל הכרטיס יוריד עצמאית את מהירות העיבוד בצורה דרסטית בהתאם לטמפרטורות בכרטיס).

כתוצאה מכך, כל פלטפורמות הפיתוח (TensorFlow, Caffe וכו' וכו') תומכות בצורה מלאה ב-CUDA, כמו שהן תומכות בכרטיסי GPU אחרים (אם אין לך GPU של NVidia, אין שום בעיה לעבוד עם כרטיס GPU אחר, או עם ה-GPU המובנה או עם המעבד עצמו – הביצועים יהיו בהתאם). אם ביצועי GPU יחיד של NVidia אינם מספקים אותך (ורכשת כרטיס RTX 2080 ומעלה), תוכל להוסיף GPU נוסף (ויותר) ולחבר ביניהם עם מחבר NVLink שנמצא בחלק העליון של הכרטיס. פלטפורמת CUDA יודעת לזהות מיידית את הכרטיס ולחלק את העבודה ביניהם, תוך כדי שהיא נותנת "ציון" לכל GPU ובהתאם לכך היא מחלקת את העומסים.

כשזה מגיע לעננים ציבוריים, התמונה משתנה במעט. אם אתם משתמשים בעננים של אמזון או מיקרוסופט, אתם יכולים לשכור Instance הכולל GPU של Nvidia (מיקרוסופט מאפשרת כיום גם לשכור GPU של AMD, תיכף אתייחס לכך) ואילו גוגל מציעה ללקוחותיה לשכור Instance עם GPU של NVidia או עם פתרון משלהם שנקרא TPU (שנותן ביצועים שאינם נמוכים ממה ש-NVidia יכולה להציע גם עם הכרטיס הכי חזק שלה).

כאן מתחיל העניין שנקרא תחרות, ואת התחרות מייצג פתרון שנקרא OpenCL. פתרון OpenCL זקוק למימוש בדרייבר עצמו וכל יצרן (כולל NVidia) כותב זאת ומציע זאת ללקוחותיו. היתרון המוחץ של OpenCL על CUDA, הוא בכך שהוא מזכיר את OpenGL ו-DirectX – אתה יכול להשתמש באיזה GPU שתרצה, ובהתאם למימוש בדרייבר – התוצאות יהיו בהתאם. גם ה-TPU של גוגל וגם הפתרון GPU של AMD משתמשים ב-OpenCL במימושים שונים על מנת לאפשר למפתחים ולפלטפורמות את תמיכת ה-OpenCL שהן דורשות. (למעוניינים, להלן לינק המשווה בין OpenCL לבין CUDA. מי שמחפש את הגירסה המקוצרת: CUDA = פתרון סגור, OpenCL = פתרון פתוח לחלוטין שנתמך בכל GPU)

וכאן מגיע עניין חשוב שנקרא תחרות. נכון, NVidia שולטת כרגע בתחום ה-AI, DL, אולם מתחת לפני השטח דברים משתנים בקצב מאוד מהיר, להלן מספר מוצרים מתחרים:

  • אינטל הכריזה לאחרונה על שני פתרונות ל-AI (גאווה ישראלית: הם פותחו כאן בארץ). הפתרונות הללו לא רק תומכים ב-OpenCL אלא במגוון פלטפורמות וכמיטב המסורת של אינטל בקטע הזה, הכל בקוד פתוח. זהו הכרטיס הראשון ל-AI ו-DL שמשתמש ב-PCIe 4 X16. הקטע האירוני: בשביל להשתמש בכל רוחב הפס, תצטרך כיום .. מעבד ולוח של AMD..
  • עוד פתרון חומרה כחול לבן הוא של חברת Habana שמציעים את GOYA ככרטיס למחשב ושרת, ואת GAUDI כפתרון כחלק ממערכת מלאה (כרטיס יעודי). גם כאן, יש תמיכה מלאה ל-OpenCL ומגוון פלטפורמות AI ו-DL.
  • עוד פתרון מגיע מסין מחברה מאוד ידועה – Huawei, אם כי בניגוד לשאר, החברה הציגה מעבד בלבד (כלומר לא פתרון קצר) בשם Ascend 910 שהחברה טוענת שהוא מעבד ה-AI הכי מהיר בעולם.
  • ל-AMD יש כרגע את כרטיסי ה-GPU מסידרת Instinct ל-AI ו-DL. החברה מתעתדת בחודשים הקרובים להכריז על הדור הבא.
  • אינטל (כן, שוב) – מתעתדת בשנה הקרובה להוציא משפחת כרטיסי GPU חדשים שתתחרה הן ב-GPU הרגילים של NVidia ו-AMD והן GPU למטרות AI ו-DL – הם יהיו תחת משפחה בשם "Xe".

רוב המוצרים שתיארתי יתקשו להיכנס לשוק, למעט הפתרונות של אינטל. לאינטל יש כח שיווק אדיר ולכן חברות גדולות צריכות לצפות ל"הצפה שיווקית" מאינטל עם מחירים תחרותיים מאוד. מכיוון שאינטל אינה תומכת ב-CUDA, ותרצו להכניס את הפתרונות שלה, כדאי שתבדקו אם הפתרונות של אינטל יריצו את האפליקציות שלכם (כיום לפחות אינטל מכסה את הרוב המוחלט).

דבר שחשוב לדעת: שוק פתרונות החומרה ל-DL, AI מתחיל להשתנות ולפצל דברים ל-2: יש את פתרונות ה-Training (כלומר – הדברים שרצים אצלכם בחברה – אתם "מזינים" אלפי תמונות/וידאו וכו' ומאמנים את המערכת) ויש את החלק של Inference שצריך להתמודד עם העולם האמיתי, והחלק של ה-Inference אמור לכלול פתרון יעודי (כרטיס מיוחד או חלק מלוח אם) שישולב בפתרון החומרה שיותקן אצל הלקוח.

עוד נקודה חשובה: ישנם כל מיני אנשים שממליצים לבצע את ה-Inference על מעבדים. אם אתם רוצים לעשות זאת על מעבדים, קחו את המעבדי EPYC החדשים של AMD – גם תחסכו 40-70% במחיר (תלוי בכמות הליבות) ותוכלו לבחור מעבד עם עד 64 ליבות או 2 מעבדים עם 128 ליבות (שימו לב: אתם צריכים את הסידרה החדשה 7XX2, לא את הישנה 7XX1).

לסיכום: כמו תמיד, אינני ממליץ לשים את כל הביצים בסל אחד. כן, הפתרון של NVidia הוא פתרון מעולה אך הוא פתרון סגור שרץ רק על הכרטיסים של Nvidia. אם אתם מפתחים פלטפורמה או קוד בפלטפורמה או אפליקציה משלכם, תבדקו אם היא עובדת עם OpenCL. אחרי הכל – אינכם יודעים מה הלקוח שלכם ירצה להריץ וחבל למצוא את עצמכם בדקה ה-90 מציעים פתרון שלא יכול לרוץ בתשתית של הלקוח. השוק ישתנה ב-2020 ועוד יותר ב-2021 (לכל החברות "נפתחו העיניים" וכולם רוצים את הרווחים המאוד נאים ממכירות כרטיסים ופתרונות כאלו).

ההשמצות והלכלוך נגד Huawei

אתחיל את הפוסט בסיטואציה דמיונית: אתם מחפשים בחברה לאחד התחומים המקצועיים מישהו רציני שמבין לעומק בתחום עם נסיון עשיר. כמובן שתוך זמן קצר אתם תוצפו בקורות חיים (80% מהם לא רלווונטיים, 15% מהם עברו "שיפוץ" להתאים למשרה – אך קל להבחין בתחמנות). בסופו של דבר אתם קובעים עם כמה אנשים ראיונות ואת אחד הראיונות אתם קובעים עם גיל. גיל מצליח להרשים בידע הטכני והמקצועי שלו לתחום הרלוונטי ואתם מוכנים כבר לשלוף חוזה ולהחתים את הבחור, אבל מבחינה בירוקרטית, גיל היקר צריך לעבור צריך לעבור עוד כמה ראיונות עם אנשים אחרים בחברה – כח אדם אולי, מחלקת אבטחת מידע, אולי גם איש בטחון (תלוי בעסק שלכם) וכו'.

בסופו של דבר אתם (אתה, האחראית מכח אדם, אבטחת מידע, בטחון, אולי גם המנמ"ר וכו') מתכנסים לישיבה בה מועלים השמות של אלו שרואיינו. אחד אחד מועלים השמות של המרואיינים וכל נציג מחלקה מעלה את הסייגים או ההמלצות שלו/ה לגבי המרואיין/ת, ואז עולה השם של גיל. לאחראית כח האדם אין שום התנגדות, הוא דווקא בחור נחמד, לך יש רק מילים טובות לאמר על גיל מהתרשמות לגביו מבחינה מקצועית אבל לאיש הבטחון יש מה לאמר – הבחור לא מתאים. יש לו "רקע". הוא נחקר בעבר במשטרה. אוקיי, יש נגדו כתב אישום, שפטו אותו? קיבל כלא או משהו? או שסגרו את התיק אחרי שהתברר שאין כלום? לאיש הבטחון אין תשובות אבל הוא לא רוצה שגיל יעבוד בחברה. אז מחליטים – גיל לא יעבוד בחברה.

רצה הגורל, וחודש אחרי זה אתה משתתף בכנס בתחום המקצועי שלך, אתה מסתכל לבמה ורואה מרצה שמוכר לך מהיכן שהוא. הבחור מתחיל להרצות ולהדגים בדיוק על התחום שלך ובשקופית שמציגה את הבחור נופל לך האסימון: זה אותו גיל, שפסלתם. הוא נהיה אחראי בדיוק על התחום שלך – רק בבנק גדול וידוע בארץ. יכול להיות שאותו בנק השקיע 30 שניות יותר לבדוק את גיל והבין מה שהבין ובכך החליט בכל זאת לקבל אותו? סביר להניח.

נעבור מדוגמא מומצאת – למציאות. האמריקאים החליטו להיטפל לחברות תקשורת סיניות בהאשמות שונות ומשונות. זה התחיל בהאשמות נגד חברת ZTE שמכרה, שוד ושבר – טלפונים סלולריים (בסיסיים) לאיראן! ZTE שברה את האימברגו, הממשל החליט לשלול את האפשרות לחברה לרכוש רכיבים אמריקאיים כך שהחברה תקרוס. זה בסוף לא קרה כי בראש הממשל האמריקאי יושב אדם שחולה על ליטוף אגו, אז ZTE עבדה קשות על ליטוף האגו שלו ובסופו של דבר סוכם שה"חברה המסוכנת" ZTE תשלם סכום של מיליארד דולר ותחליף את כל ההנהלה. האישומים עפו דרך החלון החוצה. אגב, חברה קצת יותר ידועה, אולי שמעתם עליה – סמסונג – עשתה ועושה זאת עד היום (מוכרת ציוד סלולרי לאירן). האם הממשל האמריקאי "נכנס" בה? חס ושלום!

נעבור מכאן לחשודה העיקרית – Huawei שמואשמת ע"י האמריקאים בכך שהנהלתה קשורה לשלטון הסיני ומשכך אסור לרכוש ציוד תקשורת ממנה. לא עזרו ההסברים של Huawei שבקשות ריגול מצד הממשל הסיני פשוט ירסק אותה פיננסית, וגם הצעה מצד Huawei להעביר את הקוד מקור של הציודים לבדיקה של חברה חיצונית ניטרלית – נפלה על אוזניים אטומות. מבחינת האמריקאים הם אשמים והאמריקאים הוציאו החלטות לא רק לגופי ממשלה אלא גם לחברות מסחריות לא לרכוש ציוד תקשורת מסחרי של Huawei.

לאמריקאים זה לא הספיק. הם החלו לפנות לבריטניה, לגוש האירופאי ולשאר מקומות עם בקשות לא לרכוש ציוד תקשורת של Huawei בשיטת המקל והגזר: לא תקשיבו לנו? לא נשתף אתכם במידע מודיעי על פעילויות טרור פוטנציאליות ומידע רגיש אחר שמגיע מסוכנויות ביון אמריקאיות אחרות. אגב, לפחות ממה שידוע לי, האמריקאים מנסים לעשות זאת גם פה בארץ.

מדוע בעצם חברות מתעניינות בציוד של Huawei? הרי גם נוקיה, אריקסון וחברות אחרות מציעות ציוד להקמה ותחזוקה של רשתות 5G. התשובה לכך בדרך כלל קשורה לתנאי תשלום ולגמישות של Huawei.

לבינתיים, מדינה אחר מדינה מחזירות תשובות זהות לאמריקאים: תודה על האזהרה, אבל אנחנו נמשיך לעבוד עם Huawei. סוכנות הביון הבריטית ה-GHCQ לדוגמא, קיבלו את הקוד מקור מ-Huawei ולאחר בחינה של הקוד, הם לא מצאו שום דבר שקשור לזליגת תקשורת לסין, והם פרסמו את המידע לסוכנויות ביון אחרות ובאינטרנט. נוסיף על כך את התמונות שפירסם סנואדן שטכנאי ה-CIA "חוטפים" פיזית ציוד תקשורת שאמור ללקוח, פותחים אותו ומשתילים ציוד להאזנה – ואתם יכולים להבין מדוע האירופאים והאנגלים לא מאמינים בגרוש לאמריקאים.

עכשיו – חשוב לי לציין נקודה חשובה: Huawei היא אינה חברה "צדיקה". לפי מידע שפורסם באתרים שונים, הם גונבים קניין רוחני מכל מי שאפשר – החל מאפל וכלה בחברות טכנולוגיות אחרות, אבל חשוב לציין ש-Huawei הם לא היחידים שעושים זאת. זוכרים את התביעות של אפל נגד סמסונג על העתקות בוטות? איך שמכשירים של סמסונג בזמנו היו פשוט העתק של אייפונים? אז כן, הרבה מאוד חברות נמצאות ב"חגיגת הגניבות" הזו.

בסופו של יום, לא מדובר פה בעניין של אבטחת מידע. מדובר בסופו של יום בכך שלחברות יצרני ציוד תקשורת אמריקאיות יכולות "לשסות" את הקונגרס והסנאט במי שהן רוצות שלא ימכור בשוק האמריקאי ובשווקים האחרים – על ידי מימון לובי ב"תרומות". חבר סנאט יקר, נעביר לך בסיבוב 2 מיליון דולר, תכנס את הוועדה ותגרמו לכך שחברה X לא יוכלו למכור ציוד בארץ ובעולם. אפשר לראות דווקא דוגמא הפוכה אצל חברה אמריקאית: חברת SuperMicro (חברה אמריקאית שמייצרת את הציוד מחשבים שלה בסין) הואשמה ע"י סוכנות הידיעות בלומברג כי יש בציוד שהיא מוכרת ללקוחות הגדולים שלה מיקרו-שבב שמאפשר תקשורת לסין. מבחינה טכנית מדובר בשטות גמורה וחברה חיצונית (כמו גם ספקי הענן הגדולים שהם לקוחות של SuperMicro) בדקו את העניין לעומק ולא נמצא כלום – אבל היי, הכי קל להאשים, גם כשיש אפס הוכחות במציאות.

מדובר בסופו של דבר בצביעות: חברות כמו One Plus או שיאומי או Huawei מוכרות מאות מיליוני מכשירים סלולריים כל שנה ומאוד קל להכניס רוגלה במכשירים האלו עוד במפעלים. נו, האמריקאים התריעו על כך או עשו משהו בנידון? כלום.

אז כן, האמריקאים הצליחו לגרום לכך שמבחינת ציוד תקשורת – Huawei לא תצליח למכור כמעט כלום בארה"ב, אבל בשאר העולם – הם בהחלט מוכרים גם מוכרים.

(הערה: לכותב פוסט זה אין מאומה עם חברת Huawei. מעולם לא נתתי שרות לחברה ולא רכשתי ציוד מהחברה).

לסיכום: בין אם אתם בנק, מוסד פיננסי, ביטוחי, או כל חברה אחרת – הסינים (וגורמים אחרים) פוטנציאלית יכולים לפרוץ אליכם. אף אחד אינו מוגן הרמטית נגד הדברים הללו. הדרכים למנוע זאת הן אותן דרכים למנוע זליגת מידע מהחברות: הגדרות של ציוד תקשורת, חומת אש, IPS/IDS, אי כניסת תוכנות זרות לא מורשות ועוד ועוד. גם המכשיר הכי מתוכחם שנעשה בו שינוי על מנת ש"ישדר הביתה" לסין ניתן לחסום אותו דרך ציודים אחרים, כך שלהיכנס לפאניקה בכלל כל מיני פוליטיקאים – אינו דבר מומלץ.

Exit mobile version