מידע על מאיצי GPU

‫AI Hypercomputer מספק תשתית משולבת אנכית שמותאמת לעומסי עבודה תובעניים של בינה מלאכותית (AI) ולמידת מכונה (ML). מעבדי GPU של NVIDIA עם ביצועים גבוהים מסווגים לפי האופן שבו המערכת מטפלת באירועים במחזור החיים ובתחזוקה שלהם: מעבדי GPU כלליים ואשכולות של מעבדי GPU.

כדי לזהות את קטגוריית התשתית האופטימלית לעומס העבודה, קראו את המאמר בחירת תשתית המאיץ.

מעבדים גרפיים כלליים

יחידות GPU כלליות מנוהלות כיחידות מחשוב עצמאיות, באמצעות ממשקי API סטנדרטיים של Compute Engine ו-Google Kubernetes Engine‏ (GKE) כדי לשלב ישירות עם מישור הבקרה של Google Cloud.

מעבדי GPU כלליים כוללים את סדרות המכונות הבאות:

  • ‫A3 High עם 1, 2 או 4 מעבדי GPU (מסוג NVIDIA H100): אופטימיזציה לעומסי עבודה סטנדרטיים של אימון והסקה שלא דורשים אשכול מסונכרן של 8 מעבדי GPU.
  • ‫A3 Edge (NVIDIA H100): מותאמת להסקה שמתבצעת בכמה מארחים עם תפוקה גבוהה באמצעות רשת VPC רגילה.
  • A2 (NVIDIA A100): אופטימיזציה להצגת מודעות בצומת יחיד עם ביצועים גבוהים ולכוונון בקנה מידה קטן.
  • ‫G4 (NVIDIA RTX PRO 6000): אופטימיזציה לעומסי עבודה של הסקה וגרפיקה ברמה בסיסית ומשתלמת.
  • <!--G2 (NVIDIA L4):optimized for mainstream inference and RAG.-->G2 (NVIDIA L4): אופטימיזציה להסקה רגילה ול-RAG.
  • ‫N1 (NVIDIA T4 או V100): אופטימיזציה למשימות הסקה ומחקר בסיסיות, שבהן העלות חשובה יותר מחיבורים מהירים.

אשכולות GPU

אשכולות של מעבדי GPU מנוהלים כמערכת אחת עם צימוד חזק של אלפי מאיצים שמקושרים זה לזה באמצעות Cluster Director.

אשכולות GPU כוללים את סדרות המכונות הבאות:

  • ‫A5X (NVIDIA Vera Rubin): מכונות שמיועדות לאימון מודלים בסיסיים בקנה מידה של אקסה-פלופ, להסקת מסקנות במודלים של חשיבה רציונלית ולמחשוב עתיר ביצועים (HPC) ב-bare metal, עם שבבי-על של NVIDIA Vera Rubin.
  • ‫A4X Max (NVIDIA GB300): מיועד לאימון exascale ב-Bare Metal ולמחשוב עתיר ביצועים (HPC), וכולל שבבי-על מסוג NVIDIA GB300 Grace Blackwell Ultra.
  • ‫A4X (NVIDIA GB200) ו-A4 (NVIDIA B200): מיועדים לאימון מודלים בסיסיים ולאימון מודלים בסיסיים בקנה מידה של אקסה-פלופס.
  • ‫A3 Ultra (NVIDIA H200),‏ A3 Mega (NVIDIA H100) ו-A3 High עם 8 מעבדי GPU (NVIDIA H100): מותאמים לאימון מבוזר בקנה מידה גדול ולהסקת מסקנות בכמה מארחים שכוללים טבלאות נתונים עצומות.

שיקולי ביצועים של GPU

כדי להעריך את ביצועי עומס העבודה ולשפר אותם, אתם יכולים לעקוב אחרי מדדים ברמת החומרה, כמו ניצול ליבות CUDA וליבות Tensor. כדי לעקוב אחרי המשאבים ולהעריך את הביצועים בסביבות כלליות ובסביבות מקובצות, אפשר להיעזר במקורות המידע הבאים:

  • מרכזי בקרה למעקב: מעקב בזמן אמת אחרי השימוש ב-GPU ובזיכרון במכונות עצמאיות או בציים של אשכולות מנוהלים.
  • ‫Goodput metrics recipes: מודדים את אחוז הזמן שבו המאיצים מבצעים חישובים שימושיים לעומת התקורה של המערכת. מומלץ מאוד להשתמש במתכונים האלה לאימון מבוזר בקנה מידה גדול בחומרה מקובצת.

המאמרים הבאים