GPU · AI वर्कलोड
समानांतर कंप्यूट के साथ अनुमान, फाइन-ट्यूनिंग और बैच मूल्यांकन।
- सामान्य शुरुआती बिंदु
- बदलती मांग वाला मॉडल एंडपॉइंट, प्रशिक्षण रन या मूल्यांकन बैच।
- कोटेशन में पुष्टि
- एक्सेलेरेटर मेमोरी, थ्रूपुट लक्ष्य, स्टोरेज, क्षेत्र और रुकावट नीति।