هوشی مصنوعی تولیدکننده حالا قلب بسیاری از کسب‌وکارهاست، اما همین فناوری مثل دیگر سرویس‌های ابری در برابر اختلال‌های سرور آسیب‌پذیر شده است. در ادامه می‌بینیم این وابستگی چه ریسک‌هایی ایجاد می‌کند و چطور می‌توان از آن‌ها عبور کرد.
خلاصه مقاله
با گسترش مدل‌های تولیدمحتوا، شرکت‌ها بدون توقف به ابر متکی‌اند؛ کوچک‌ترین اختلال شبکه، پاسخ‌دهی سرویس‌های هوش مصنوعی را مختل کرده و ضرر مالی و اعتباری به دنبال دارد. به‌کارگیری چند ابر، ذخیره‌سازی محلی و نقشه‌ی بازیابی سریع سه راهکار اصلی حفظ تداوم خدمات‌اند.
زیرساخت ابری چگونه به هوش مصنوعی گره خورده؟
مدل‌های بزرگ در مراکز داده ابر تمرین و توزیع می‌شوند و API آن‌ها از طریق اینترنت در دسترس قرار می‌گیرد.
به‌روزرسانی وزنی، جمع‌آوری داده و حافظه‌ی بلندمدت همگی فضای ذخیره‌سازی و پردازش مقیاس‌پذیر می‌خواهند که فقط ابر فراهم می‌کند.
وقفه‌ی ابری چه بلایی سر مدل‌های تولیدکننده می‌آورد؟
پایین آمدن زمان‌بندی پردازش
قطعی شبکه یا کمبود منابع باعث می‌شود زمان پاسخ از میلی‌ثانیه به ثانیه یا دقیقه برسد.
افزایش هزینه‌ی ترافیک
پس از بازگشت سرویس، انبوه درخواست انباشته‌شده همزمان ارسال می‌شود و به دلیل «مدل شلوغ» هزینه محاسباتی بالا می‌رود.
کاهش اعتماد مشتری
سرویس‌هایی که پاسخ تاخیری یا خطای ۵۰۳ می‌دهند، اعتبار برند را خدشه‌دار می‌کنند و کاربر به سراغ رقبا می‌رود.
تاکتیک‌هایی برای مقاوم‌سازی مدل در برابر اختلال
۱. توزیع چندابری
اجرای مدل روی حداقل دو منطقه مختلف از یک یا چند ارائه‌دهنده؛ اگر یک منطقه از دسترس خارج شد دامنه DNS به طور خودکار به ناحیه سالم منتقل می‌شود.
۲. کش‌سازی پاسخ پُرکاربرد
پرسش‌های رایج را در حافظه Redis یا CDN ذخیره کنید تا نیاز به استدعای مدل در هر درخواست نباشد.
۳. نسخه‌ی سبک داخلی
یك نسخه‌ی كوچك‌شده‌ی مدل را روی سرورهای شرکت نگه دارید تا مواقع اضطراری حداقل خروجی مقدماتی بدهید.
۴. سیاست دوباره‌سعی هوشمند
کلاینت بعد از خطا ابتدا برای چند ثانیه صبر کرده و سپس با فاصله‌های زیادتر درخواست را تکرار می‌کند تا از شلوغی بیشتر جلوگیری شود.
چک‌لیست اقدام فوری بعد از قطعی
- مطمئن شوید وضعیت خطا از سوی مركز数据中心 اعلام شده یا مشکل داخلی است.
- ترافیك غیرضروری را به نسخه‌ی نمایشی یا صفحه‌ی استاتیک هدایت کنید.
- سطح دسترسی کاربران را به «فقط خواندنی» تغییر دهید تا درخواست نوشتنی کم شود.
- لاگ‌های سرور را بررسی کرده و نسخه‌ی پشتیبان cache یا مدل را فعال کنید.
- با تیم ارتباطات، اطلاع‌رسانی شفاف درباره زمان‌بندی بازگشت خدمات انجام دهید.
دورنمای بلندمدت: ابر ترکیبی و لبه‌پردازش
با ارزان‌تر شدن سخت‌افزارهای GPU لبه، سازمان‌ها می‌توانند بخشی از محاسبات را به داخل آورده و تنها مواقعی که ظرفیت اضافی لازم است به ابر متوسل شوند.
این معماری «ابر ترکیبی» هزینه را پایین می‌آورد و همزمان خط وقفه را به کمترین حد می‌رساند.