سرمایش دیتاسنترهای هوش مصنوعی؛ تحول HVAC در عصر پردازشهای فوقسنگین
سرمایش دیتاسنتر هوش مصنوعی به یکی از مهمترین چالشهای مهندسی در زیرساختهای نسل جدید تبدیل شده است. رشد مدلهای هوش مصنوعی، پردازشهای GPU و سیستمهای محاسباتی پرقدرت، چگالی حرارتی رکها را بهطور چشمگیری افزایش داده و معماری سنتی سرمایش دیتاسنترها را با محدودیت مواجه کرده است.
چرا سرمایش دیتاسنتر هوش مصنوعی به یک چالش حیاتی تبدیل شده است؟
در بسیاری از دیتاسنترهای سنتی، توان حرارتی هر رک در محدوده چند کیلووات قرار داشت و سیستمهای متداول سرمایش هوا میتوانستند بار حرارتی تجهیزات را مدیریت کنند.
اما توسعه شتابدهندههای هوش مصنوعی و GPUهای پرقدرت، شرایط را تغییر داده است. ASHRAE در چارچوب جدید خود برای دیتاسنترهای هوش مصنوعی به چگالیهایی در محدوده ۵۰ تا بیش از ۱۲۰ کیلووات در هر رک اشاره میکند و در نسلهای بعدی، افزایش بسیار بیشتر چگالی توان نیز قابل انتظار است.
نمونههای واقعی نیز این تغییر را نشان میدهند. برای مثال، معماری NVIDIA GB200 NVL72 یک سیستم Rack-Scale با ۷۲ پردازنده گرافیکی است که بهصورت مایعخنک طراحی شده و ظرفیت سرمایشی رک آن در حدود ۱۲۰ کیلووات مطرح شده است.
افزایش چگالی حرارتی باعث میشود:
- نقاط داغ یا Hotspotها شدیدتر و متمرکزتر شوند.
- حجم هوای موردنیاز برای دفع حرارت افزایش یابد.
- توان مصرفی فنها بیشتر شود.
- اختلاف دمای نقاط مختلف رک افزایش پیدا کند.
- کنترل دقیق دمای ورودی تجهیزات دشوارتر شود.
- توسعه ظرفیت پردازشی بدون بازطراحی زیرساخت مکانیکی محدود شود.
- پایداری کل دیتاسنتر بیش از گذشته به معماری سرمایش وابسته باشد.
از سوی دیگر، مصرف انرژی سیستم سرمایش نیز اهمیت زیادی دارد. وزارت انرژی ایالات متحده اعلام کرده است که سرمایش در برخی دیتاسنترها میتواند تا حدود ۴۰ درصد مصرف انرژی مجموعه را به خود اختصاص دهد. بنابراین کاهش انرژی سرمایش مستقیماً بر هزینه بهرهبرداری و شاخصهای بهرهوری دیتاسنتر اثر میگذارد.
محدودیت سرمایش هوایی سنتی در دیتاسنترهای AI
برای سالها، سیستمهایی مانند کف کاذب، توزیع هوای سرد، CRAC و CRAH اساس طراحی سرمایش بسیاری از دیتاسنترها را تشکیل میدادند.
این روشها همچنان کاربرد گستردهای دارند و در بسیاری از پروژهها حذف نخواهند شد؛ اما با افزایش چگالی حرارتی رکها، استفاده صرف از سرمایش هوا با محدودیت مواجه میشود.
انتقال حرارت با هوا نیازمند جابهجایی حجم قابل توجهی از سیال است. هرچه توان حرارتی رک افزایش پیدا کند، حجم هوای موردنیاز، سرعت جریان، افت فشار و توان مصرفی فنها نیز افزایش مییابد.
در نتیجه، در رکهای High Density احتمال بروز مشکلاتی مانند Hotspot، جریان هوای بایپس، بازگشت هوای گرم به ورودی سرورها و افزایش مصرف انرژی بیشتر میشود.
به همین دلیل، جهت حرکت صنعت به سمت معماریهایی است که بتوانند بخش عمده حرارت را نزدیکتر به محل تولید آن جذب کنند.
نسل جدید سرمایش؛ از HVAC کلاسیک تا Technology Cooling System
در دیتاسنترهای AI باید میان سیستم سرمایش ساختمان و سیستم سرمایش تجهیزات فناوری اطلاعات تمایز قائل شد.
در کنار سیستمهای متداول HVAC، مفهومی با عنوان Technology Cooling System یا TCS اهمیت پیدا کرده است؛ شبکهای شامل CDU، مبدل حرارتی، پمپ، لولهکشی، منیفولدها، شیرها، سنسورها، سیستم تشخیص نشتی و مدارهای ثانویهای که وظیفه انتقال حرارت از تجهیزات IT را بر عهده دارند.
ASHRAE نیز در طراحی دیتاسنترهای جدید، سرمایش مایع را بهعنوان یکی از زیرساختهای اصلی بارهای AI و HPC مطرح میکند.
Direct-to-Chip Liquid Cooling
یکی از مهمترین فناوریهای فعلی در دیتاسنترهای هوش مصنوعی، سرمایش مستقیم تراشه یا Direct-to-Chip Liquid Cooling است.
در این سیستم، Cold Plate روی پردازندههای اصلی مانند CPU، GPU یا شتابدهندههای AI نصب میشود. سیال خنککننده داخل Cold Plate گردش کرده و حرارت را مستقیماً از سطح قطعه دریافت میکند.
این ساختار مزایای مهمی دارد:
- انتقال حرارت بسیار مؤثرتر در مقایسه با هوا
- کاهش بار حرارتی فضای دیتاسنتر
- کاهش نیاز به دبی بسیار بالای هوا
- کاهش توان مصرفی فنها
- کنترل بهتر دمای GPU و CPU
- امکان دستیابی به چگالی توان بالاتر در هر رک
- کاهش احتمال ایجاد نقاط داغ
در بسیاری از معماریها، سیال مدار تجهیزات مستقیماً وارد مدار آب ساختمان نمیشود. یک واحد توزیع سیال خنککننده یا CDU میان مدار تجهیزات و مدار اصلی قرار میگیرد.
CDU میتواند وظایفی مانند تبادل حرارت، کنترل دما، کنترل فشار، تنظیم دبی، فیلتراسیون، پایش عملکرد و تشخیص شرایط غیرعادی را انجام دهد.
نکته مهم این است که Direct-to-Chip الزاماً به معنای حذف کامل سرمایش هوا نیست. بخشی از حرارت تجهیزات شبکه، منابع تغذیه، حافظهها و سایر اجزای رک ممکن است همچنان وارد محیط شود؛ به همین دلیل بسیاری از دیتاسنترهای جدید دارای معماری ترکیبی هوا و مایع هستند.
Immersion Cooling
روش دیگر، سرمایش غوطهوری یا Immersion Cooling است.
در این فناوری، تجهیزات IT یا بخش بزرگی از آنها درون سیال دیالکتریک قرار میگیرند و حرارت مستقیماً از تجهیزات به سیال منتقل میشود.
به دلیل تماس مستقیم سیال با تجهیزات، ظرفیت انتقال حرارت میتواند بسیار بالا باشد و نیاز به جریان هوای شدید در اطراف سرورها به شکل قابل توجهی کاهش پیدا کند.
مهمترین مزایا عبارتاند از:
- ظرفیت دفع حرارت بالا
- کاهش شدید احتمال ایجاد Hotspot
- کاهش وابستگی به فنهای سرور
- امکان افزایش چگالی پردازشی
- کاهش بار سیستم سرمایش فضای دیتاسنتر
Immersion Cooling میتواند بهصورت تکفاز یا دوفاز اجرا شود. با این حال، انتخاب آن فقط بر اساس راندمان حرارتی انجام نمیشود؛ مسائل مربوط به نوع سیال، نگهداری، سازگاری تجهیزات، تعمیرات، هزینه سرمایهگذاری و زنجیره تأمین نیز باید در طراحی بررسی شوند.
Hybrid Cooling؛ راهکار عملی برای بسیاری از دیتاسنترها
در بسیاری از پروژههای جدید، معماری Hybrid Cooling منطقیتر از حذف کامل سرمایش هوا است.
در این ساختار میتوان از سرمایش مایع برای GPU و CPU و از سرمایش هوا برای سایر تجهیزات استفاده کرد.
برای نمونه، یک دیتاسنتر ممکن است همزمان دارای:
Direct-to-Chip Cooling برای رکهای AI، سیستم CRAH یا Fan Wall برای بارهای باقیمانده، CDU برای مدارهای سرمایش مایع، چیلر یا Dry Cooler برای دفع حرارت و سیستم BMS/DCIM برای کنترل یکپارچه باشد.
این معماری امکان توسعه مرحلهای دیتاسنتر و استقرار رکهایی با چگالیهای متفاوت را فراهم میکند.
Rear Door Heat Exchanger
یکی دیگر از فناوریهای قابل استفاده در دیتاسنترهای High Density، مبدل حرارتی پشت رک یا Rear Door Heat Exchanger است.
در این سیستم، هوای گرم خروجی رک از یک کویل آبخنک عبور میکند و بخش قابل توجهی از حرارت قبل از ورود مجدد به فضای دیتاسنتر جذب میشود.
این فناوری میتواند در پروژههای Retrofit نیز اهمیت ویژهای داشته باشد؛ زیرا در برخی شرایط امکان افزایش ظرفیت سرمایش بدون بازطراحی کامل معماری دیتاسنتر را فراهم میکند.
افزایش چگالی رکها، طراحی سرمایش دیتاسنتر هوش مصنوعی را به یکی از مهمترین بخشهای مهندسی مراکز داده تبدیل کرده است.
اهمیت مدیریت جریان هوا
حتی با توسعه Liquid Cooling، مهندسی جریان هوا همچنان اهمیت دارد.
در دیتاسنترهایی که بخشی از بار توسط هوا دفع میشود، استفاده صحیح از راهکارهایی مانند:
Cold Aisle Containment،
Hot Aisle Containment،
بهینهسازی کف کاذب،
توزیع هوای سقفی،
Blanking Panelها
و کنترل دقیق فشار
میتواند از اختلاط هوای سرد و گرم جلوگیری کند.
هدف اصلی این است که هوای سرد دقیقاً به ورودی تجهیزات برسد و هوای گرم بدون Short Circuit به سیستم سرمایش بازگردد.
ASHRAE نیز Containment، کنترل دقیق جریان هوا و افزایش کنترلشده دمای هوای رفت را از ابزارهای مهم افزایش بهرهوری حرارتی دیتاسنتر میداند.
دمای آب رفت و برگشت؛ یک عدد ثابت وجود ندارد
یکی از اشتباهات رایج در طراحی سرمایش دیتاسنتر، تعیین یک دمای ثابت برای تمام سیستمهای Liquid Cooling است.
دمای آب باید بر اساس نوع تجهیزات IT، نوع Cold Plate، الزامات سازنده، نوع CDU، شرایط محیطی، دمای نقطه شبنم و معماری دفع حرارت انتخاب شود.
ASHRAE برای سیستمهای Liquid Cooling کلاسهای مختلفی شامل W17، W27، W32، W40، W45 و W+ تعریف کرده است که عدد هر کلاس بیانگر محدوده بالای دمای آب ورودی مرتبط با آن کلاس است.
افزایش دمای مدار سرمایش، در صورت سازگاری تجهیزات، میتواند مزیت بزرگی ایجاد کند؛ زیرا امکان استفاده بیشتر از Dry Cooler و Waterside Economizer را فراهم کرده و ساعات کار کمپرسورها را کاهش میدهد.
اما هدف طراحی صرفاً افزایش ΔT نیست.
طراحی صحیح باید بر اساس دبی، ظرفیت انتقال حرارت، دمای مجاز تراشه، Approach مبدل، افت فشار، توان پمپ و ΔT واقعی مدار انجام شود.
همچنین دمای سیال باید به شکلی کنترل شود که خطر تشکیل کندانس روی تجهیزات وجود نداشته باشد. ASHRAE بر کنترل دمای مدار نسبت به نقطه شبنم محیط تأکید میکند.
Free Cooling؛ حذف کمپرسور در هر ساعت ممکن
یکی از مهمترین فرصتهای کاهش مصرف انرژی دیتاسنتر، افزایش ساعات بهرهبرداری از Free Cooling یا Economization است.
در این شرایط، تمام یا بخشی از حرارت بدون استفاده از سیکل تراکمی تبرید دفع میشود.
بسته به اقلیم و معماری سیستم میتوان از روشهایی مانند:
Airside Economizer،
Waterside Economizer،
Dry Cooler،
Cooling Tower Economizer
و Indirect Evaporative Cooling
استفاده کرد.
آینده سرمایش دیتاسنتر هوش مصنوعی به سمت سیستمهای Liquid Cooling و کنترل پیشبینانه حرکت میکند.
در Liquid Cooling با دمای آب بالاتر، فرصت Free Cooling بسیار بیشتر میشود؛ زیرا اختلاف دمای مناسبی میان سیال و هوای محیط حتی در دماهای نسبتاً بالا نیز ایجاد میشود.
این موضوع میتواند وابستگی دیتاسنتر به چیلر را کاهش دهد.
Free Cooling میتواند مصرف انرژی سرمایش دیتاسنتر هوش مصنوعی را به شکل قابل توجهی کاهش دهد.
با این حال، امکان حذف کامل Mechanical Refrigeration برای همه پروژهها وجود ندارد. شرایط اقلیمی، کلاس دمایی تجهیزات IT، سطح Redundancy و الزامات پایداری پروژه تعیین میکنند که چیلر بهعنوان سیستم اصلی، مکمل یا Backup در مدار حضور داشته باشد.
نقش چیلر در دیتاسنترهای هوش مصنوعی
برخلاف تصور رایج، توسعه Liquid Cooling لزوماً به معنای حذف چیلر نیست.در سرمایش دیتاسنتر هوش مصنوعی، انتخاب چیلر تنها بر اساس ظرفیت نامی کافی نیست.
در بسیاری از پروژهها هنوز چیلر یکی از اجزای اصلی Heat Rejection محسوب میشود؛ اما شرایط کاری آن نسبت به سیستمهای Comfort Cooling متفاوت است.
در طراحی یک Chiller Plant برای دیتاسنتر باید مواردی مانند:
بار IT، درصد Heat Capture توسط Liquid Cooling، دمای آب موردنیاز، شرایط Design Ambient، ظرفیت واقعی چیلر در دمای طراحی، Redundancy، عملکرد Partial Load، تعداد مدارها، حداقل Flow، Pumping Strategy و امکان Economizer Operation
بهصورت یکپارچه بررسی شوند.
در طراحی سرمایش دیتاسنتر هوش مصنوعی، انتخاب معماری توزیع سیال باید همزمان با تجهیزات IT انجام شود.
در چنین پروژهای انتخاب چیلر تنها بر اساس تن تبرید نامی میتواند خطای بزرگی باشد.
Redundancy؛ سرمایش نباید Single Point of Failure داشته باشد
در دیتاسنتر، راندمان تنها معیار طراحی نیست.
سیستم باید در زمان خرابی یک تجهیز، سرویس یا عملیات تعمیر و نگهداری نیز بتواند بار حرارتی بحرانی را کنترل کند.
به همین دلیل معماریهایی مانند N+1، N+2 یا 2N بسته به سطح Availability پروژه در تجهیزاتی مانند:
چیلرها، پمپها، CDUها، برجهای خنککننده، Dry Coolerها، مدارهای توزیع و منابع برق
بررسی میشوند.
حتی زمان پاسخ سیستم نیز اهمیت دارد؛ زیرا تراشههای AI دارای چگالی حرارتی بسیار بالایی هستند و پس از قطع جریان سیال، افزایش دما میتواند بسیار سریع اتفاق بیفتد.
بنابراین طراحی Thermal Ride-Through و هماهنگی سیستم سرمایش با UPS و Emergency Power یکی از موضوعات مهم پروژههای High Density است.
مدیریت هوشمند سرمایش
یکی دیگر از تحولات مهم دیتاسنترهای نسل جدید، حرکت از کنترل ثابت به سمت کنترل پیشبینانه و هوشمند است.
ترکیب BMS، DCIM، سنسورهای Rack-Level و مدلهای تحلیلی امکان مشاهده دقیق رفتار حرارتی دیتاسنتر را فراهم میکند.
فناوریهایی مانند:
Digital Twin،
Predictive Cooling Control،
Machine Learning Load Forecasting،
Intelligent Fault Detection
و AI-Based Thermal Optimization
میتوانند الگوی بار پردازشی را تحلیل کرده و عملکرد سیستم سرمایش را متناسب با شرایط واقعی تنظیم کنند.
برای مثال، کنترل هوشمند میتواند Setpoint دما، سرعت پمپ، دبی مدار، دور فن Dry Cooler یا چیلر و توزیع بار بین تجهیزات را بهصورت هماهنگ تغییر دهد.
ASHRAE نیز استفاده از کنترل پیشرفته، پایش لحظهای، Digital Twin و Continuous Commissioning را از عناصر مهم دیتاسنترهای AI معرفی میکند.
PUE دیگر تنها شاخص مهم نیست
یکی از شناختهشدهترین شاخصهای دیتاسنتر Power Usage Effectiveness یا PUE است که نسبت کل انرژی مصرفی مجموعه به انرژی مصرفی تجهیزات IT را نشان میدهد.
هرچه این عدد به ۱ نزدیکتر باشد، سهم تجهیزات جانبی از مصرف انرژی کمتر است.
اما در دیتاسنترهای نسل جدید، تمرکز صرف بر PUE کافی نیست.
مصرف آب نیز اهمیت زیادی پیدا کرده و شاخصهایی مانند Water Usage Effectiveness یا WUE برای ارزیابی عملکرد سیستم مورد توجه هستند.
انتخاب میان Cooling Tower، سیستم تبخیری، Dry Cooler و Chiller باید با درنظرگرفتن همزمان انرژی، آب، اقلیم، قابلیت اطمینان و هزینه چرخه عمر انجام شود.
بازیافت حرارت؛ دیتاسنتر بهعنوان منبع انرژی
Liquid Cooling فرصت دیگری نیز ایجاد کرده است: Heat Recovery.
هرچه دمای آب برگشتی از تجهیزات بالاتر باشد، کیفیت حرارتی انرژی بازیافتی نیز افزایش پیدا میکند.
در شرایط مناسب میتوان بخشی از این حرارت را برای:
گرمایش ساختمانها،
گرمایش آب مصرفی،
شبکه District Heating
یا سایر فرآیندهای حرارتی
استفاده کرد.
ASHRAE نیز Warm-Water Liquid Cooling را یکی از فرصتهای مهم بازیافت حرارت در دیتاسنترهای آینده میداند.
آینده سرمایش دیتاسنترهای AI
با ادامه رشد مدلهای هوش مصنوعی، توان پردازندهها و چگالی رکها افزایش خواهد یافت. به همین دلیل طراحی مکانیکی دیتاسنتر نیز باید همزمان با معماری IT تکامل پیدا کند.
طراحی سرمایش دیتاسنتر هوش مصنوعی باید از سطح تراشه تا سیستم دفع حرارت بهصورت یکپارچه انجام شود.
مهمترین جهتگیریهای این صنعت شامل توسعه Direct-to-Chip Liquid Cooling، افزایش استفاده از CDU، طراحی سیستمهای Hybrid Cooling، توسعه Warm-Water Cooling، افزایش استفاده از Dry Cooling، بازیافت حرارت، کنترل هوشمند، کاهش مصرف آب و حرکت به سمت معماریهای Liquid-Ready است.
استفاده از CDU در سرمایش دیتاسنتر هوش مصنوعی امکان کنترل دقیقتر دما و دبی مدار را فراهم میکند.
در سطوح بالاتر چگالی حرارتی، فناوریهایی مانند Microchannel Cooling و سایر روشهای انتقال حرارت در سطح تراشه نیز اهمیت بیشتری پیدا خواهند کرد.
بنابراین در نسل بعدی دیتاسنترها، طراحی Power و Cooling نمیتواند بهصورت مستقل انجام شود. ASHRAE نیز بر طراحی یکپارچه سیستمهای برق و سرمایش برای زیرساختهای AI تأکید دارد.
جمعبندی
هوش مصنوعی مفهوم سرمایش دیتاسنتر را تغییر داده است.
آینده سرمایش دیتاسنتر هوش مصنوعی به سمت Liquid Cooling، کنترل هوشمند و افزایش راندمان انرژی حرکت میکند.
در دیتاسنترهای سنتی، وظیفه سیستم HVAC عمدتاً کنترل دمای محیط و تأمین هوای سرد بود؛ اما در AI Data Center، مهندسی حرارتی از سطح تراشه آغاز میشود و تا Cold Plate، CDU، شبکه لولهکشی، چیلر یا Dry Cooler و در نهایت محیط بیرون ادامه پیدا میکند.
Direct-to-Chip Liquid Cooling، Immersion Cooling، Hybrid Cooling، Free Cooling و کنترل هوشمند، اجزای اصلی این تحول هستند.
با افزایش Rack Density، دیگر نمیتوان زیرساخت مکانیکی را پس از انتخاب تجهیزات IT طراحی کرد. ظرفیت پردازشی، معماری برق، نوع سرورها، دمای سیال، سیستم انتقال حرارت و Heat Rejection باید از نخستین مراحل پروژه بهصورت یک سیستم واحد دیده شوند.
آینده دیتاسنترهای هوش مصنوعی متعلق به زیرساختهایی است که بتوانند توان پردازشی بیشتر را با انرژی کمتر، مصرف آب کنترلشدهتر و پایداری بالاتر در اختیار تجهیزات قرار دهند؛ و در این مسیر، مهندسی سرمایش به یکی از تعیینکنندهترین بخشهای طراحی زیرساخت AI تبدیل شده است.