Sönmez Mühendislik Logo
TREN
Turkcell Datacenter

Blog · Veri Merkezi · Yapay Zekâ · 6 dk okuma

Yapay zekâ veri merkezi nasıl tasarlanır? Yüksek yoğunluk ve sıvı soğutma

Kısa cevap: Yapay zekâ iş yükleri için kullanılan GPU kabinleri, klasik sunucu kabinlerinin birkaç katı güç çeker ve bu ısı yalnızca hava ile uzaklaştırılamaz. Tasarım bu nedenle sıvı soğutma (çipe doğrudan soğutma veya daldırma) etrafında kurulur; elektrik dağıtımı, boru altyapısı, döşeme yükü ve kaçak algılama da bu yoğunluğa göre yeniden ele alınır.

Yapay zekâ veri merkezini farklı kılan nedir?

Klasik kurumsal veri merkezlerinde kabin başına güç çoğunlukla tek haneli veya düşük çift haneli kilovatlardadır. Yapay zekâ eğitimi ve çıkarımı için kullanılan GPU sunucularıyla dolu kabinlerde ise bu değer onlarca kilovata, yeni nesil sistemlerde yüz kilovatın üzerine çıkabilmektedir. Aynı salona çok daha fazla güç girer ve aynı miktarda ısı dışarı atılmak zorundadır. Bu, soğutmadan elektriğe, statikten yangına bütün disiplinlerin tasarımını değiştirir.

01Kabin yoğunluğukW / kabin02Soğutma yöntemihava, sıvı, hibrit03Sıvı altyapısıCDU, boru, kaçak04Elektrikbusbar, yedeklilik05Yapıyük, kat yüksekliği
Şema 1 — Kabin başına tasarım gücü belirlenmeden soğutma yöntemi seçilemez; diğer kararlar bu seçime bağlıdır.

Hava soğutma nereye kadar yeter?

Sıcak ve soğuk koridor kapama, sıra arası (in-row) üniteler ve arka kapı ısı değiştiricileri ile hava soğutmanın kapasitesi önemli ölçüde artırılabilir. Ancak kabin yoğunluğu yükseldikçe gereken hava debisi, fan gücü ve gürültü hızla büyür; belirli bir noktadan sonra hava ile soğutmak teknik olarak mümkün olsa bile verimli olmaz. Suyun ısı taşıma kapasitesi havanınkinden çok daha yüksek olduğu için yüksek yoğunlukta çözüm sıvıya geçmektir. Hava soğutmanın temelleri için veri merkezi soğutması ve PUE yazımıza bakabilirsiniz.

Sıvı soğutma seçenekleri

YöntemNasıl çalışırGüçlü yanıDikkat edilecek nokta
Arka kapı ısı değiştiriciKabinin arka kapısındaki sulu serpantin, sıcak havayı salona vermeden soğuturMevcut hava soğutmalı sunucularla çalışır; geçiş çözümüKapasitesi sınırlıdır; salona su borusu girer
Çipe doğrudan soğutma (direct-to-chip)İşlemci ve GPU üzerindeki soğuk plakalardan soğutucu sıvı dolaşırEn yaygın yüksek yoğunluk çözümü; ısının büyük bölümünü kaynağında alırKalan ısı için hava soğutma yine gerekir; sunucu üreticisiyle uyum
Tek fazlı daldırmaSunucular yalıtkan bir sıvı dolu tanka daldırılırFan gerekmez; çok yüksek yoğunluk; sessizTank ağırlığı, bakım alışkanlıkları, donanım uyumu
İki fazlı daldırmaSıvı, ısıyla buharlaşıp yoğuşarak ısıyı taşırEn yüksek ısı transferiAkışkan maliyeti ve çevresel düzenlemeler; daha karmaşık sistem

Uygulamada çoğu tesis hibrit çalışır: ısının büyük bölümü sıvıyla, kalanı hava ile uzaklaştırılır. Bu nedenle hava soğutma altyapısı tamamen ortadan kalkmaz, küçülür.

Sıvı altyapısı: CDU, borulama ve kaçak

  • Soğutma dağıtım ünitesi (CDU): tesisin soğuk su devresi ile sunuculara giden hassas sıvı devresini birbirinden ayırır; basıncı, debiyi ve sıcaklığı kontrol eder. Sıra sonuna veya ayrı bir teknik hacme yerleştirilir ve yedekli seçilir.
  • Su kalitesi: soğuk plakalardaki ince kanallar tıkanmaya duyarlıdır; ikincil devrede filtrasyon ve su şartlandırma zorunludur.
  • Borulama: veri salonuna su girdiği için güzergah, vana ve bağlantı detayları titizlikle tasarlanır; hızlı bağlantı elemanları damlatmaz tipte seçilir.
  • Kaçak algılama: boru güzergahları ve kabin altlarında kaçak sensörleri ve damlama tavaları kullanılır; alarm otomasyona bağlanır.
  • Daha yüksek su sıcaklığı: sıvı soğutma, klasik sistemlere göre daha sıcak suyla çalışabilir. Bu, yılın büyük bölümünde serbest soğutmayı mümkün kılar ve atık ısının geri kazanımına imkân verir.

Elektrik ve yapıya etkileri

  • Güç dağıtımı: kabin başına güç arttıkça kablo yerine üstten busbar dağıtımı ve daha yüksek akımlı çıkışlar öne çıkar. Yedeklilik kurgusu için N+1 ve 2N enerji dağıtımı yazımıza bakabilirsiniz.
  • Trafo ve jeneratör: aynı alandan çok daha fazla güç çekildiği için enerji altyapısı tesisin sınırlayıcı unsuru haline gelir. Bu konuda UPS ve jeneratör kapasitesi yazımız yol gösterir.
  • Yük değişimi: yapay zekâ iş yüklerinde güç tüketimi çok hızlı artıp azalabilir; UPS ve jeneratör bu dinamik davranışa göre değerlendirilir.
  • Döşeme yükü: sıvı dolu kabinler ve daldırma tankları klasik kabinlerden belirgin biçimde ağırdır. Ayrıntılar için veri merkezinde döşeme yükü ve statik tasarım yazımıza bakabilirsiniz.
  • Soğutma sürekliliği: bu yoğunlukta soğutmanın birkaç saniyeliğine bile durması sıcaklığı hızla yükseltir; pompalar ve CDU'lar kesintisiz güçten beslenir.

Mevcut veri merkezi dönüştürülebilir mi?

Kısmen. Mevcut bir salonun bir bölümü, arka kapı ısı değiştiricileri veya çipe doğrudan soğutma ile yüksek yoğunluklu bölgeye çevrilebilir. Belirleyici olan üç konudur: enerji altyapısının ek gücü karşılayıp karşılamadığı, döşemenin ek yükü taşıyıp taşımadığı ve salona soğuk su hattının getirilip getirilemeyeceği. Bu üçü etüt edilmeden verilen dönüşüm kararı, yarım kalan yatırımla sonuçlanır.

Sık yapılan hatalar

  • Kabin yoğunluğunu bugünün donanımına göre belirleyip birkaç yıl sonraki nesli hesaba katmamak.
  • Sıvı soğutmaya geçince hava soğutmanın tamamen gereksiz olacağını varsaymak.
  • CDU ve pompaları kesintisiz güç ve yedeklilik kapsamına almamak.
  • Su kalitesi ve filtrasyonu işletmeye bırakmak.
  • Döşeme yükünü ve ekipman taşıma güzergahını yeniden kontrol etmemek.

Ayrıntılar için Veri Merkezi Mekanik Projesi sayfamıza bakabilirsiniz.

Sık sorulan sorular

Cevabı görmek için soruya tıklayın.

TemelYapay zekâ veri merkezi klasik veri merkezinden nasıl ayrılır?
Kabin başına güç yoğunluğu çok daha yüksektir. Bu yüzden soğutma sıvıya kayar; elektrik dağıtımı, döşeme yükü ve boru altyapısı buna göre tasarlanır.
Turkcell Datacenter
SoğutmaSıvı soğutma neden gerekli?
Suyun ısı taşıma kapasitesi havadan çok daha yüksektir. Belirli bir kabin yoğunluğunun üzerinde ısıyı hava ile uzaklaştırmak verimli olmaz.
YöntemDirect-to-chip soğutma nedir?
İşlemci ve GPU'ların üzerine yerleştirilen soğuk plakalardan soğutucu sıvının dolaştırılmasıdır. Isının büyük bölümünü doğrudan kaynağında alır.
Güneykongo Siber Güvenlik Merkezi
YöntemDaldırma soğutma nedir?
Sunucuların elektriği iletmeyen bir sıvıyla dolu tanklara daldırılarak soğutulmasıdır. Fan gerektirmez ve çok yüksek yoğunluklara izin verir.
AltyapıCDU ne işe yarar?
Soğutma dağıtım ünitesidir. Tesisin soğuk su devresini sunuculara giden hassas sıvı devresinden ayırır ve basınç, debi ile sıcaklığı kontrol eder.
Esenler Teknopark Merkezi
DönüşümMevcut veri merkezi yapay zekâ yüklerine uyarlanabilir mi?
Kısmen uyarlanabilir. Enerji altyapısı, döşeme taşıma kapasitesi ve salona soğuk su getirme imkânı etüt edildikten sonra karar verilir.

Yüksek yoğunluklu veri merkezinizi birlikte tasarlayalım.

Sönmez Mühendislik, 1995'ten beri Türkiye'de ve yurt dışında yürüttüğü statik, elektrik, mekanik ve BIM projeleriyle Türkiye'nin en iyi mühendislik ofislerinden biridir.

Ayrıntılar için Veri Merkezi Mekanik Projesi ve Veri Merkezi Mühendisliği sayfalarımıza göz atın.