Az Intel Xeon D sorozatú processzorok integrálása COM-HPC típusú modulszerver (“Server-on-Module”) termékekbe (ahogy azt pl. a congatec nevű gyártó végzi) mentesíti a szerverépítő vállalkozókat a légkondicionált szervertermekben tapasztalható, szűk termikus tűrésekből adódó tervezési feladatok alól. A korábbi lehetőségektől eltérő módon ezek a modulszerverek immár lényegében bárhova telepíthetők, ahol a kis késleltetésre és nagy adatátviteli sebességre az infrastruktúrában szükség van – legyen szó akár determinisztikus valósidejű alkalmazásról.
Az edge szerverek közös jellemzője, hogy az adatfeldolgozást a kommunikációs hálózatok teremén (innen az “edge” elnevezés) végzik ahelyett, hogy a felhő “közepén” tennék mindezt. Ez az elrendezés lehetővé teszi, hogy az edge szerverek bármely fajta klienssel kommunikáljanak valósidőben, ugyanakkor jelentős kihívások elé állítja a szerverek, hálózati eszközök és adattárolók gyártóit. Az edge szerverek elterjedéséig a gyártók a megoldásaikat a standard szekrényes formatényezőknek megfelelően alakították ki, amelyek aktív ventilátoros hűtést használnak, és nagyteljesítményű légkondicionálást igényelnek annak érdekében, hogy a termikus paraméterek az érzékeny elektronikai rendszerekben kordában maradjanak tartva. Ez a standard szekrényes-formatényezős kialakítás az edge szerverek korában sajnos már nem jelent megfelelő megoldást.
1. ábra. A világ első COM-HPC kompatibilis modulszerverei Intel Xeon D sorozatú processzorokkal újgenerációs képességeket hoznak az edge szerverek világába a korábbi megoldásokra jellemző termikus korlátok elhagyásával
A Fűtési, Hűtési és Légkondicionálási Szakértők Amerikai Egyesülete (ASHRAE) megvizsgálta, hogyan a leghatékonyabb telepíteni az ilyen komoly igénybevételnek kitett edge szervereket. Ez egyben azt is jelenti, hogy a fűtés-, hűtés-, szellőztetéstechnikai ill. légkondicionálásra specializálódott beszállítók részéről már elérhetők olyan megoldásjavaslatok, amelyek alapján az edge szervereket tartalmazó adatközpontokat és azok nagyteljesítményű légkondicionáló berendezéseit érdemes kialakítani, a hőtől és hidegtől való megfelelő védelem érdekében.
Az edge szerverek mentesítése a légkondicionálás béklyóitól
Az ASHRAE az edge adatközpontok termikus tulajdonságainak specifikációinál megadja azt is, hogy az egy órán belüli maximális megengedett hőmérsékletfluktuáció 20 °C, a negyedórán belüli maximális megengedett hőmérsékletfluktuáció 5 °C lehet. Ennek megvalósításához egyrészt meglehetősen összetett légkondicionálási megoldás implementálására van szükség, másodsorban pedig ennek megfelelni közel lehetetlen amiatt, hogy pl. karbantartás során a kb. telefonfülke méretű adatközponthoz való hozzáférés ajtónyitással kapásból jelentős hőmérsékletváltozásnak teszi ki a rendszert. Egyszerűen nem lehetséges kontrollált klímakörnyezetben anélkül karbantartást végrehajtani, hogy ilyen termikus sokknak ki ne tegyék a rendszert.
Az ilyen termikus körülményekkel jellemezhető edge szervereknek és adatközpontoknak ezért olyan kialakításra van szükségük, amelyek nagyobb termikus fluktuáció tolerálására képesek, mint a beltéri információtechnológiai rendszerekre általában jellemző 0 – 40 °C. Ipari környezetben a beágyazott rendszereket akár a -40 – 85 °C hőmérséklettartománynak is kitehetik, amely azt jelenti, hogy a rendszer alkatrészeit illetően megerősített kialakításra van szükség.
Megerősített kialakítású alkatrészekkel az alacsonyabb légkondicionálási költségekért
Az edge szerverek, hálózati eszközök és tárolórendszerek megtervezésekor a neuralgikus pont a processzortechnológia megfelelő megválasztása. Ehhez kapcsolódóan fontos döntés még, hogy az ASHRAE ajánlásainak követésével haladunk-e tovább, és hajlandóak vagyunk-e a légkondicionálási infrastruktúrába is jelentős összegeket invesztálni, amely később majd a másodlagos energiaköltségekre is hatással lesz. Dönthetünk a másik út követéséről is, amelynek értelmében olyan rendszereket építünk, amelyek eleve bírják a korábbiakban leírt extrém igénybevételt, ezáltal nagy igénybevételeket támasztó alkalmazásokban is relatív olcsón implementálhatók (legyen szó gyártóüzemek rendszereiről, kültéri kommunikációról, videós megfigyelőrendszerekről, vonatokról, repülőgépekről, vagy akár okosvárosok önvezető autóbuszairól).
Köszönhetően az Intel új Xeon D sorozatú processzorok eljövetelének, immáron rendelkezésre áll olyan szervertechnológia, amelynél tanúsítvány igazolja, hogy kompatibilis a -40 – 85 °C működési hőmérséklettartománnyal. Hála ennek, még a legnagyobb teljesítményű szervereknél sem kell a korábbiakból ismerős termikus megkötésekkel számolni a nem kielégítően légkondicionált terekben. Végső soron ezeket az új tervezésű szervereket bárhol lehet telepíteni, ahol késleltetésmentes, nagy adatátviteli sebességre képes edge szerveres adatfeldolgozásra van szükség, IoT és Ipar 4.0 alkalmazástípusoknál egyaránt.
A rendszertervezéssel és megvalósítással kapcsolatos extrakövetelmények
Mindazonáltal a szerverprocesszor egymaga nem elegendő egy bővített tűréshatárú edge szerver megvalósításához, egyebek mellett egy ilyen rendszerhez kiterjedt tudásbázisra is szükség van tervezői oldalról. A rendszerben használt minden egyes alkatrésznek gyártói tanúsítvánnyal kell rendelkeznie arról, hogy ilyen fokozott igénybevétel mellett is garantált a működőképessége, illetve a nyomtatott áramköri kártyák fizikai kialakítása és a kártyatervezés oldaláról is ennek megfelelő megoldások szükségesek. Speciális áramkörépítési megoldások között említendő például az olyan kártyabevonati réteg, amely a lecsapódó nedvesség és egyéb környezeti ártalmak ellen nyújt védelmet, illetve ide sorolandó a nagyfrekvenciás külső jelek és külső, erős elektromágneses tér ellen szolgáló védelmek, amelyek ugyancsak negatívan befolyásolhatják az áramkörök működését.
2. ábra. A moduláris Server-on-Module kialakítás rendkívül leegyszerűsíti a dedikált edge szerverek kifejlesztését alkalmazásspecifikus elrendezéssel és egyedileg tervezett hordozókártyákkal
A beágyazott rendszerek tervezői, mint pl. a congatec, több évtizednyi tapasztalattal rendelkeznek az ilyesfajta rendszerek tervezésében és megvalósításában. Ezek a vállalatok már évtizedek óta integrálnak standard PC technológiákat (pl. Intel Core sorozatú processzorokkal a fedélzetükön) olyan rendszerekbe, amelyek végül ipari felhasználásban kötnek ki. Ezek a cégek ismerik részletesen a különböző professzionális iparágak által támasztott követelményeket és a releváns hitelesítési igényeket, és tervezési folyamataikkal eleve a hosszú élettartamra és megbízhatóságra vannak ráállva annak érdekében, hogy a 7, 10 vagy akár 15 év elvárt élettartamhoz méltó műszaki minőségű megoldásokat szállítsanak OEM-eknek vagy OEM-ként. Ugyancsak tisztában vannak vele, hogy az ipari alkalmazásokjelentősen eltérnek az irodai környezetre jellemző feltételektől olyan tekintetben is, hogy az ipari rendszereknél kisebb-nagyobb mértékben egyedi igényekre szabhatóságot kell kínálni, amelynek egyik lehetséges megoldását a modulszámítógépek jelentik. A cégek megtanulták azt is, hogy a szabványosítás kulcsfontosságú, amely magyarázatot ad arra, hogy miért segítették elő a vonatkozó globális szabványok megalkotását.
A célok hamarabb elérhetők szabványos megoldások alkalmazásával
Most, hogy már rendelkezésre állnak a COM-HPC szerverosztály specifikációk, és kereskedelmi forgalomban elérhetők az Intel Xeon D sorozatú processzorok, immár semmi nem áll az ipari minőségű edge szerverek további elterjedése útjában. A történelem során először van a tervezőknek hozzáférése valódi termékekhez, valódi megoldásokhoz. Az új, szabványos COM-HPC modulszerverek egyik nagy előnye, hogy a tervezők saját hordozókártyájukra integrálhatják őket, mint alkalmazásra előkészített, beágyazott számítástechnikai megoldást. Ez azt is jelenti, hogy nem kell a továbbiakban törődniük a processzort érintő, alapvető technológiai akadályoktól, hanem elegendő pusztán a kártyaalkatrészek alkalmazásspecifikus elhelyezésével, illetve az interfészek megfelelő kialakításával törődniük. A PICMG szabványosítási csoport evégre adta ki nemrég a COM-HPC Carrier Design Guide nevű kiadványt, amely az egymással együttműködő és skálázható, és egyúttal egyedi igények szerint alakítható, beágyazott számítástechnikai platformok kialakítására nézve tartalmaz ajánlásgyűjteményeket, továbbá elősegíti a szabványosítás mögötti logikai rendszer megismerését és megértését.
------------------------------------------------------------------------------------------
- COM-HPC alapú, többmodulos edge szerverek
- Referenciaterv gépi tanulásra kihegyezett számítástechnikai klaszterekbe
- A COM-HPC edge szerverek kialakítása nem korlátozódik szükségszerűen egyetlen modulra. A COM-HPC szabvány kifejezett kitételeket tartalmaz többmodulos hordozókártyákra, amelyeken heterogén COM-HPC modulok helyezhetők el olyan elektronikai megoldások összeintegrálásához, mint FPGA-k vagy GPGPU gyorsítók. A COM-HPC modulszerverek és COM-HPC modulkliensek kombinálása egyetlen hordozókártyán szintén egy a sok implementációs lehetőség közül. Például, a congatec a Bielefeldi Egyetemmel és a Christmann IT céggel együttműködve olyan edge szerverkialakításon dolgozik, amely többféle COM-HPC modul kombinációját valósítja meg egyetlen hordozókártyára integrált formában, és alkalmas hardverhátteret biztosít extrém valósidejű munkafolyamatokhoz többgépes, mesterséges intelligencián alapuló megoldásokat futtató klaszterekhez (önszervező térképes alkalmazás).
- 3. ábra. Edge szerver három COM-HPC szabványú modullal, valósidejű alkalmazásra felkészítve
- ------------------------------------------------------------------------------------------
A tudás hatalom
Annak érdekében, hogy elősegítse a fejlesztők gyors, hatékony és könnyű elmerülését az előbbiekben ismertetett, újfajta tervezési módokban, a congatec megnyitott egy online és helyszíni képzési akadémiát a COM-HPC szabvány szerinti szerverek és kliensek tervezése témájában. Ezek a szemináriumokon a fejlesztőket szakértők vezetik be a csúcskategóriás beágyazott és edge számítástechnikai rendszerekbe az új Computer-on-Module szabványok nyomán. A tréningprogram kiterjed minden kötelező és ajánlott tervezési szempontra, és a COM-HPC hordozókártyáknál ill. kiegészítőknél a legjobb gyakorlati megoldásokat követő kapcsolási rajzok kérdésére is (pl. ventilátormentes hűtési megoldások 100 W vagy nagyobb teljesítményű szerverek esetén). A COM-HPC szervermodulok funkciógazdag, fejlesztési célú hordozókártyái kiváló referenciaplatformot szolgáltatnak az Intel Xeon D sorozatú processzorok implementálására. Ezek a kártyák a szabvány teljes szolgáltatáskínálatát biztosítják, és kiválóan alkalmasak arra, hogy a fejlesztők ezek alapján ideális alkalmazásspecifikus megoldással álljanak elő.
A congatec akadémia célja, hogy minden COM-HPC szabványra specifikus alapismeretet részletesen átadjon, kezdve a nyomtatott áramköri kártyák rétegszámának megfelelő megválasztásától, a teljesítménymenedzsment szabályainak megtanításán át egészen a jelintegritással és alkatrészméretezéssel kapcsolatos kérdésekig. A kifejezetten a kommunikációs interfészeket tárgyaló leckék kimondottan hangsúllyal veszik figyelembe azoknak a tipikus buktatóknak az ismertetését, amelyek a nagysebességű soros kommunikációs buszok implementálásával társíthatók (pl. PCIe Gen 4 és Gen 5, USB3.2 Gen 2, USB4, Thunderbolt-over-USB-C, 100 GbE stb.), illetve amelyek oldalsávi jelek menedzselésével kapcsolatosak 10G/25G/40G/100G Ethernet KR interfészeken, amelyeket a COM-HPC szabványban a hordozókártyák soros jelből vissza kell alakítani. E tanfolyami leckék során ugyancsak ismertetésre kerülnek az olyan interfészszabványok helyes implementálása, mint az eSPI, I2C és GPIO.
A betervezési fázisra dedikált szakképzést az x86 firmware implementációba történő bevezetés teszi teljessé, amely a beágyazott BIOS-tól a kártyamenedzsment-vezérlésig ill. modulmenedzsment-vezérlésig terjed. Továbbá, végül, de nem utolsósorban, külön leckék tárgyalják a verifikációs- és tesztelési stratégiákat, amelyek a kezdeti hordozókártyás verifikációtól egészen a tömeggyártáskor lefolytatott végtesztelésig terjednek.
Az ismertetett, lényegében teljes körűnek tekinthető congatec szakképzési program egyértelmű célja, hogy a lehető legkorábbi kezdéssel támogatást nyújtson a robusztus edge szerverek fejlesztői és tervezői számára. Talán felesleges is megemlíteni, de a congatec természetesen az arra igényt tanúsító OEM vevők számára komplett rendszerterveket is értékesít, amelyek a saját fejlesztésű COM-HPC szerverarchitektúráinak és partnerhálózatuk vívmányainak legjavát nyújtja.
4. ábra. A standard alaplapi kialakítások általában standard integrált interfészkiosztást jelentenek, amelyeket az alaplap áramköri kártya hátoldalán vezetnek ki. Ez a koncepció nem veszi figyelembe az ipari rendszerek által támasztott igényeket, ezáltal az ilyen alaplapi kártyák felhasználhatósága IoT és edge szerveres alkalmazásokban korlátozott, továbbá ugyancsak korlátozott felhasználhatóságot jelent, hogy többnyire nem kompatibilisek a -40 – 85 °C működési hőmérséklettartománnyal sem, és nem felelnek meg a 7 – 15 év tervezett élettartami követelménynek sem. A COM-HPC modulszerverek használatával azonban adott a lehetőség a követelményeket kielégítő hordozókártyák megtervezésére, amelyek a követelményeknek megfelelően bocsátják rendelkezésre a kívánt interfészeket az elvárt elrendezésben
5. ábra. A congatec COM-HPC Server “E” méretkódú, COM-HPC Server “D” méretkódú és COM Express Type 7 méretkódú formatényezővel is kínál Intel Xeon D-alapú modulszervereket
6. ábra. Az Intel Xeon D-alapú COM-HPC Server “E” és “D” méretkódú változatai közötti eltérések a RAM-foglalatok számában is tetten érhetők, amelyek meghatározzák a rendszerbe telepíthető maximális memória mennyiségét
Gyorsabb feldolgozás és nagyobb teherbírás edge szerverekben
Minden korábbi előnyön túlmenően, az új COM-HPC szabványú modulszerverek az “E” és “D” méretkódban, BGA tokozású, forrasztott Intel Xeon D sorozatú (“Ice Lake D”) processzorokkal nemcsak a -40 – 85 °C kiterjesztett hőmérséklettartományukkal imponálnak, hanem egyúttal szakítanak számos olyan, korábbról származó korlátozással, amelyek az edge szervereknél közismertek voltak. Ezektől a limitációktól mentesen, az új modulszerverek akár 20 processzormagot, 8 foglalatban akár 1 TB, 2933 MT/s sebességű operatív memóriát, összesen modulonként akár 47 PCIe sávot, akár 100 Gibit/s átviteli sebességű Ethernet interfészt, ill. a 10 nm csíkszélességű gyártástechnológiának köszönhetően az Ethernethez optimalizált teljesítményfelvételű TCC/TSN támogatást kínálnak. A videótárolásra és analitikára kialakított edge szerverek továbbá jó hasznát veszik majd az integrált Intel AVX-512, VNNI és OpenVINO támogatásnak is a mesterségesintelligencia-alapú megoldásokhoz.
Valódi mérföldkő a valósidejű edge szerverek történetében
Az Ice Lake D-generációra építkező COM-HPC modulszerverek piaci rajtja valójában hármas mérföldkövet állít fel. Az első mérföldkövet a kiterjesztett működési hőmérséklettartomány adja, amely immár nem korlátozza használatukat a hagyományos ipari alkalmazásokra, hanem kompatibilissé teszik őket kültéri és autóipari alkalmazásokkal is. A második mérföldkövet az jelenti, hogy történetük során először támaszkodhatnak a COM-HPC modulszerverek akár 20 processzormagra és 8 foglalatban elhelyezett memóriamodulok kapacitására, amelyek ráadásul a PICMG specifikációkhoz képest lényegesen nagyobb adatátviteli sebességet kínálnak. Végezetül pedig, a harmadik mérföldkövet az jelenti, hogy ezek a modulszerverek kompatibilisek valósidejű alkalmazásokkal, processzormagok és TCC/TSN-támogatású Ethernet tekintetében is, amely az ipari IoT (IIoT) alkalmazásokhoz alapszükséglet.
A szerverterhelés-kiegyenlítés és szerverkonszolidációs szolgáltatások implementálásához a determinisztikus valósidejű edge szerveres alkalmazások implementálásához (amelyeknél a valósidejű alkalmazások egyetlen edge szerveren, egymástól függetlenül futnak) nagy segítséget jelent, ha a szerverplatformunk támogat valósidejű virtuális gépeket (mint ahogy pl. a Real-Time Systems-féle RTS Hypervisor). Ez lehetővé teszi, hogy az Ipar 4.0 informatikai rendszerrel felkészített gyárüzemek heterogén valósidejű alkalmazásokat futtassanak egyetlen szerverplatformon saját privát 5G hálózatuk peremén, illetve exkluzív rendszererőforrásokat allokáljanak egyedi folyamatokhoz. A congatec-féle modulszerverek ezekre a szolgáltatásokra teljesen fel vannak készítve, hovatovább a congatec által kínált COM-HPC modulszerverek egyedi kivitelei minden szükséges egyébbel körítve a standard szolgáltatások körét erősítik.
Az új modulok további szerverosztályú funkciók sokaságát kínálják. A megbízhatóság terén kompromisszumot nem ismerő alkalmazásokhoz rendelkezésre állnak funkciógazdag biztonságtechnikai szolgáltatások (pl. Intel Boot Guard, Intel Total Memory Encryption/Multi-Tenant, Intel Software Guard Extensions stb.). A legjobb megbízhatóság, rendelkezésre állás és skálázhatóság (RAS – Reliability, Availability & Scalability) érdekében a processzormodulokba az Intel Management Engine interfészt és távvezérlési szolgáltatásokat (pl. redfish és IPMI) is integráltak. Voltaképpen létezik egy olyan PICMG specifikáció is, amely biztosítja ilyen implementációk egymással való kompatibilitását – amelyet mellesleg a congatec akadémia tanfolyamai tárgyalnak is.
A modulszervereknél elérhető Intel Xeon D sorozatú processzorok változatai
Az új modulok az Intel Xeon D sorozatú processzorok nagy magszámú (HCC – High Core Count) és alacsony magszámú (LCC – Low Core Count) variánsaival, ill. azok különböző alváltozataival is elérhetők.
7. ábra. Az Intel Xeon D processzoron alapuló COM Express Type 7 és COM-HPC “D” méretkódú modulok nemcsak méretükben, hanem perifériakiosztásukban is különböznek
A conga-HPC/sILH COM-HPC “E” méretkódú modulszerverek öt különböző, Intel Xeon D 27xx HCC sorozatú processzorral érhetők el, 4 – 20 processzormaggal, 8 DIMM memóriafoglalattal (amelyekbe összesen akár 1 TB, 2933 MT/s adatátviteli sebességű, DDR4 szabványú, ECC memória pakolható), 32x PCI Ge 4 és 16x PCI Gen 3 sávval, 100 Gibit/s sebességű Ethernettel és valósidejű kommunikációra képes, 2,5 Gibit/s sebességű, TSN és TCC támogatású Ethernettel, 65 – 118 W elektromos teljesítmény mellett.
8. ábra. Az akár 20 fizikai processzormag valósidejű alkalmazásokban számtalan biztonságtechnikai funkció megvalósítását segíti elő a Real-Time Systems által szállított virtualizált rendszerekben
9. ábra. Az Intel Xeon D 27xx HCC processzorok fajtái a COM-HPC Server “E” méretkódú (200 mm x 160 mm) modulszerverekben a congatec-től
10. ábra. Az Intel Xeon D 17xx LCC processzorok fajtái a COM-HPC Server “D” méretkódú (160 mm x 160 mm) és COM Express Type 7 (95 mm x 120 mm) modulszerverekben a congatec-től
A conga-HPC/sILH COM-HPC “C” méretkódú és COM Express Type 7 modulszerverek öt különböző, Intel Xeon D 17xx LCC sorozatú processzorral érhetők el, 4 – 10 processzormaggal. Míg a conga-B7Xl COM Express modulszerver max. 128 GiB DDR4 2666 MT/s RAM-ot támogat max. 3 SO-DIMM memóriafoglalattal, addig a conga-HPC/SILL COM-HPC “D” méretkódú modulszerver 4 DIMM foglalatot, és max. 256 GiB 2933 MT/s DDR4 memóriát vagy 128 GiB ECC U-DIMM memóriát támogat. Mindkét modulcsalád 16x PCIe Gen 4 és 16x PCIe Gen 3 sávot kínál, a gyors adatkommunikációt 50 Gibit/s sebességű Ethernettel és valósidejű kommunikációra képes, 2,5 Gibit/s sebességű, TSN és TCC támogatású Ethernettel oldják meg. A processzorok elektromos alapteljesítménye 40 – 67 W.
A modulok már előrendelhetők, a processzor termikus profiljához illeszkedő, robusztus hűtési megoldásokkal megtámogatott fejlesztői minták pedig azonnali készletről elérhetők. Az elérhető hűtési megoldások között megtalálhatók nagyteljesítményű, ventilátoros hűtőrendszerek hőcsöves kialakítással, illetve akár teljesen passzív hűtés is kapható, tökéletes vibráció- és ütődésállóssággal. A passzív hűtési rendszerek hatása áldásos olyan alkalmazásokban is, amelyeknél extrém hőmérsékletingadozások tapasztalhatók rövid időközönként. Szoftveres oldalon az új modulok tartalmas csomagokkal érkeznek Windows, Linux, VxWorks és RTS hypervisor technológiás operációs rendszerekhez.
Szöveg: Andreas Bergbauer, Intel Xeon D szenior termékvonal-menedzser, congatec GmbH
