High performance clusters en grids

Er bestaan op operating system niveau twee cluster architecturen: High performance clusters en High availability clusters.

Clusters

High performance clusters zijn bedoeld om met meerdere systemen een grote reken- of verwerkingskracht te krijgen. Hiervoor worden een groot aantal meestal goedkope PC's via een snel netwerk (gigabit Ethernet of Infiniband) samengevoegd tot 1 grote supercomputer. Deze clusters worden veel gebruikt bij rekenintensieve taken, zoals weersvoorspellingen, geologisch, nucleair, of farmaceutisch onderzoek. De kunst bij deze architectuur is om de software en de infrastructuur zo in te richten dat de systemen zoveel mogelijk aan het werk zijn, zonder dat er teveel tijd verloren gaat aan de communicatie tussen de systemen.

Op www.top500.org staat een lijst van de 500 krachtigste supercomputers ter wereld. Het grootste deel van deze systemen bestaat eigenlijk uit een cluster van kleinere systemen. Veel van die systemen draaien Linux. Een bekend high-performance open source project voor Linux is Beowulf.

Grids

Indien een high-performance cluster bestaat uit systemen die geografisch verspreid zijn, spreken we van een Grid. Bij grid architectuur is de beperkte bandbreedte tussen de systemen vaak de bottleneck. Grids kunnen daarom alleen voor specifieke taken worden ingezet.

Het bekendste (en al een vrij oud) voorbeeld van een grid is het SETI@HOME project, waarbij een groot aantal privé PC's van internet gebruikers op zoek zijn naar buitenaards leven. Dit soort grids gebruikt ongebruikte computertijd van PC's (bijvoorbeeld als een computer op de screensaver springt) om computertijd aan het grid ter beschikking te stellen. De taken die worden uitgevoerd worden dan van het internet opgehaald. Als een stukje rekenwerk klaar is, dan wordt het resultaat terug gestuurd en wordt een nieuw pakketje werk opgehaald.

Toepassingen

Een meer serieus voorbeeld van een grid is een project dat op zoek is naar een genezing voor kanker of de ontrafeling van het menselijk DNA.

Tegenwoordig zijn ook grids beschikbaar met een hogere bandbreedte, zoals het Almere grid. De rekenkracht wordt hierbij ter beschikking gesteld aan onderzoekers.

Er zijn ook initiatieven die de donateurs van computertijd een vergoeding geven voor de beschikbaar gestelde computertijd. In dat geval wordt meestal de computertijd in het grid aan commerciële partijen verkocht.

Security

Uiteraard is security van grids een belangrijk aspect. De systemen waar de rekentaken op draaien dienen beveiligd te zijn tegen ongeoorloofd gebruik door anderen. Ook de gegevens die verwerkt worden dienen niet te kunnen worden gemanipuleerd.

Redenen om te kiezen voor Open Source software

Er zijn verschillende redenen voor een bedrijf om binnen hun architectuur te kiezen voor Open Source Software. De belangrijkste redenen zijn: Kosten, Security, Robuustheid, Openheid, Migratie en consolidatie, Schaalbaarheid en Kennis. Hieronder beschrijf ik elk deze redenen.

Kosten
Open Source Software kent in principe geen licentiekosten. De licentiekosten zijn echter niet altijd een relevant deel van de totale kosten van de aanschaf en het gebruik van een applicatie (de TCO). Kosten voor training en support kunnen ook bij Open Source Software oplopen.

Een voorbeeld hiervan is de kosten van het Open Source pakket OpenOffice.org. Deze kunnen bij het gebruik van een groot aantal werkstations een stuk goedkoper uitvallen dan het gebruik van Microsoft Office. Hierbij moet wel worden aangetekend dat er waarschijnlijk kosten moeten worden gemaakt om de onvermijdelijke compatibiliteitproblemen tussen Microsoft Office en OpenOffice.org op te lossen. Bovendien moeten gebruikers wellicht getraind worden in het gebruik van het pakket, en zijn er aanvullende kosten te verwachten bij de helpdesk. Als deze kosten dienen in de overweging mee genomen te worden om te bepalen of er sprake is van en significante kostenbesparing.

Bij het gebruik van infrastructuur componenten is het kostenvoordeel alleen interessant indien er veel geld wordt uitgegeven aan licenties voor dit soort componenten (zoals dure Oracle, SQL server of Exchange licenties).

Security
Omdat de broncode van de software openbaar is, kunnen eventuele beveiligingslekken ook makkelijk gevonden worden. Het principe van "veel ogen" zorgt dat Open Source software over het algemeen een hoger security niveau kent dan closed source software. Als beveiligingslekken gevonden worden, is er over het algemeen snel een patch ontwikkeld. Omdat de software via internet wordt verspreid, is de patch ook vaak snel beschikbaar.

Robuustheid
Open Source Software staat bekend als zeer robuust. De systemen hebben over het algemeen weinig “downtime” en blijven ook onder hoge load goed functioneren. Ook dit komt omdat er veel mensen naar de broncode kunnen kijken en eventuele problemen makkelijk kunnen vinden. Bovendien is het bekijken van broncode door anderen voor programmeurs een stimulans om goed en netjes programmeren

Openheid
Er zijn instanties (meestal overheidsinstellingen) die Open Source Software vereisen, omdat dit de openheid van de instantie bevordert. Een voorbeeld is het Elektronisch stemmen via Internet dat LogicaCMG ontwikkelde voor de Europese Unie. De broncode van deze software moest openbaar worden gemaakt om aan te kunnen tonen dat het onmogelijk is om fraude te plegen met de elektronisch uitgebrachte stemmen. De overheid is actief bezig om Open Source software en open standaarden te propageren en op termijn zelfs verplicht te stellen.

Migratie en consolidatie
Vaak worden Open Source infrastructuur componenten ingezet in een omgeving die migreert van een UNIX, VMS of een Mainframe omgeving. Er moest dan vaak een keuze worden gemaakt tussen een Microsoft oplossing, een UNIX oplossing of een Linux oplossing (met alle daarbij horende applicaties). Ook bij het consolideren van veel servers naar enkele grotere servers wordt vaak Open Source Software ingezet.

Schaalbaarheid
Grote rekenclusters worden vaak opgebouwd met Linux servers. Dit maakt het bouwen van een “Supercomputer” kostentechnisch interessant.

Beowulf is een high-performance cluster die draait onder Linux. Ook de schaalbaarheid van bijvoorbeeld de Apache webserver is zeer goed. Dit maakt het mogelijk websites met een zeer hoge load op te zetten.

Kennis
Het gebruik van Open Source Software vraagt kennis over dit soort software bij de beheerders. Ervaren UNIX beheerders hebben deze kennis vaak al in huis. De overstap van Microsoft technologie naar Open Source Software en andersom zijn vaak ingrijpend. Voor UNIX beheerders kost het weinig moeite om over te stappen naar Open Source oplossingen. Voor Microsoft beheerders kost het echter veel geld en tijd om over te stappen naar een Open Source Software omgeving, omdat de opzet en werking van dit soort software vaak afwijkt van de Microsoft oplossingen.

Wie maakt gebruik van Open Source software en waarom

Overheidsinstanties: Openheid, Kosten

Midden- en kleinbedrijf: Kosten, Security, Robuustheid

Universiteiten en onderzoeksinstellingen: Kosten, Schaalbaarheid, Kennis, Openheid

Internet provider en andere netwerk aanbieders: Openheid, Kosten, Robuustheid, Security, Schaalbaarheid, Kennis

Grote bedrijven: Migratie en Consolidatie

Zorgsector: Security, Kosten

Monitoring door systeembeheerders

Bij een klant waar ik op dit moment werk, wordt HP-Openview ingezet als monitoring tool voor de IT infrastructuur. Openview is een zeer krachtige tool met heel veel mogelijkheden. Als het geïnstalleerd wordt, bevat het echter nog nauwelijks functionaliteit. De functionaliteit zal moeten worden geïmplementeerd en zal moeten aansluiten bij de te monitoren omgeving. Een dergelijke implementatie is een complexe zaak. Dit geldt eigenlijk voor alle monitoring pakketten.

Toegevoegde waarde

De ervaring leert dat als de beheerders geen toegevoegde waarde zien in de inzet van een monitoring pakket, dat het pakket dan ook niet zal worden gebruikt. Als de beheerders nut hebben van het pakket, zal men het omarmen.

Bijvoorbeeld: Als men vaak meldingen krijgt van Openview, maar die meldingen blijken valse meldingen te zijn, of als men juist te weinig informatie van het systeem krijgt, dan zal men het systeem snel afdoen als “lastig”.

Als men ervaart dat het systeem een melding doet waardoor men calls bij de helpdesk voor is (bijvoorbeeld omdat er gemeld wordt dat een schijf bijna vol is, en men schijfruimte kan toevoegen voordat de gebruikers het merken), dan zal men het systeem serieus nemen en veel gebruiken.

Bijhouden

Het is ook belangrijk dat een monitoring tool wordt bijgehouden. Als er zich incidenten voordoen die worden opgelost, zouden de beheerders zich bij die incidenten moeten afvragen of dit incident in de toekomst kan worden voorkomen als er een bepaalde check in de monitoring tool wordt ingebouwd.

Men moet ook in staat zijn een dergelijke test laagdrempelig in de tool aan te brengen. Op die manier wordt het monitoring systeem steeds pro-actiever.