Distribuerad och parallell beräkning är två paradigm för att utföra beräkningar som kan delas upp i mindre, oberoende uppgifter. Båda paradigmen utnyttjar tillgången på flera processorer för att uppnå högre prestanda än vad som skulle vara möjligt med en enda processor. Det finns dock några viktiga skillnader mellan de två paradigmen.
Distribuerad datoranvändning innebär att fördela uppgifterna för en beräkning över ett nätverk av datorer, som var och en har sitt eget minne och bearbetningsenhet. Datorerna i ett distribuerat system kan finnas var som helst i världen, och de kan vara av olika typer och storlekar. Distribuerad beräkning används ofta för storskaliga beräkningar som kräver processorkraften hos flera datorer, såsom väderprognoser, klimatmodelleringar och finansiella simuleringar.
Parallell beräkning innebär att utföra flera uppgifter samtidigt på en enda dator som har flera processorer. Processorerna i en parallell dator kan vara placerade på ett enda chip, eller så kan de fördelas över flera kretsar. Parallell beräkning används ofta för beräkningsintensiva uppgifter som kan delas upp i oberoende deluppgifter, såsom videoredigering, bildbehandling och vetenskapliga simuleringar.
Den största skillnaden mellan distribuerad och parallell beräkning är platsen för de processorer som används för att utföra beräkningarna. Vid distribuerad beräkning är processorerna placerade på olika datorer, medan vid parallell beräkning är processorerna placerade på samma dator. Denna skillnad har flera konsekvenser för hur distribuerade och parallella beräkningar struktureras och exekveras.
Kommunikationsoverhead är en viktig faktor vid distribuerad datoranvändning, eftersom processorerna måste kommunicera med varandra över ett nätverk. Denna kommunikation kan introducera betydande latenser, vilket kan sakta ner beräkningen. Vid parallell beräkning är kommunikationsoverhead vanligtvis mycket lägre, eftersom processorerna kan kommunicera med varandra direkt genom delat minne.
Feltolerans är en annan viktig faktor vid distribuerad datoranvändning, eftersom datorerna i ett distribuerat system kan misslyckas oberoende av varandra. Detta innebär att distribuerade beräkningar måste utformas för att tolerera fel och fortsätta att köras även om några av datorerna i systemet misslyckas. Vid parallell beräkning är feltolerans vanligtvis mindre ett problem, eftersom processorerna i en parallell dator vanligtvis är tätt kopplade och sannolikt inte kommer att misslyckas oberoende av varandra.
Skalbarhet är en viktig faktor för både distribuerad och parallell beräkning. Distribuerade beräkningar kan skalas upp genom att lägga till fler datorer till systemet, medan parallella beräkningar kan skalas upp genom att lägga till fler processorer till datorn. Det finns dock gränser för skalbarheten av både distribuerade och parallella beräkningar. I distribuerad datoranvändning begränsas skalbarheten av nätverkets bandbredd och kommunikationsoverhead. Vid parallell beräkning begränsas skalbarheten av antalet processorer som effektivt kan användas på en enda dator.
Generellt sett är distribuerad beräkning bättre lämpad för storskaliga beräkningar som kan distribueras över ett nätverk av datorer, medan parallell beräkning är bättre lämpad för beräkningsintensiva uppgifter som kan delas upp i oberoende deluppgifter och exekveras samtidigt på en enda dator.