IPSec skyddar IP-trafik som växlas mellan avsändare och mottagare genom ett oskyddat nätverk. Som avsändare och mottagare uppfattas routrar, brandväggar, datorer eller liknande enheter och olika typer av servrar. Vi använder direkt eller indirekt nämnda kommunikationsmaskiner som på engelska inom IPSec kallas ”peer” eller jämlika nätverksenheter. En typ av IPSec peer kan vara en datoranvändare i ett hemnätverk eller företagsnätverk som vill komma åt ett avlägset nätverk med syfte att använda dess resurser. En fjärranslutning av en enskild datoranvändare kallas på engelska ”remote user” anslutning. Kommunikationen mellan företagsnätverk via Internet kallas på engelska ”site to site”. Här nedan illustreras hur en fjärranslutning fungerar:

För enkelhetsskull beskriver jag kommunikationsprocessen mellan peer A och peer B i följande steg:

1. Två IPSec peer initierar en säkrad kommunikation via Internet.
2. Först behöver peer A och B skapa en IPSec tunnel. Det kan göras med hjälp av IKE faser, 1 och 2. I IKE fas 1 kommer peer A och B att förhandla om kryptering, autentisering, hashing och andra protokoll som de vill använda tillsammans med några andra säkerhetsparametrar. I denna fas upprättas en ISAKMP-session (Internet Security Association and Key Management Protocol).
   IKE fas 1 kallas även ISAKMP-tunneln.

IKE fas 1-tunneln används endast för hanteringsinformation. Denna tunneln används som en säker metod för att etablera den andra tunneln som kallas IKE fas 2-tunneln.

I IKE fas 2 etableras den säkra kanalen efter att peer A och peer B har förhandlat alla säkerhetsprotokoll och alla säkerhetsmekanismer samt parametrar i något som kallas ”Security Associations, SA”.

3. Nu finns den säkra kanalen därmed nästa steg handlar om autentisering och kryptering av data som ska överföras från A till B genom den osäkra Internet. I det syftet kan två protokoll användas:

• • Authentication Header – AH
  • Encapsulation Security Payload – ESP

Dessa protokoll tillhandahåller autentisering och dataintegritet, men endast ESP stödjer datakryptering. AH och ESP fungerar på två olika sätt:

• • Transport mode
  • Tunnel mode

Förenklat kan AH och ESP arbetssätt förklaras som hur ytterligare hanteringsinformation läggs till det ursprungliga IP-paketet. Detta är också känd som inkapsling.

Nu A och B kan kommunicera på ett säker sätt via ett osäker nätverk.

4. Den säkra kommunikationen med hjälp av IPSec avslutas så att andra kommunikationsmoment kan förhandlas.