Una cosa particularmente curiosa de IPSec es que está orientado a conexión, a pesar de que se encuentre en la capa IP. Se debe a que la seguridad se fundamenta en la existencia de una clave que conocen los dos sistemas que se van a comunicar y que tiene una validez determinada. Esto no significa, sin embargo, que los paquetes de tipo UDP pierdan sentido, sino que para cualquier tipo de comunicación segura antes se habrán debido establecer una serie de parámetros. De ahí tomamos el término conexión, que en terminología IPSec se conoce como Asociación de Seguridad (SA o Security Association).
Las asociaciones de seguridad se identifican de forma única por una tupla compuesta por un Índice de Parámetro de Seguridad (SPI), una dirección IP destino y un identificador del protocolo de seguridad (AH o ESP). Los sistemas participantes en alguna comunicación con IPSec deberán almacenar el SPI, de forma que se pueda identificar fácilmente la asociación de seguridad a la que pertenece cada paquete.
Si bien la especificación de IPSec está fuera del ámbito de especificar cómo se ha de implementar la gestión de las asociaciones de seguridad, sí que sugiere que éstas sean gestionadas por dos bases de datos nominales: la base de datos de asociaciones de seguridad (SAD o Security Association Database) y la base de datos de políticas de seguridad (SPD o Security Policy Database). Aunque bien es posible que estas dos se integren en una sola en alguna implementación.
La base de datos de políticas de seguridad especifica las políticas a la hora de gestionar cualquier tipo de tráfico, vaya a ser éste cifrado o no. Normalmente, esta base de datos estará formada por una serie de reglas, asociada cada una de ellas a un selector (direcciones origen y destino, protocolo de la capa de nivel superior, puerto, ...). Para cada paquete que se envie o reciba por parte del nodo se tomará una de las siguientes decisiones según la base de datos de políticas de seguridad: descartarlo, aplicar alguna regla de cifrado o autenticación, o pasarlo en claro.