HP HP-UX IPSec Administrator's Guide

HP-UX IPSec version A.02.00

Administrator’s Guide

HP-UX 11i version 1 and HP-UX 11i version 2

Manufacturing Part Number : J4256-90009

June 2004

United States

Legal Notices

The information in this document is subject to change without notice.

Warranty

The only warranties for HP products and services are set forth in the express warranty statements accompanying such products and services. Nothing herein should be construed as constituting an additional warranty. HP shall not be liable for technical or editorial errors or omissions contained herein.

U.S. Government License

Confidential computer software. Valid license from HP required for possession, use or copying. Consistent with FAR 12.211 and 12.212, Commercial Computer Software, Computer Software Documentation, and Technical Data for Commercial Items are licensed to the U.S. Government under vendor's standard commercial license.

Copyright rights reserved. Reproduction, adaptation, or translation of this document without prior written permission is prohibited, except as allowed under the copyright laws.

Trademark Notice

UNIX countries, licensed exclusively through The Open Group.



1999-2004 Hewlett-Packard Development Company L.P. All



is a registered trademark in the United States and other

Preface: About This Document

1. HP-UX IPSec Overview

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

Authentication Header (AH) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Transport and Tunnel Modes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Transport Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Tunnel Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Encapsulating Security Payload (ESP). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

ESP Encryption. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Transport and Tunnel Modes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Transport Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Tunnel Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

ESP with Authentication and Encryption. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Authenticated ESP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Nested ESP in AH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

IPv6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

Internet Key Exchange (IKE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Security Associations (SAs) and IKE Phases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Generating Shared Keys: Diffie-Hellman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

IKE Primary Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

IKE Preshared Key Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Digital Signatures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Re-using Negotiations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

IKE Automatic Re-keying . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Manual Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

HP-UX IPSec Topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Host-to-Host Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Host-to-Gateway Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Host-to-Host Tunnel Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Gateway-to-Gateway Topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

HP-UX IPSec Configuration and Management Features . . . . . . . . . . . . . . . . . . . . . . . 46

Contents

2. Installing HP-UX IPSec

HP-UX IPSec Product Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Disk Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Security Certificate Configuration Utility Requirements . . . . . . . . . . . . . . . . . . . . . 51

Step 1: Verifying HP-UX IPSec Installation and Configuration Prerequisites . . . . . . 52

iii

Contents

Step 2: Loading the HP-UX IPSec Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

Step 3: Setting the HP-UX IPSec Password . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Re-establishing the HP-UX IPSec Password. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Step 4: Completing Post-Installation Migration Requirements . . . . . . . . . . . . . . . . . . 56

3. Configuring HP-UX IPSec

Maximizing Security . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Bypass List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Strong End System Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Using ipsec_config . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

General Syntax Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Argument Delimiters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Line Continuation Character (\) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

ipsec_config add . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

ipsec_config batch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

Batch File Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

Batch File Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

ipsec_config delete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

ipsec_config show . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Profile File. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Using a Profile File with a Batch File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Profile File Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Creating a Customized Profile File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Dynamic Configuration Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Dynamic Deletions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

nocommit Argument . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Configuration Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Step 1: Configuring Host IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Policy Order and Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

default Host IPSec Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Automatic Priority Increment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

ipsec_config add host Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

host_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

-source and -destination ip_addr[/prefix[/port_number|service_name]] . . . . . . . . 71

-protocol protocol_id . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

-priority priority_number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Contents

-tunnel tunnel_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

-action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

-flags flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

Host IPSec Policy Configuration Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Step 2: Configuring Tunnel IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

ipsec_config add tunnel Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

tunnel_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

-tsource and -tdestination tunnel_address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

-source and -destination ip_addr[/prefix[/port_number|service_name]] . . . . . . . . 83

-protocol protocol_id . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

-action transform_list . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

lifetime_seconds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

lifetime_kbytes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Tunnel IPSec Policy Configuration Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

Step 3: Configuring IKE Policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Policy Order and Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Automatic Priority Increment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

ipsec_config add ike Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

ike_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

-remote ip_addr[/prefix] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

-priority priority_number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

-authentication authentication_type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

-group 1|2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

-hash MD5|SHA1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

-life lifetime_seconds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

-maxqm max_quick_modes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

ipsec_config add IKE Command Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Step 4: Configuring Preshared Keys Using Authentication Records . . . . . . . . . . . . . . 95

Remote Multi-homed Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Configuring IKE ID Information with Preshared Keys . . . . . . . . . . . . . . . . . . . . . . . 95

ipsec_config add auth Syntax. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

auth_name. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

ip_addr[/prefix] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

preshared_key . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

Authentication Record Configuration Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

Step 5: Configuring Certificates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Step 6: Configuring the Bypass List (Local IPv4 Addresses) . . . . . . . . . . . . . . . . . . . 101

Logical Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Contents

Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Maximizing Security. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

ipsec_config add bypass Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

ip_address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Bypass Configuration Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

Step 7: Verify Batch File Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Step 8: Committing the Batch File Configuration and Verifying Operation . . . . . . . 105

Step 9: Configuring HP-UX IPSec to Start Automatically . . . . . . . . . . . . . . . . . . . . . 109

ipsec_config add startup Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

Step 10: Creating Backup Copies of the Batch File and Configuration Database . . . 111

Baltimore Configuration Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

VeriSign Configuration Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

4. Using Certificates with HP-UX IPSec

Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Security Certificates and Public Key Cryptography. . . . . . . . . . . . . . . . . . . . . . . . . 115

Public Key Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Security Certificates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Digital Signatures. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

IKE Public Key Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Using VeriSign Certificates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

VeriSign Certificate Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

Step 1: Verifying Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

Step 2: Configuring Web Proxy Server Parameters . . . . . . . . . . . . . . . . . . . . . . . . . 121

Step 3: Registering the Administrator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

Step 4: Requesting and Receiving Certificates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

Using Baltimore Certificates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Baltimore Certificate Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Step 1: Verifying Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Step 2: Requesting the Baltimore Certificate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

Step 3: Configuring the Baltimore Certificate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

Configuring Authentication Records with IKE IDs . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

Configuring Authentication Records with Certificate-Based Authentication. . . . . 135

Determining the IPv4 Address in the SubjectAlternativeName . . . . . . . . . . . . . 136

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

-ltype local_id_type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

-lvalue local_id. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

-rtype remote_id_type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

-rid remote_id . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

Retrieving the Certificate Revocation List (CRL) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

VeriSign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

Baltimore. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

Manually Retrieving a CRL for VeriSign or Baltimore . . . . . . . . . . . . . . . . . . . . . . 143

5. Troubleshooting HP-UX IPSec

IPSec Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

Establishing Security Associations (SAs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

Internal Processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

Outbound Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

Inbound Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

Establishing Tunnel Security Associations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

Processing Inbound Tunnel Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

Troubleshooting Utilities Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Getting General Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

Getting SA Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

Getting Policy Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

Getting Interface Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

Viewing and Configuring Audit Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

Enabling and Disabling Tracing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Troubleshooting Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Checking Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Isolating HP-UX IPSec Problems from Upper-layer Problems . . . . . . . . . . . . . . . . 162

Checking Policy Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Using ipsec_policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Examining the Policy Cache and Policy Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 163

Configuring HP-UX IPSec Auditing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Audit Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Audit Files and Directory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Dynamically Setting Audit Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Configuring Startup Audit Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

Viewing Audit Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

Contents

vii

Contents

Filtering Audit File Output by Entity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

Reporting Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

Troubleshooting Scenarios. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

HP-UX IPSec Incorrectly Passes Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

HP-UX IPSec Incorrectly Attempts to Encrypt/Authenticate Packets . . . . . . . . . . 172

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

HP-UX IPSec Attempts to Encrypt/Authenticate and Fails. . . . . . . . . . . . . . . . . . . 172

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

Additional Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

ISAKMP/MM SA Negotiation Fails (Main Mode processing failed, MM negotiation

timeout) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

Additional Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

ISAKMP Primary Authentication with Preshared Key Fails . . . . . . . . . . . . . . . . . 176

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

ISAKMP Primary Authentication Fails with Certificates . . . . . . . . . . . . . . . . . . . . 176

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

ISAKMP/MM SA Negotiation Succeeded, IPSec/QM SA Negotiation Fails (Quick Mode

processing failed, QM negotiation timeout). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Additional Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

viii

Contents

Manual Keys Fail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

Invalid SADB_ADD. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

STREAMS Logging Messages and Additional Audit File Entries . . . . . . . . . . . . 180

HP-UX Will Not Start (ipsec_admin -start Fails) . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

Corrupt or Missing Configuration Database. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

Using ipsec_migrate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

Using the Skeleton Database File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

Autoboot is Not Working Properly. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Administrator Cannot Get a Local VeriSign Certificate . . . . . . . . . . . . . . . . . . . . . 185

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Security Policy Database Limit Exceeded (Kernel Policy Cache Threshold reached or

Kernel Policy Cache Threshold exceeded) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Symptoms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

6. HP-UX IPSec and IPFilter

IPFilter and IPSec Basics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

IPSec UDP Negotiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

When Traffic Appears to be Blocked. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

Allowing Protocol 50 and Protocol 51 Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

IPSec Gateways . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

Contents

7. HP-UX IPSec and HP-UX Mobile IPv6

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Mobile Node and Home Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Care-of Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Correspondent Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Home Agent. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

Home Agents and Basic Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

Route Optimization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

Securing Mobile IPv6 with HP-UX IPSec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

Binding Messages Between the Home Agent and Mobile Node. . . . . . . . . . . . . . 204

Return Routability Messages Between the Home Agent and Mobile Node . . . . . 205

Prefix Discovery Packets Between the Home Agent and Mobile Node . . . . . . . . 206

Payload Packets Routed Through the Home Agent. . . . . . . . . . . . . . . . . . . . . . . . 206

Configuration Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

Understanding Gateway IPSec Policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

Using Manual Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

Selecting Encryption Keys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

Using the HP-UX Strong Random Number Generator. . . . . . . . . . . . . . . . . . . . . 209

Troubleshooting Manual Key Problems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

Configuration Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

Step 1: (Required) Securing Binding Messages Between the Home Agent and Mobile

Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

host_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211

-source home_agent_addr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

-destination mn_home_addr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

-protocol MH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

-priority priority_number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

-action transform_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

-in and -out manual_key_sa_specification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212

Step 2: (Recommended) Securing Return Routability Messages Routed Through the

Home Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

Step 2A: Return Routability Messages: Configuring the Gateway IPSec Policy for

Home Agent - Correspondent Node Segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

Step 2B: Return Routability Messages: Configuring the Gateway IPSec Policy for

Home Agent - Mobile Node Segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

Contents

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

Step 2C: Return Routability Messages: Configuring the Home Agent - Mobile Node

Tunnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

Step 3: (Recommended) Securing Prefix Discovery Messages Between the Home Agent

and Mobile Node. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

host_policy_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

-source home_agent_addr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

-destination mn_home_addr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

-priority priority_number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

-action transform_name . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

-flags MIPV6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

-in and -out manual_key_sa_specification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

Step 4: (Optional) Securing Payload Packets Routed Through the Home Agent . . . . 222

Step 4A: Payload Packets: Configuring the Gateway IPSec Policy for Home Agent -

Correspondent Node Segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

Step 4B: Payload Packets: Configuring the Gateway IPSec Policy for Home Agent -

Mobile Node Segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

Step 4C: Payload Packets: Configuring the Home Agent - Mobile Node Tunnel . . 225

Syntax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226

Mobile IPv6 Configuration Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Binding Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Return Routability Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Return Routability Gateway IPSec Policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

Return Routability Tunnel IPSec Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

(Optional) Prefix Discovery Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

(Optional) Payload Messages Routed Through the Home Agent. . . . . . . . . . . . . . . 229

Payload Gateway IPSec Policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

Payload Tunnel IPSec Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230

Batch File Template. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231

8. HP-UX IPSec and MC/ServiceGuard

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Using HP-UX IPSec with MC/ServiceGuard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

Package Clients Not Using HP-UX IPSec A.01.07 or Later . . . . . . . . . . . . . . . . . 238

Configuration Overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

Contents

Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

MC/ServiceGuard Heartbeat Requirement and Recommendation . . . . . . . . . . . . . 240

Configuration Steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

Step 1: Configuring a Common HP-UX IPSec Password . . . . . . . . . . . . . . . . . . . . . . . 243

Step 2: Configuring HP-UX Host IPSec Policies for MC/ServiceGuard . . . . . . . . . . . 244

Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

Determining MC/ServiceGuard Cluster Information . . . . . . . . . . . . . . . . . . . . . . . . 245

Configuring Host IPSec Policies for Package Addresses . . . . . . . . . . . . . . . . . . . . . 245

Configuring PASS Host IPSec Policies for Heartbeat IP Addresses . . . . . . . . . . . . 245

Private Dedicated Heartbeat Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

Configuring Host IPSec Policies for MC/ServiceGuard Quorum Server . . . . . . . . . 247

Cluster Node IPSec Policies for Quorum Server . . . . . . . . . . . . . . . . . . . . . . . . . . 247

Quorum Server IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248

Configuring Host IPSec Policies for Remote Command Execution . . . . . . . . . . . . . 248

Cluster Node IPSec Policies for Remote Command Execution. . . . . . . . . . . . . . . 248

Remote Command Client Host IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

Configuring Host IPSec Policies for ServiceGuard Manager . . . . . . . . . . . . . . . . . . 251

Cluster Node Host IPSec Policies for ServiceGuard Manager . . . . . . . . . . . . . . . 252

ServiceGuard Manager Host IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252

Configuring Host IPSec Policies for Cluster Object Manager (COM) . . . . . . . . . . . 253

Cluster Node Host IPSec Policies for COM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

COM System Host IPSec Policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253

Summary: MC/ServiceGuard Port Numbers and Protocols . . . . . . . . . . . . . . . . . . . 254

Step 3: Configuring HP-UX IPSec IKE policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

Cluster IKE policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

Cluster Client IKE policies. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

Step 4: Configuring Authentication Records for Preshared Keys . . . . . . . . . . . . . . . . 258

Preshared Key Configuration on Cluster Nodes. . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

Preshared Key Configuration on Client Nodes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

Preshared Keys Configuration on Cluster Nodes . . . . . . . . . . . . . . . . . . . . . . . . . 259

Preshared Keys Configuration on Client1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

Preshared Keys Configuration on Client2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

Step 5: Configuring Authentication Records for Certificates . . . . . . . . . . . . . . . . . . . 261

Certificates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

Authentication Records and IKE ID Information. . . . . . . . . . . . . . . . . . . . . . . . . . . 261

xii

Cluster Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

Cluster Clients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

Example. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

IKE ID Configuration on Cluster Nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

IKE ID Configuration on Client1 and Client2. . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

Step 6: Verifying and Testing the HP-UX IPSec Configuration . . . . . . . . . . . . . . . . . 265

Step 7: Configuring HP-UX IPSec Start-up Options . . . . . . . . . . . . . . . . . . . . . . . . . . 266

Step 8: Distributing HP-UX IPSec Configuration Files. . . . . . . . . . . . . . . . . . . . . . . . 267

Baltimore Configuration Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

VeriSign Configuration Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

Step 9: Configuring MC/ServiceGuard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

Cluster Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

Package Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

Package Control Script . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

Monitor Script Polling Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

Step 10: Starting HP-UX IPSec and MC/ServiceGuard. . . . . . . . . . . . . . . . . . . . . . . . 271

Adding a Node to a Running Cluster. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

9. HP-UX IPSec and Linux

Limitations of HP-UX IPSec Interoperating with Linux FreeSwan . . . . . . . . . . . . . . 275

Configuration Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276

Contents

A. Product Specifications

IPSec RFCs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

RFC 3776 Mandatory Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

Product Restrictions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

ISAKMP Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

IPv4 ICMP Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

IPv6 ICMP Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283

HP-UX IPSec Transforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Comparative Key Lengths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Authentication Algorithms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

Encryption Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-DES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-DES-HMAC-MD5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-DES-HMAC-SHA1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-3DES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-3DES-HMAC-MD5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

xiii

Contents

ESP-3DES-HMAC-SHA1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-AES128 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-AES128-HMAC-MD5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-AES128-HMAC-SHA1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

ESP-NULL-HMAC-MD5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

ESP-NULL-HMAC-SHA1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

Transform Lifetime Negotiation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286

B. Migrating from Previous Versions of HP-UX IPSec

Pre-Installation Migration Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

MD5 Version Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Migrating from Versions Prior to A.01.03 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

Not Re-using Configuration Files. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

Post-Installation Migration Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

Configuration File. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

C. HP-UX IPSec Configuration Examples

Example 1: telnet Between Two Systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

Apple Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

Host IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

IKE Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Authentication Record with Preshared Key . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Banana Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

Example 2: Authenticated ESP with Exceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

Carrot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

Host IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

IKE Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

Authentication Record . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

Example 3: Host to Gateway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

Blue Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

Host IPSec Policy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

Tunnel IPSec Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

IKE Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Authentication Record . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Example 4: Manual Keys. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

Dog Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

xiv

Contents

Cat Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304

Glossary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305

Contents

xvi

Tab les

Table 1. Publishing History Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii

Table 3-1. ipsec_config Service Names . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .72

Table 3-2. ipsec_config Transforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .76

Table 3-3. ipsec_config add host Flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .78

Table 5-1. Getting General Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156

Table 5-2. Getting SA Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156

Table 5-3. Getting Policy Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .156

Table 5-4. Getting Interface Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .158

Table 5-5. Viewing and Configuring Audit Information . . . . . . . . . . . . . . . . . . . . . .158

Table 5-6. Enabling and Disabling Tracing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .159

Table 8-1. MC/ServiceGuard Port Numbers and Protocols . . . . . . . . . . . . . . . . . . . .254

Table A-1. Supported IPSec RFCs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .279

Table A-2. AH and ESP Algorithms and Key Lengths. . . . . . . . . . . . . . . . . . . . . . . .284

xvii

Tables

xviii

Figures

Figure 1-1. Symmetric Key Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

Figure 1-2. AH in Transport Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

Figure 1-3. AH in Tunnel Mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32

Figure 1-4. Symmetric Key Cryptosystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33

Figure 1-5. ESP Encryption in Transport Mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35

Figure 1-6. ESP in Tunnel Mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .35

Figure 1-7. Authenticated ESP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36

Figure 1-8. Nested ESP in AH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

Figure 1-9. SA Establishment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

Figure 1-10. Diffie-Hellman Key Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40

Figure 1-11. IPSec Host-to-Host Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

Figure 1-12. Host-to-Gateway (VPN) Topology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

Figure 1-13. Host-to-Host Tunnel Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .44

Figure 1-14. IPSec Gateway-to-Gateway Topology. . . . . . . . . . . . . . . . . . . . . . . . . . . .45

Figure 3-1. Bypass List Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102

Figure 4-1. VeriSign PKI Data Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

Figure 4-2. VeriSign SubjectAlternativeName. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .136

Figure 5-1. Security Associations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .147

Figure 5-2. Outbound Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .149

Figure 6-1. IPFilter and IPSec. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191

Figure 6-2. IPFilter Scenario One . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .191

Figure 6-3. IPFilter Scenario Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .193

Figure 6-4. Scenario Three . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .195

Figure 6-5. Packet with Encrypted TCP Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .196

Figure 6-6. Packet with IPSec-Encrypted TCP Data . . . . . . . . . . . . . . . . . . . . . . . . .196

Figure 6-7. Scenario Four . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .197

Figure 7-1. Mobile IPv6 Basic Operation: Correspondent Node to Mobile Node . . .202 Figure 7-2. Mobile IPv6 Basic Operation: Mobile Node to Correspondent Node . . .203

Figure 7-3. Mobile IPv6 Route Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .203

Figure 7-4. Gateway IPSec Policies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .208

Figure 7-5. Mobile IPv6 Home Test Init and Home Test Packets . . . . . . . . . . . . . . .214

Figure 8-1. MC/ServiceGuard Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .237

Figure C-1. Example 1: telnet AB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .296

xix

Figures

Figure C-2. Example 1: telnet BA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .296

Figure C-3. Example 2: Network IPSec Policy with Exceptions . . . . . . . . . . . . . . . .299

Figure C-4. Host to Gateway Configuration Example . . . . . . . . . . . . . . . . . . . . . . . .302

Preface: About This Document

This document describes how to install, configure, and troubleshoot HP-UX IPSec.

The document printing date and part number indicate the document’s current edition. The printing date will change when a new edition is printed. Minor changes may be made at reprint without changing the printing date. The document part number will change when extensive changes are made.

Document updates may be issued between editions to correct errors or document product changes. To ensure that you receive the updated or new editions, you should subscribe to the appropriate product support service. See your HP sales representative for details.

The latest version of this document can be found online at http://docs.hp.com.

Intended Audience

This document is intended for system and network administrators responsible for installing, configuring, and managing HP-UX IPSec. Administrators are expected to have knowledge of HP-UX and networking concepts, commands, and configuration.

This document is not a tutorial.

New and Changed Documentation in This Edition

The documentation reflects the following changes to the HP-UX IPSec product:

• IPSec policies, bypass list and startup parameters are now configured using the

ipsec_config command-line utility. The ipsec_config utility also supports batch files.

The ipsec_mgr GUI is still used to configure security certificates.

• The IPSec policy, preshared key and startup configuration information is now stored

in a configuration database, /var/adm/ipsec/config.db. The policy configuration file (default /var/adm/ipsec/policies.txt), preshared key file (/var/adm/ipsec/pskeys.txt), and startup file (/etc/rc.config.d/ipsecconf) files are no longer used.

• HP-UX IPSec was enhanced to support dynamic configuration updates. Administrators can update the configuration without stopping and re-starting HP-UX IPSec.

• HP-UX IPSec now supports manual keys for IPSec Security Associations.

• HP-UX IPSec was enhanced to secure Mobile IPv6 packets with manual keys when the local system is a Mobile IPv6 Home Agent.

• HP-UX IPSec can act as a gateway (IP router) and forward IP packets, but only for HP-UX Mobile IPv6.

• In previous releases, there was only one type of IPSec policy, which contained both host and tunnel IPSec information. There are now separate host IPSec policies and tunnel IPSec policies. There are also gateway IPSec policies, which are supported only for HP-UX Mobile IPv6.

• ISAKMP policies are now referred to as IKE policies.

xxi

• The default Oakley group (Diffie-Hellman group) is now 2.

• Preshared keys are configured in authentication records.

• Administrators can now configure preshared keys for remote subnets.

• IKE ID parameters can now be configured for IKE negotiations when using preshared keys.

• Certificate IDs are configured as IKE ID information in authentication records. The authentication records are indexed and searched by remote IP address. There is no longer a certificate ID record for the local system (127.0.0.0).

•The ipsec_report utility supports the following new options:

• -entity (used with the -audit option): The -entity option allows you to specify

one or more entities when displaying an audit file (-audit). This allows you to selectively display audit records logged by specify entities.

• -host: The -host option displays IPSec policies loaded by the policy daemon.

• -ike: The -ike option displays IKE policies loaded by the policy daemon.

• -gateway: The -gateway option displays gateway IPSec policies loaded by the

policy daemon.

• -tunnel: The -tunnel option displays tunnel IPSec policies loaded by the policy

daemon. The ipsec_report options -ipsec and -isakmp are still supported, but only for

backwards compatibility and are not documented. The ipsec_report option

-ipsec reports host IPSec policies (it is now equivalent to the -host option). The ipsec_report option -isakmp reports IKE policies (it is now equivalent to the

-ike option).

•The ipsec_policy utility now allows you to specify a direction for the packet parameters.

•The ipsec_admin utility supports the following new options to set general operating parameters:

• -spd_soft: The -spd_soft option allows you to specify the “soft” limit for the

size of the Security Policy Database (SPD). The SPD is the HP-UX IPSec runtime policy database, with cached policy decisions for packet descriptors (five-tuples consisting of exact, non-wildcard source IP address, destination IP address, protocol, source port, and destination port).

• -spd_hard: The -spd_hard option allows you to specify the “hard” limit for the

size of the SPD.

• -spi_min: The -spi_min option allows you to specify the lower bound for

inbound, dynamic key Security Parameters Index (SPI) numbers.

• -spi_max: The -spi_max option allows you to specify the upper bound for

inbound, dynamic key Security Parameters Index (SPI) numbers.

• IPv6 IKE functionality, formerly provided by the daemon ikmpdv6, is now provided by ikmpd. The ikmpdv6 daemon is no longer shipped with the product.

xxii

Publishing History

Table 1 Publishing History Details

Document

Manufacturing

Part Numb er

J4256-90009 11i version 1 (B.11.11)

J4256-90005 11i version 1 (B.11.11) A.01.07 August 2003

J4256-90003 11i version 2 (B.11.23) A.01.06 July 2003

J4256-90001 11.0

J4255-9011 11.0

Operating Systems

Supported

11i version 2 (B.11.23)

11.04 11i version 1 (B.11.11)

Supported

Product

Version s

A.02.00 June 2004

A.01.05 August 2002

A.01.04 December

Publication

Date

2001

What’s in This Document

HP-UX IPSec Administrator’s Guide is divided into several chapters, and each contains information about installing, configuring, or troubleshooting HP-UX IPSec. The appendices also contain supplemental information.

Chapter 1 HP-UX IPSec Overview Use this chapter to learn about product

features and topologies.

Chapter 2 Installing HP-UX IPSec Use this chapter to verify installation

prerequisites and to learn how to install the product.

Chapter 3 Configuring HP-UX IPSec Use this chapter to learn how to

configure HP-UX IPSec.

Chapter 4 Using Certificates with HP-UX IPSec Use this chapter to learn

how to configure HP-UX IPSec to use security certificates.

Chapter 5 Troubleshooting HP-UX IPSec Use this chapter to learn how to

troubleshoot HP-UX IPSec, what to do for common problems, how to report problems, and how to use the IPSec troubleshooting tools.

Chapter 6 HP-UX IPSec and IPFilter Use this chapter to learn how to use

HP-UX IPSec with IPFilter.

Chapter 7 HP-UX IPSec and HP-UX Mobile IPv6 Use this chapter to learn

how to use HP-UX IPSec with HP-UX Mobile IPv6.

Chapter 8 HP-UX IPSec and MC/ServiceGuard Use this chapter to learn how

to use HP-UX IPSec with MC/ServiceGuard.

Chapter 9 HP-UX IPSec and Linux Use this chapter to learn how to use HP-UX

IPSec with Linux FreeSwan.

Appendix A Product Specifications Use this appendix to learn the product

specifications: supported RFCs, product limitations and restrictions.

xxiii

Appendix B Migrating from Previous Versions of HP-UX IPSec Use this

appendix to find out how to migrate from previous versions of HP-UX IPSec.

Appendix C HP-UX IPSec Configuration Examples Use this appendix to see

configuration parameters for simple topologies.

Typographical Conventions

This document uses the following conventions.

audit (5) An HP-UX manpage. In this example, audit is the name and 5 is the

section in the HP-UX Reference. On the web and on the Instant Information CD, it may be a hot link to the manpage itself. From the HP-UX command line, you can enter “man audit” or “man 5 audit” to view the manpage. See man (1).

Book Title The title of a book. On the web and on the Instant Information CD, it

may be a hot link to the book itself.

KeyCap The name of a keyboard key. Note that Return and Enter both refer to

the same key.

Emphasis Text that is emphasized.

Bold Text that is strongly emphasized.

Bold The defined use of an important word or phrase.

ComputerOut Text displayed by the computer. UserInput Commands and other text that you type. Command A command name or qualified command phrase.

variable

[] The contents are optional in formats and command descriptions. If the

{} The contents are required in formats and command descriptions. If the

... The preceding element may be repeated an arbitrary number of times.