프로세스가 종료된 후에도 소켓이 살아있다면?

재미있는 일이 하나 발생했습니다.

"netstat -ano"로 TCP 포트가 LISTENING 상태에 있음을 확인했는데 함께 출력된 PID에 해당하는 프로세스는 작업관리자에서 보이지 않는 문제입니다.

혹시나 싶어, Sysinternals의 TCPView를 통해서 보니 다음과 같은 식으로 출력되었습니다.

<non-existent>    2928    TCP 0.0.0.0 8801    0.0.0.0 0   LISTENING     
<non-existent>    2928    UDP 0.0.0.0 65262   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65263   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65264   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65265   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65266   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65267   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65268   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65269   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65270   *   *                                           
<non-existent>    2928    UDP 0.0.0.0 65271   *   *

보시는 바와 같이 2928 프로세스가 있어야 하는데 EXE 이름이 "non-existent"로 출력됩니다. 물론, Process Explorer를 통해서 확인해도 2928 프로세스는 찾을 수 없었습니다.

---

처음에 이 현상을 보고 제 머릿속에 떠 오른 것은 "Zombie Process"였습니다. 

좀비 프로세스를 찾아서…
; http://www.jiniya.net/wp/archives/10585

운영체제 내부의 버그로, 또는 어떤 중복된 상황으로 인해 핸들이 닫히지 않아 저 상태로 남는 것이 아닐까 생각했는데요. 하지만 위의 글에 따라 직접 실습을 해도 저런 식의 프로세스는 TCP 소켓이 모두 닫힌 상태로 나왔습니다. 실제로 windbg로 Local Kernel Debug에서 프로세스를 확인해 보면,

lkd> !process 0 0 ServerSock.exe
PROCESS fffffa8002885940
    SessionId: 2  Cid: 0ec8    Peb: 7f95f000  ParentCid: 0fb8
    DirBase: 52297000  ObjectTable: 00000000  HandleCount:   0.
    Image: ServerSock.exe

lkd> !process fffffa8002885940
PROCESS fffffa8002885940
    SessionId: 2  Cid: 0ec8    Peb: 7f95f000  ParentCid: 0fb8
    DirBase: 52297000  ObjectTable: 00000000  HandleCount:   0.
    Image: ServerSock.exe
    VadRoot 0000000000000000 Vads 0 Clone 0 Private 6. Modified 1. Locked 0.
    DeviceMap fffff8a00395eaf0
    Token                             fffff8a006d15060
    ElapsedTime                       00:09:31.376
    UserTime                          00:00:00.000
    KernelTime                        00:00:00.015
    QuotaPoolUsage[PagedPool]         0
    QuotaPoolUsage[NonPagedPool]      0
    Working Set Sizes (now,min,max)  (5, 50, 345) (20KB, 200KB, 1380KB)
    PeakWorkingSetSize                758
    VirtualSize                       17592177657857 Mb
    PeakVirtualSize                   17 Mb
    PageFaultCount                    779
    MemoryPriority                    BACKGROUND
    BasePriority                      8
    CommitCharge                      0
    Job                               fffffa8002939620

No active threads

핸들 수도 0이고, Active Thread도 없으니 당연히 이런 현상이 나올 수 밖에 없는 것입니다. ^^

---

자... 이제 검색을 해봤습니다. ^^ 다음과 같은 글이 나왔는데요.

How do I kill a process that is dead but listening?
; http://superuser.com/questions/215351/how-do-i-kill-a-process-that-is-dead-but-listening

답변 중의 하나는 DrWatson 때문에 그렇다고 하지만,

It turns out that the process was referenced by several DrWatson processes. Killing those processes released the port. DrWatson is used to send memory dumps to Microsoft and this was taking several hours because the process that crashed held several tens of GBs of memory at the time.

아쉽게도 제 경우에는 이에 해당하지 않았습니다. 왜냐하면 현상이 발생한 서버에는 dw20.exe 등의 프로세스가 전혀 없었기 때문입니다.

그런데, 또 다른 답변 하나가 흥미롭습니다.

The likely problem is that your process has started another (child) process which inherited the socket handle, and it is still running. 
There are various ways to prevent this, for instance: ProcessStartInfo.UseShellExecute = true;

실제로 해당 현상이 발생한 프로세스는 자식 프로세스를 생성했고, 부모 프로세스가 죽은 후에도 자식 프로세스가 계속 살아있는 경우가 있었습니다.

확실히 하기 위해 재현을 한번 해볼까요? 

코드는 간단합니다. 서버 소켓을 사용하면서 notepad.exe 같은 것을 핸들을 상속받도록 실행해 주면 됩니다.

#include "stdafx.h"
#include <Windows.h>
#include <WinSock2.h>

#pragma comment(lib, "Ws2_32.lib")

int _tmain(int argc, _TCHAR* argv[])
{
    WSADATA wsaData;
    WSAStartup(MAKEWORD(2, 2), &wsaData);

    // PID를 출력하고,
    DWORD dwId = ::GetCurrentProcessId();
    wprintf(L"Procss Id: %d\n", dwId);

    SOCKET socket = INVALID_SOCKET;

    do
    {
        sockaddr_in target;
        target.sin_family = AF_INET;
        target.sin_addr.s_addr = inet_addr("0.0.0.0");
        target.sin_port = htons(11200);

        // 11200 포트로 대기하는 TCP 서버 소켓을 생성
        socket = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
        if (socket == INVALID_SOCKET)
        {
            wprintf(L"socket function failed with error: %ld\n", WSAGetLastError());
            break;
        }

        int bindResult = ::bind(socket, (SOCKADDR *)&target, sizeof(target));
        int listenResult = ::listen(socket, 10);

        LPTSTR szCmdLine = _wcsdup(TEXT("notepad.exe"));

        STARTUPINFO si = { sizeof(si) };
        PROCESS_INFORMATION pi = { 0 };

        // 자식 프로세스로 notepad.exe를 실행
        // 이 때, bInheritHandles 에 해당하는 5번째 인자에 TRUE값을 전달해서 핸들을 상속
        BOOL bReult = ::CreateProcess(NULL, szCmdLine, NULL, NULL,
            TRUE,
            0, NULL, NULL, &si, &pi);

        sockaddr_in remote;
        int addrlen = 0;

        // 서버 소켓을 LISTENING 상태로 진입
        ::accept(socket, NULL, NULL);

    } while (false);

     ::closesocket(socket);

    WSACleanup();

    return 0;
}

위의 프로그램을 실행하면 콘솔 응용 프로그램과 함께 notepad가 실행됩니다. 그 상태에서 콘솔 윈도우의 종료 버튼을 눌러서 강제로 프로그램을 닫은 후 netstat 를 이용해서 11200 포트가 살아 있는지 확인하면 됩니다.

C:\Windows\system32>netstat -ano | findstr 11200
  TCP    0.0.0.0:11200          0.0.0.0:0              LISTENING       9132

여전히 포트가 살아 있지만 작업관리자에서는 9132 프로세스가 보이지 않습니다. 물론, notepad.exe를 종료하면 소켓이 풀립니다.

---

재현이 되었으니 이제 해결책을 알아볼 차례입니다.

첫번째 해결책은, 당연히 CreateProcess에서 핸들 상속을 FALSE로 바꿔주면 됩니다.

::CreateProcess(NULL, szCmdLine, NULL, NULL,
    FALSE,
    0, NULL, NULL, &si, &pi);

그런데, 항상 이것이 가능한 것은 아닙니다. 소스 코드를 수정할 수 없는 3rd-party 업체에 의해서 개발된 모듈이 함께 들어간 상태라면 다른 방법을 찾아야 합니다. 제 경우가 사실 그랬습니다. 

두번째 해결책은, 소켓에 대해 상속하지 말라고 지정할 수 있습니다. 이런 목적으로 윈도우 7 SP1, Windows Server 2008 R2 SP1 부터 WSA_FLAG_NO_HANDLE_INHERIT 옵션이 제공되는데요. 이를 이용해서 소켓을 다음과 같이 생성해 주면 됩니다.

// 0x80: WSA_FLAG_NO_HANDLE_INHERIT
SOCKET socket = ::WSASocket(AF_INET, SOCK_STREAM, IPPROTO_TCP, NULL, 0, 0x80);

주의할 것은, 이 옵션이 지원되지 않는 운영체제에서 WSA_FLAG_NO_HANDLE_INHERIT 옵션을 주어 소켓을 생성하려고 시도하면 10022(An invalid argument was supplied.) 오류가 발생한다는 점입니다.

괜찮습니다. 보다 안전한 세번째 해결책이 있습니다. 바로 SetHandleInformation을 사용하는 방법입니다.

socket = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
::SetHandleInformation((HANDLE)socket, 0x1, 0x0);

이 방법은 윈도우 XP에서도 사용할 수 있기 때문에 WSA_FLAG_NO_HANDLE_INHERIT 옵션이 허용되지 않는 일반적인 상황에서 사용할 수 있습니다. 

---

알아본 김에, C# 으로도 테스트를 해볼까요? ^^ 간단하게 문제 재현은 다음과 같이 할 수 있습니다.

using System;
using System.Net.Sockets;
using System.Net;
using System.Diagnostics;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            Console.WriteLine("PID: " + Process.GetCurrentProcess().Id);

            using (Socket srvSocket =
               new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp))
            {
                int port = 11200;

                IPEndPoint endPoint = new IPEndPoint(IPAddress.Any, port);
                srvSocket.Bind(endPoint);
                srvSocket.Listen(10);

                // 메모장 실행
                ProcessStartInfo psi = new ProcessStartInfo();
                psi.FileName = "notepad.exe";
                psi.UseShellExecute = false;
                Process.Start(psi);

                while (true)
                {
                    srvSocket.Accept();
                }
            }
        }
    }
}

"How do I kill a process that is dead but listening?" 답변에 나왔던 것처럼 ProcessStartInfo 타입의 UseShellExecute 속성을 true로 설정하면 이 문제가 해결되는데요. 사실, ProcessStartInfo 는 생성자에서 UseShellExecute 속성을 기본값으로 true로 두기 때문에 위의 코드와 같이 명시적으로 false를 해주어야만 소켓 핸들이 상속되는 문제가 재현됩니다.

UseShellExecute 옵션을 주는 이유는 .NET Reflector로 Process.Start를 살펴보면 금방 알 수 있는데요. UseShellExecute == false이면 ShellExecute가 아닌 CreateProcess API가 호출되는데 이에 전달되는 bInheritHandles 옵션이 true로 고정되어 있기 때문입니다.

NativeMethods.CreateProcess(null, cmdLine, null, null, true, creationFlags, zero, workingDirectory, lpStartupInfo, lpProcessInformation);

마찬가지로, C# 프로그램에서도 Process.Start를 제어할 수 없다면 어떻게 해야 할까요?

기본적으로 System.Net.Sockets.Socket은 WSASocket Win32 API를 호출하도록 되어 있긴 하지만 .NET Reflector로 확인해 보면 WSA_FLAG_NO_HANDLE_INHERIT 값을 주는 인자는 0으로 고정되어 있습니다.

// 마지막 dwFlags 인자 값이 0으로 고정됨.
SafeCloseSocket.InnerSafeCloseSocket socket = UnsafeNclNativeMethods.OSSOCK.WSASocket(System.Net.Sockets.AddressFamily.InterNetwork, System.Net.Sockets.SocketType.Dgram, System.Net.Sockets.ProtocolType.IP, IntPtr.Zero, 0, 0);

물론, WSASocket을 PInvoke로 해서 직접 WSA_FLAG_NO_HANDLE_INHERIT(0x80) 인자를 지정할 수 있지만,

[DllImport("ws2_32.dll", CharSet = CharSet.Auto, SetLastError = true)]
public static extern IntPtr WSASocket(AddressFamily addressFamily, 
    SocketType socketType, ProtocolType protocolType,
    IntPtr protocolInfo, uint group, uint flags);

IntPtr socketNotInherited = WSASocket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp, IntPtr.Zero, 0, 0x80);

아쉽게도 System.Net.Sockets.Socket 타입은 Handle 값으로부터 직접 생성하는 방법이 제공되지 않는 문제가 있습니다. (물론, Reflection을 이용하면 되겠지만.)

따라서, 닷넷에서는 WSA_FLAG_NO_HANDLE_INHERIT 방법이 지원되지 않는다고 보면 됩니다. 대신 SetHandleInformation의 경우에는 P/Invoke를 통해서 호출할 수 있으므로 그다지 큰 문제는 되지 않습니다.

[Flags]
enum HANDLE_FLAGS
{
    NONE = 0,
    INHERIT = 1,
    PROTECT_FROM_CLOSE = 2
}

[DllImport("kernel32.dll", SetLastError = true)]
static extern bool SetHandleInformation(IntPtr hObject, HANDLE_FLAGS dwMask,
    HANDLE_FLAGS dwFlags);

using (Socket srvSocket =
    new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp))
{
    SetHandleInformation(srvSocket.Handle, HANDLE_FLAGS.INHERIT, HANDLE_FLAGS.NONE);
    // ...[생략]...
}

개인적인 의견으로는, 특별한 이유가 없다면 기본적으로 상속하지 않는 것으로 명시하는 것이 좋은 습관이라고 생각됩니다. 

[출처] 프로세스가 종료된 후에도 소켓이 살아있다면?|작성자 techshare