diff --git a/.github/workflows/docker-publish.yml b/.github/workflows/docker-publish.yml index 37a6725..3012330 100644 --- a/.github/workflows/docker-publish.yml +++ b/.github/workflows/docker-publish.yml @@ -56,4 +56,6 @@ jobs: tags: ${{ steps.meta.outputs.tags }} labels: ${{ steps.meta.outputs.labels }} cache-from: type=gha - cache-to: type=gha,mode=max \ No newline at end of file + cache-to: type=gha,mode=max + build-args: | + VERSION=${{ github.sha }} \ No newline at end of file diff --git a/ARCHITECTURE.md b/ARCHITECTURE.md index da0dbe4..a09f2d9 100644 --- a/ARCHITECTURE.md +++ b/ARCHITECTURE.md @@ -7,16 +7,21 @@ This document describes the overall architecture of the HopGate system. (en) ## 1. Overview / 전체 개요 -- HopGate는 공인 서버와 여러 프라이빗 네트워크 클라이언트 사이에서 HTTP(S) 트래픽을 터널링하는 게이트웨이입니다. (ko) +- HopGate는 공인 서버와 여러 프라이빗 네트워크 클라이언트 사이에서 HTTP(S) 트래픽을 터널링하는 게이트웨이입니다. (ko) - HopGate is a gateway that tunnels HTTP(S) traffic between a public server and multiple private-network clients. (en) -- 서버는 80/443 포트를 점유하고, ACME(Let's Encrypt 등)로 TLS 인증서를 자동 발급/갱신합니다. (ko) +- 서버는 80/443 포트를 점유하고, ACME(Let's Encrypt 등)로 TLS 인증서를 자동 발급/갱신합니다. (ko) - The server listens on ports 80/443 and automatically issues/renews TLS certificates using ACME (e.g. Let's Encrypt). (en) -- 클라이언트는 DTLS를 통해 서버에 연결되고, 서버가 전달한 HTTP 요청을 로컬 서비스(127.0.0.1:PORT)에 대신 보내고 응답을 다시 서버로 전달합니다. (ko) -- Clients connect to the server via DTLS, forward HTTP requests to local services (127.0.0.1:PORT), and send the responses back to the server. (en) +- 전송 계층은 **TCP + TLS(HTTPS) + HTTP/2 + gRPC** 기반의 터널을 사용해 서버–클라이언트 간 HTTP 요청/응답을 멀티플렉싱합니다. (ko) +- The transport layer uses a **TCP + TLS (HTTPS) + HTTP/2 + gRPC**-based tunnel to multiplex HTTP requests/responses between server and clients. (en) -- 관리 Plane(REST API)을 통해 도메인 등록/해제 및 클라이언트 API Key 발급을 수행합니다. (ko) +- 클라이언트는 장기 유지 gRPC bi-directional stream 을 통해 서버와 터널을 형성하고, + 서버가 전달한 HTTP 요청을 로컬 서비스(127.0.0.1:PORT)에 대신 보내고 응답을 다시 서버로 전달합니다. (ko) +- Clients establish long-lived gRPC bi-directional streams as tunnels to the server, + forward HTTP requests to local services (127.0.0.1:PORT), and send responses back to the server. (en) + +- 관리 Plane(REST API)을 통해 도메인 등록/해제 및 클라이언트 API Key 발급을 수행합니다. (ko) - An admin plane (REST API) is used to register/unregister domains and issue client API keys. (en) --- @@ -31,8 +36,7 @@ This document describes the overall architecture of the HopGate system. (en) ├── internal/ │ ├── config/ # shared configuration loader │ ├── acme/ # ACME certificate management -│ ├── dtls/ # DTLS abstraction & implementation -│ ├── proxy/ # HTTP proxy / tunneling core +│ ├── proxy/ # HTTP proxy / tunneling core (gRPC tunnel) │ ├── protocol/ # server-client message protocol │ ├── admin/ # admin plane HTTP handlers │ └── logging/ # structured logging utilities @@ -46,11 +50,11 @@ This document describes the overall architecture of the HopGate system. (en) ### 2.1 `cmd/` -- [`cmd/server/main.go`](cmd/server/main.go) — 서버 실행 엔트리 포인트. 서버 설정 로딩, ACME/TLS 초기화, HTTP/HTTPS/DTLS 리스너 시작을 담당합니다. (ko) -- [`cmd/server/main.go`](cmd/server/main.go) — Server entrypoint. Loads configuration, initializes ACME/TLS, and starts HTTP/HTTPS/DTLS listeners. (en) +- [`cmd/server/main.go`](cmd/server/main.go) — 서버 실행 엔트리 포인트. 서버 설정 로딩, ACME/TLS 초기화, HTTP/HTTPS 리스너 및 gRPC 터널 엔드포인트 시작을 담당합니다. (ko) +- [`cmd/server/main.go`](cmd/server/main.go) — Server entrypoint. Loads configuration, initializes ACME/TLS, and starts HTTP/HTTPS listeners plus the gRPC tunnel endpoint. (en) -- [`cmd/client/main.go`](cmd/client/main.go) — 클라이언트 실행 엔트리 포인트. 설정 로딩, DTLS 연결 및 핸드셰이크, 로컬 서비스 프록시 루프를 담당합니다. (ko) -- [`cmd/client/main.go`](cmd/client/main.go) — Client entrypoint. Loads configuration, performs DTLS connection and handshake, and runs the local proxy loop. (en) +- [`cmd/client/main.go`](cmd/client/main.go) — 클라이언트 실행 엔트리 포인트. 설정 로딩, gRPC/HTTP2 터널 연결, 로컬 서비스 프록시 루프를 담당합니다. (ko) +- [`cmd/client/main.go`](cmd/client/main.go) — Client entrypoint. Loads configuration, establishes a gRPC/HTTP2 tunnel to the server, and runs the local proxy loop. (en) --- @@ -72,37 +76,29 @@ This document describes the overall architecture of the HopGate system. (en) - ACME(예: Let's Encrypt) 클라이언트 래퍼 및 인증서 매니저를 구현하는 패키지입니다. (ko) - Package that will wrap an ACME client (e.g. Let's Encrypt) and manage certificates. (en) -- 역할 / Responsibilities: (ko/en) - - 메인 도메인 및 프록시 서브도메인용 TLS 인증서 발급/갱신. (ko) - - Issue/renew TLS certificates for main and proxy domains. (en) - - HTTP-01 / TLS-ALPN-01 챌린지 처리 훅 제공. (ko) - - Provide hooks for HTTP-01 / TLS-ALPN-01 challenges. (en) - - HTTPS/DTLS 리스너에 사용할 `*tls.Config` 제공. (ko) - - Provide `*tls.Config` for HTTPS/DTLS listeners. (en) +- 역할 / Responsibilities: (ko/en) + - 메인 도메인 및 프록시 서브도메인용 TLS 인증서 발급/갱신. (ko) + - Issue/renew TLS certificates for main and proxy domains. (en) + - HTTP-01 / TLS-ALPN-01 챌린지 처리 훅 제공. (ko) + - Provide hooks for HTTP-01 / TLS-ALPN-01 challenges. (en) + - HTTPS 및 gRPC 터널 리스너에 사용할 `*tls.Config` 제공. (ko) + - Provide `*tls.Config` for HTTPS and gRPC tunnel listeners. (en) --- -### 2.4 `internal/dtls` +### 2.4 (Reserved for legacy DTLS prototype) -- DTLS 통신을 추상화하고, pion/dtls 기반 구현 및 핸드셰이크 로직을 포함합니다. (ko) -- Abstracts DTLS communication and includes a pion/dtls-based implementation plus handshake logic. (en) - -- 주요 요소 / Main elements: (ko/en) - - `Session`, `Server`, `Client` 인터페이스 — DTLS 위의 스트림과 서버/클라이언트를 추상화. (ko) - - `Session`, `Server`, `Client` interfaces — abstract streams and server/client roles over DTLS. (en) - - `NewPionServer`, `NewPionClient` — pion/dtls 를 사용하는 실제 구현. (ko) - - `NewPionServer`, `NewPionClient` — concrete implementations using pion/dtls. (en) - - `PerformServerHandshake`, `PerformClientHandshake` — 도메인 + 클라이언트 API Key 기반 애플리케이션 레벨 핸드셰이크. (ko) - - `PerformServerHandshake`, `PerformClientHandshake` — application-level handshake based on domain + client API key. (en) - - `NewSelfSignedLocalhostConfig` — 디버그용 localhost self-signed TLS 설정을 생성. (ko) - - `NewSelfSignedLocalhostConfig` — generates a debug-only localhost self-signed TLS config. (en) +> 초기 버전에서 DTLS 기반 터널을 실험했으나, 현재 설계에서는 **gRPC/HTTP2 터널만** 사용합니다. +> DTLS 관련 코드는 점진적으로 제거하거나, 별도 브랜치/히스토리에서만 보존할 예정입니다. (ko) +> Early iterations experimented with a DTLS-based tunnel, but the current design uses **gRPC/HTTP2 tunnels only**. +> Any DTLS-related code is planned to be removed or kept only in historical branches. (en) --- ### 2.5 `internal/protocol` -- 서버와 클라이언트가 DTLS 위에서 주고받는 HTTP 요청/응답 메시지 포맷을 정의합니다. (ko) -- Defines HTTP request/response message formats exchanged over DTLS between server and clients. (en) +- 서버와 클라이언트가 **gRPC/HTTP2 터널 전송 계층** 위에서 주고받는 HTTP 요청/응답 및 스트림 메시지 포맷을 정의합니다. (ko) +- Defines HTTP request/response and stream message formats exchanged over the gRPC/HTTP2 tunnel transport layer. (en) - 요청 메시지 / Request message: (ko/en) - `RequestID`, `ClientID`, `ServiceName`, `Method`, `URL`, `Header`, `Body`. (ko/en) @@ -110,13 +106,15 @@ This document describes the overall architecture of the HopGate system. (en) - 응답 메시지 / Response message: (ko/en) - `RequestID`, `Status`, `Header`, `Body`, `Error`. (ko/en) -- 인코딩은 현재 JSON 을 사용하며, 각 HTTP 요청/응답을 하나의 Envelope 로 감싸 DTLS 위에서 전송합니다. (ko) -- Encoding currently uses JSON, wrapping each HTTP request/response in a single Envelope sent over DTLS. (en) +- 스트림 기반 터널링을 위한 Envelope/Stream 타입: (ko/en) + - [`Envelope`](internal/protocol/protocol.go:64) — 상위 메시지 컨테이너. (ko/en) + - [`StreamOpen`](internal/protocol/protocol.go:94) — 새로운 스트림 오픈 및 헤더/메타데이터 전달. (ko/en) + - [`StreamData`](internal/protocol/protocol.go:104) — 시퀀스 번호(Seq)를 가진 바디 chunk 프레임. (ko/en) + - [`StreamClose`](internal/protocol/protocol.go:143) — 스트림 종료 및 에러 정보 전달. (ko/en) + - [`StreamAck`](internal/protocol/protocol.go:117) — 선택적 재전송(Selective Retransmission)을 위한 ACK/NACK 힌트. (ko/en) -- 향후에는 `Envelope.StreamOpen` / `StreamData` / `StreamClose` 필드를 활용한 **스트림/프레임 기반 프로토콜**로 전환하여, - 대용량 HTTP 바디도 DTLS/UDP MTU 한계를 넘지 않도록 chunk 단위로 안전하게 전송할 계획입니다. (ko) -- In the future, the plan is to move to a **stream/frame-based protocol** using `Envelope.StreamOpen` / `StreamData` / `StreamClose`, - so that large HTTP bodies can be safely chunked under DTLS/UDP MTU limits. (en) +- 이 구조는 Protobuf 기반 length-prefix 프레이밍을 사용하며, gRPC bi-di stream 의 메시지 타입으로 매핑됩니다. (ko) +- This structure uses protobuf-based length-prefixed framing and is mapped onto messages in a gRPC bi-di stream. (en) --- @@ -127,28 +125,27 @@ This document describes the overall architecture of the HopGate system. (en) #### 서버 측 역할 / Server-side role -- 공인 HTTPS 엔드포인트에서 들어오는 요청을 수신합니다. (ko) +- 공인 HTTPS 엔드포인트에서 들어오는 요청을 수신합니다. (ko) - Receive incoming requests on the public HTTPS endpoint. (en) -- 도메인/패스 규칙에 따라 적절한 클라이언트와 서비스로 매핑합니다. (ko) +- 도메인/패스 규칙에 따라 적절한 클라이언트와 서비스로 매핑합니다. (ko) - Map requests to appropriate clients and services based on domain/path rules. (en) -- 요청을 `protocol.Request` 로 직렬화하여 DTLS 세션을 통해 클라이언트로 전송합니다. (ko) -- Serialize the request as `protocol.Request` and send it over a DTLS session to the client. (en) - -- 클라이언트로부터 받은 `protocol.Response` 를 HTTP 응답으로 복원하여 외부 사용자에게 반환합니다. (ko) -- Deserialize `protocol.Response` from the client and return it as an HTTP response to the external user. (en) +- 요청/응답을 `internal/protocol` 의 스트림 메시지(`StreamOpen` / `StreamData` / `StreamClose` 등)로 직렬화하여 + 서버–클라이언트 간 gRPC bi-di stream 위에서 주고받습니다. (ko) +- Serialize requests/responses into stream messages from `internal/protocol` (`StreamOpen` / `StreamData` / `StreamClose`, etc.) + and exchange them between server and clients over a gRPC bi-di stream. (en) #### 클라이언트 측 역할 / Client-side role -- DTLS 채널을 통해 서버가 내려보낸 `protocol.Request` 를 수신합니다. (ko) -- Receive `protocol.Request` objects sent by the server over DTLS. (en) +- 서버가 gRPC 터널을 통해 내려보낸 스트림 메시지를 수신합니다. (ko) +- Receive stream messages sent by the server over the gRPC tunnel. (en) -- 로컬 HTTP 서비스(예: 127.0.0.1:8080)에 요청을 전달하고 응답을 수신합니다. (ko) +- 로컬 HTTP 서비스(예: 127.0.0.1:8080)에 요청을 전달하고 응답을 수신합니다. (ko) - Forward these requests to local HTTP services (e.g. 127.0.0.1:8080) and collect responses. (en) -- 응답을 `protocol.Response` 로 직렬화하여 DTLS 채널을 통해 서버로 전송합니다. (ko) -- Serialize responses as `protocol.Response` and send them back to the server over DTLS. (en) +- 응답을 동일한 gRPC bi-di stream 상의 역방향 스트림 메시지로 직렬화하여 서버로 전송합니다. (ko) +- Serialize responses as reverse-direction stream messages on the same gRPC bi-di stream and send them back to the server. (en) --- @@ -192,20 +189,24 @@ An external user sends an HTTPS request to `https://proxy.example.com/service-a/ 2. HopGate 서버의 HTTPS 리스너가 요청을 수신합니다. (ko) The HTTPS listener on the HopGate server receives the request. (en) -3. `proxy` 레이어가 도메인과 경로를 기반으로 이 요청을 처리할 클라이언트(예: client-1)와 해당 로컬 서비스(`service-a`)를 결정합니다. (ko) +3. `proxy` 레이어가 도메인과 경로를 기반으로 이 요청을 처리할 클라이언트(예: client-1)와 해당 로컬 서비스(`service-a`)를 결정합니다. (ko) The `proxy` layer decides which client (e.g., client-1) and which local service (`service-a`) should handle the request, based on domain and path. (en) -4. 서버는 요청을 `protocol.Request` 구조로 직렬화하고, `dtls.Session` 을 통해 선택된 클라이언트로 전송합니다. (ko) -The server serializes the request into a `protocol.Request` and sends it to the selected client over a `dtls.Session`. (en) +4. 서버는 요청을 `internal/protocol` 의 스트림 메시지(예: `StreamOpen` + 여러 `StreamData` + `StreamClose`)로 직렬화하고, + 선택된 클라이언트와 맺은 gRPC bi-di stream 을 통해 전송합니다. (ko) + The server serializes the request into stream messages from `internal/protocol` (e.g., `StreamOpen` + multiple `StreamData` + `StreamClose`) + and sends them over a gRPC bi-di stream to the selected client. (en) -5. 클라이언트의 `proxy` 레이어는 `protocol.Request` 를 수신하고, 로컬 서비스(예: 127.0.0.1:8080)에 HTTP 요청을 수행합니다. (ko) -The client’s `proxy` layer receives the `protocol.Request` and performs an HTTP request to a local service (e.g., 127.0.0.1:8080). (en) +5. 클라이언트의 `proxy` 레이어는 이 스트림 메시지들을 수신해 로컬 서비스(예: 127.0.0.1:8080)에 HTTP 요청을 수행합니다. (ko) + The client’s `proxy` layer receives these stream messages and performs an HTTP request to a local service (e.g., 127.0.0.1:8080). (en) -6. 클라이언트는 로컬 서비스로부터 HTTP 응답을 수신하고, 이를 `protocol.Response` 로 직렬화하여 DTLS 채널을 통해 서버로 다시 전송합니다. (ko) -The client receives the HTTP response from the local service, serializes it as a `protocol.Response`, and sends it back to the server over DTLS. (en) +6. 클라이언트는 로컬 서비스로부터 HTTP 응답을 수신하고, 이를 역방향 스트림 메시지(`StreamOpen` + 여러 `StreamData` + `StreamClose`)로 직렬화하여 + 동일한 gRPC bi-di stream 을 통해 서버로 다시 전송합니다. (ko) + The client receives the HTTP response from the local service, serializes it as reverse-direction stream messages + (`StreamOpen` + multiple `StreamData` + `StreamClose`), and sends them back to the server over the same gRPC bi-di stream. (en) -7. 서버는 `protocol.Response` 를 디코딩하여 원래의 HTTPS 요청에 대한 HTTP 응답으로 변환한 뒤, 외부 사용자에게 반환합니다. (ko) -The server decodes the `protocol.Response`, converts it back into an HTTP response, and returns it to the original external user. (en) +7. 서버는 응답 스트림 메시지를 조립해 원래의 HTTPS 요청에 대한 HTTP 응답으로 변환한 뒤, 외부 사용자에게 반환합니다. (ko) + The server reassembles the response stream messages into an HTTP response for the original HTTPS request and returns it to the external user. (en)  @@ -213,25 +214,26 @@ The server decodes the `protocol.Response`, converts it back into an HTTP respon ## 4. Next Steps / 다음 단계 -- 위 아키텍처를 기반으로 디렉터리와 엔트리 포인트를 생성/정리합니다. (ko) +- 위 아키텍처를 기반으로 디렉터리와 엔트리 포인트를 생성/정리합니다. (ko) - Use this architecture to create/organize directories and entrypoints. (en) -- `internal/config` 에 필요한 설정 필드와 `.env` 로더를 확장합니다. (ko) +- `internal/config` 에 필요한 설정 필드와 `.env` 로더를 확장합니다. (ko) - Extend `internal/config` with required config fields and `.env` loaders. (en) -- `internal/acme` 에 ACME 클라이언트(certmagic 또는 lego 등)를 연결해 TLS 인증서 발급/갱신을 구현합니다. (ko) +- `internal/acme` 에 ACME 클라이언트(certmagic 또는 lego 등)를 연결해 TLS 인증서 발급/갱신을 구현합니다. (ko) - Wire an ACME client (certmagic, lego, etc.) into `internal/acme` to implement TLS certificate issuance/renewal. (en) -- `internal/dtls` 에서 pion/dtls 기반 DTLS 전송 계층 및 핸드셰이크를 안정화합니다. (ko) -- Stabilize the pion/dtls-based DTLS transport and handshake logic in `internal/dtls`. (en) +- gRPC/HTTP2 기반 터널 전송 계층을 설계/구현하고, 서버/클라이언트 모두에서 장기 유지 bi-di stream 위에 + HTTP 요청/응답을 멀티플렉싱하는 로직을 추가합니다. (ko) +- Design and implement a gRPC/HTTP2-based tunnel transport layer, adding logic on both server and client to multiplex HTTP requests/responses over long-lived bi-di streams. (en) - `internal/protocol` 과 `internal/proxy` 를 통해 실제 HTTP 터널링을 구현하고, - 단일 JSON Envelope 기반 모델에서 `StreamOpen` / `StreamData` / `StreamClose` 중심의 스트림 기반 DTLS 터널링으로 전환합니다. (ko) + gRPC 기반 스트림 모델이 재사용할 수 있는 논리 프로토콜로 정리합니다. (ko) - Implement real HTTP tunneling and routing rules via `internal/protocol` and `internal/proxy`, - and move from a single JSON-Envelope model to a stream-based DTLS tunneling model built around `StreamOpen` / `StreamData` / `StreamClose`. (en) + organizing the logical protocol so that the gRPC-based stream model can reuse it. (en) -- `internal/admin` + `ent` + PostgreSQL 을 사용해 Domain 등록/해제 및 클라이언트 API Key 발급을 완성합니다. (ko) +- `internal/admin` + `ent` + PostgreSQL 을 사용해 Domain 등록/해제 및 클라이언트 API Key 발급을 완성합니다. (ko) - Complete domain registration/unregistration and client API key issuing using `internal/admin` + `ent` + PostgreSQL. (en) -- 로깅/메트릭을 Prometheus + Loki + Grafana 스택과 연동하여 운영 가시성을 확보합니다. (ko) +- 로깅/메트릭을 Prometheus + Loki + Grafana 스택과 연동하여 운영 가시성을 확보합니다. (ko) - Integrate logging/metrics with the Prometheus + Loki + Grafana stack to gain operational visibility. (en) \ No newline at end of file diff --git a/Dockerfile.server b/Dockerfile.server index 49cebf3..dc7792c 100644 --- a/Dockerfile.server +++ b/Dockerfile.server @@ -18,6 +18,8 @@ FROM golang:1.25-alpine AS builder # 기본값을 지정해두면 로컬 docker build 시에도 별도 인자 없이 빌드 가능합니다. ARG TARGETOS=linux ARG TARGETARCH=amd64 +# Git 태그/커밋 정보를 main.version 에 주입하기 위한 VERSION 인자 (기본 dev) +ARG VERSION=dev WORKDIR /src @@ -32,7 +34,8 @@ RUN go mod download COPY . . # 서버 바이너리 빌드 (멀티 아키텍처: TARGETOS/TARGETARCH 기반) -RUN CGO_ENABLED=0 GOOS=${TARGETOS} GOARCH=${TARGETARCH} go build -o /out/hop-gate-server ./cmd/server +# -ldflags 를 통해 main.version 에 VERSION 값을 주입합니다. +RUN CGO_ENABLED=0 GOOS=${TARGETOS} GOARCH=${TARGETARCH} go build -ldflags "-X main.version=${VERSION}" -o /out/hop-gate-server ./cmd/server # ---------- Runtime stage ---------- FROM alpine:3.20 @@ -49,7 +52,7 @@ COPY --from=builder /out/hop-gate-server /app/hop-gate-server COPY .env.example /app/.env.example # 기본 포트 노출 (실제 포트는 .env / 설정에 따라 변경 가능) -EXPOSE 80 443/udp 443 +EXPOSE 80 443 # 기본 실행 명령 ENTRYPOINT ["/app/hop-gate-server"] diff --git a/Makefile b/Makefile index 6cb0bc6..85629c4 100644 --- a/Makefile +++ b/Makefile @@ -18,7 +18,9 @@ BIN_DIR := ./bin SERVER_BIN := $(BIN_DIR)/hop-gate-server CLIENT_BIN := $(BIN_DIR)/hop-gate-client -VERSION ?= $(shell git describe --tags --dirty --always 2>/dev/null || echo dev) +# VERSION 은 현재 커밋의 7글자 SHA 를 사용합니다 (예: 1a2b3c4). +# git 정보가 없으면 dev 로 fallback 합니다. +VERSION ?= $(shell git rev-parse --short=7 HEAD 2>/dev/null || echo dev) # .env 파일 로드 include .env diff --git a/cmd/client/main.go b/cmd/client/main.go index daa5ce5..a84c8b8 100644 --- a/cmd/client/main.go +++ b/cmd/client/main.go @@ -1,20 +1,35 @@ package main import ( + "bytes" "context" "crypto/tls" "crypto/x509" "flag" + "fmt" + "io" "net" + "net/http" + "net/url" "os" + "strconv" "strings" + "sync" + "time" + + "google.golang.org/grpc" + "google.golang.org/grpc/credentials" "github.com/dalbodeule/hop-gate/internal/config" - "github.com/dalbodeule/hop-gate/internal/dtls" "github.com/dalbodeule/hop-gate/internal/logging" - "github.com/dalbodeule/hop-gate/internal/proxy" + "github.com/dalbodeule/hop-gate/internal/protocol" + protocolpb "github.com/dalbodeule/hop-gate/internal/protocol/pb" ) +// version 은 빌드 시 -ldflags "-X main.version=xxxxxxx" 로 덮어쓰이는 필드입니다. +// 기본값 "dev" 는 로컬 개발용입니다. +var version = "dev" + func getEnvOrPanic(logger logging.Logger, key string) string { value, exists := os.LookupEnv(key) if !exists || strings.TrimSpace(value) == "" { @@ -44,6 +59,639 @@ func firstNonEmpty(values ...string) string { return "" } +// runGRPCTunnelClient 는 gRPC 기반 터널을 사용하는 실험적 클라이언트 진입점입니다. (ko) +// runGRPCTunnelClient is an experimental entrypoint for a gRPC-based tunnel client. (en) +func runGRPCTunnelClient(ctx context.Context, logger logging.Logger, finalCfg *config.ClientConfig) error { + // TLS 설정은 기존 DTLS 클라이언트와 동일한 정책을 사용합니다. (ko) + // TLS configuration mirrors the existing DTLS client policy. (en) + var tlsCfg *tls.Config + if finalCfg.Debug { + tlsCfg = &tls.Config{ + InsecureSkipVerify: true, + MinVersion: tls.VersionTLS12, + } + } else { + rootCAs, err := x509.SystemCertPool() + if err != nil || rootCAs == nil { + rootCAs = x509.NewCertPool() + } + tlsCfg = &tls.Config{ + RootCAs: rootCAs, + MinVersion: tls.VersionTLS12, + } + } + + // finalCfg.ServerAddr 가 "host:port" 형태이므로, SNI 에는 DNS(host) 부분만 넣어야 한다. + host := finalCfg.ServerAddr + if h, _, err := net.SplitHostPort(finalCfg.ServerAddr); err == nil && strings.TrimSpace(h) != "" { + host = h + } + tlsCfg.ServerName = host + + creds := credentials.NewTLS(tlsCfg) + + log := logger.With(logging.Fields{ + "component": "grpc_tunnel_client", + "server_addr": finalCfg.ServerAddr, + "domain": finalCfg.Domain, + "local_target": finalCfg.LocalTarget, + }) + + log.Info("dialing grpc tunnel", nil) + + conn, err := grpc.DialContext(ctx, finalCfg.ServerAddr, grpc.WithTransportCredentials(creds), grpc.WithBlock()) + if err != nil { + log.Error("failed to dial grpc tunnel server", logging.Fields{ + "error": err.Error(), + }) + return err + } + defer conn.Close() + + client := protocolpb.NewHopGateTunnelClient(conn) + + stream, err := client.OpenTunnel(ctx) + if err != nil { + log.Error("failed to open grpc tunnel stream", logging.Fields{ + "error": err.Error(), + }) + return err + } + + log.Info("grpc tunnel stream opened", nil) + + // 초기 핸드셰이크: 도메인, API 키, 로컬 타깃 정보를 StreamOpen 헤더로 전송합니다. (ko) + // Initial handshake: send domain, API key, and local target via StreamOpen headers. (en) + headers := map[string]*protocolpb.HeaderValues{ + "X-HopGate-Domain": {Values: []string{finalCfg.Domain}}, + "X-HopGate-API-Key": {Values: []string{finalCfg.ClientAPIKey}}, + "X-HopGate-Local-Target": {Values: []string{finalCfg.LocalTarget}}, + } + + open := &protocolpb.StreamOpen{ + Id: "control-0", + ServiceName: "control", + TargetAddr: "", + Header: headers, + } + + env := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{ + StreamOpen: open, + }, + } + + if err := stream.Send(env); err != nil { + log.Error("failed to send initial stream_open handshake", logging.Fields{ + "error": err.Error(), + }) + return err + } + + log.Info("sent initial stream_open handshake on grpc tunnel", logging.Fields{ + "domain": finalCfg.Domain, + "local_target": finalCfg.LocalTarget, + "api_key_mask": maskAPIKey(finalCfg.ClientAPIKey), + }) + + // 로컬 HTTP 프록시용 HTTP 클라이언트 구성. (ko) + // HTTP client used to forward requests to the local target. (en) + httpClient := &http.Client{ + Timeout: 30 * time.Second, + Transport: &http.Transport{ + Proxy: http.ProxyFromEnvironment, + DialContext: (&net.Dialer{ + Timeout: 10 * time.Second, + KeepAlive: 30 * time.Second, + }).DialContext, + ForceAttemptHTTP2: true, + MaxIdleConns: 100, + IdleConnTimeout: 90 * time.Second, + TLSHandshakeTimeout: 10 * time.Second, + ExpectContinueTimeout: 1 * time.Second, + }, + } + + // 서버→클라이언트 방향 StreamOpen/StreamData/StreamClose 를 + // HTTP 요청 단위로 모으기 위한 per-stream 상태 테이블입니다. (ko) + // Per-stream state table to assemble HTTP requests from StreamOpen/Data/Close. (en) + type inboundStream struct { + open *protocolpb.StreamOpen + body bytes.Buffer + } + + streams := make(map[string]*inboundStream) + var streamsMu sync.Mutex + + // gRPC 스트림에 대한 Send 는 동시 호출이 안전하지 않으므로, sendMu 로 직렬화합니다. (ko) + // gRPC streaming Send is not safe for concurrent calls; protect with a mutex. (en) + var sendMu sync.Mutex + sendEnv := func(e *protocolpb.Envelope) error { + sendMu.Lock() + defer sendMu.Unlock() + return stream.Send(e) + } + + // 서버에서 전달된 StreamOpen/StreamData/StreamClose 를 로컬 HTTP 요청으로 변환하고, + // 응답을 StreamOpen/StreamData/StreamClose 로 다시 서버에 전송하는 헬퍼입니다. (ko) + // handleStream forwards a single logical HTTP request to the local target + // and sends the response back as StreamOpen/StreamData/StreamClose frames. (en) + handleStream := func(so *protocolpb.StreamOpen, body []byte) { + go func() { + streamID := strings.TrimSpace(so.Id) + if streamID == "" { + log.Error("inbound stream has empty id", logging.Fields{}) + return + } + + if finalCfg.LocalTarget == "" { + log.Error("local target is empty; cannot forward request", logging.Fields{ + "stream_id": streamID, + }) + return + } + + // Pseudo-headers 에서 메서드/URL/Host 추출. (ko) + // Extract method/URL/host from pseudo-headers. (en) + method := http.MethodGet + if hv, ok := so.Header[protocol.HeaderKeyMethod]; ok && hv != nil && len(hv.Values) > 0 && strings.TrimSpace(hv.Values[0]) != "" { + method = hv.Values[0] + } + urlStr := "/" + if hv, ok := so.Header[protocol.HeaderKeyURL]; ok && hv != nil && len(hv.Values) > 0 && strings.TrimSpace(hv.Values[0]) != "" { + urlStr = hv.Values[0] + } + + u, err := url.Parse(urlStr) + if err != nil { + errMsg := fmt.Sprintf("parse url from stream_open: %v", err) + log.Error("failed to parse url from stream_open", logging.Fields{ + "stream_id": streamID, + "error": err.Error(), + }) + + respHeader := map[string]*protocolpb.HeaderValues{ + "Content-Type": { + Values: []string{"text/plain; charset=utf-8"}, + }, + protocol.HeaderKeyStatus: { + Values: []string{strconv.Itoa(http.StatusBadGateway)}, + }, + } + respOpen := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{ + StreamOpen: &protocolpb.StreamOpen{ + Id: streamID, + ServiceName: so.ServiceName, + TargetAddr: so.TargetAddr, + Header: respHeader, + }, + }, + } + if err2 := sendEnv(respOpen); err2 != nil { + log.Error("failed to send error stream_open from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + return + } + + dataEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamData{ + StreamData: &protocolpb.StreamData{ + Id: streamID, + Seq: 0, + Data: []byte("HopGate client: " + errMsg), + }, + }, + } + if err2 := sendEnv(dataEnv); err2 != nil { + log.Error("failed to send error stream_data from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + return + } + + closeEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamClose{ + StreamClose: &protocolpb.StreamClose{ + Id: streamID, + Error: errMsg, + }, + }, + } + if err2 := sendEnv(closeEnv); err2 != nil { + log.Error("failed to send error stream_close from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + } + return + } + u.Scheme = "http" + u.Host = finalCfg.LocalTarget + + // 로컬 HTTP 요청용 헤더 구성 (pseudo-headers 제거). (ko) + // Build local HTTP headers, stripping pseudo-headers. (en) + httpHeader := make(http.Header, len(so.Header)) + for k, hv := range so.Header { + if k == protocol.HeaderKeyMethod || + k == protocol.HeaderKeyURL || + k == protocol.HeaderKeyHost || + k == protocol.HeaderKeyStatus { + continue + } + if hv == nil { + continue + } + for _, v := range hv.Values { + httpHeader.Add(k, v) + } + } + + var reqBody io.Reader + if len(body) > 0 { + reqBody = bytes.NewReader(body) + } + + req, err := http.NewRequestWithContext(ctx, method, u.String(), reqBody) + if err != nil { + errMsg := fmt.Sprintf("create http request from stream: %v", err) + log.Error("failed to create local http request", logging.Fields{ + "stream_id": streamID, + "error": err.Error(), + }) + + respHeader := map[string]*protocolpb.HeaderValues{ + "Content-Type": { + Values: []string{"text/plain; charset=utf-8"}, + }, + protocol.HeaderKeyStatus: { + Values: []string{strconv.Itoa(http.StatusBadGateway)}, + }, + } + respOpen := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{ + StreamOpen: &protocolpb.StreamOpen{ + Id: streamID, + ServiceName: so.ServiceName, + TargetAddr: so.TargetAddr, + Header: respHeader, + }, + }, + } + if err2 := sendEnv(respOpen); err2 != nil { + log.Error("failed to send error stream_open from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + return + } + + dataEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamData{ + StreamData: &protocolpb.StreamData{ + Id: streamID, + Seq: 0, + Data: []byte("HopGate client: " + errMsg), + }, + }, + } + if err2 := sendEnv(dataEnv); err2 != nil { + log.Error("failed to send error stream_data from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + return + } + + closeEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamClose{ + StreamClose: &protocolpb.StreamClose{ + Id: streamID, + Error: errMsg, + }, + }, + } + if err2 := sendEnv(closeEnv); err2 != nil { + log.Error("failed to send error stream_close from client", logging.Fields{ + "stream_id": streamID, + "error": err2.Error(), + }) + } + return + } + req.Header = httpHeader + if len(body) > 0 { + req.ContentLength = int64(len(body)) + } + + start := time.Now() + logReq := log.With(logging.Fields{ + "component": "grpc_client_proxy", + "stream_id": streamID, + "service": so.ServiceName, + "method": method, + "url": urlStr, + "local_target": finalCfg.LocalTarget, + }) + logReq.Info("forwarding stream http request to local target", nil) + + res, err := httpClient.Do(req) + if err != nil { + errMsg := fmt.Sprintf("perform local http request: %v", err) + logReq.Error("local http request failed", logging.Fields{ + "error": err.Error(), + }) + + respHeader := map[string]*protocolpb.HeaderValues{ + "Content-Type": { + Values: []string{"text/plain; charset=utf-8"}, + }, + protocol.HeaderKeyStatus: { + Values: []string{strconv.Itoa(http.StatusBadGateway)}, + }, + } + respOpen := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{ + StreamOpen: &protocolpb.StreamOpen{ + Id: streamID, + ServiceName: so.ServiceName, + TargetAddr: so.TargetAddr, + Header: respHeader, + }, + }, + } + if err2 := sendEnv(respOpen); err2 != nil { + logReq.Error("failed to send error stream_open from client", logging.Fields{ + "error": err2.Error(), + }) + return + } + + dataEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamData{ + StreamData: &protocolpb.StreamData{ + Id: streamID, + Seq: 0, + Data: []byte("HopGate client: " + errMsg), + }, + }, + } + if err2 := sendEnv(dataEnv); err2 != nil { + logReq.Error("failed to send error stream_data from client", logging.Fields{ + "error": err2.Error(), + }) + return + } + + closeEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamClose{ + StreamClose: &protocolpb.StreamClose{ + Id: streamID, + Error: errMsg, + }, + }, + } + if err2 := sendEnv(closeEnv); err2 != nil { + logReq.Error("failed to send error stream_close from client", logging.Fields{ + "error": err2.Error(), + }) + } + return + } + defer res.Body.Close() + + // 응답 헤더 맵을 복사하고 상태 코드를 pseudo-header 로 추가합니다. (ko) + // Copy response headers and attach status code as a pseudo-header. (en) + respHeader := make(map[string]*protocolpb.HeaderValues, len(res.Header)+1) + for k, vs := range res.Header { + hv := &protocolpb.HeaderValues{ + Values: append([]string(nil), vs...), + } + respHeader[k] = hv + } + statusCode := res.StatusCode + if statusCode == 0 { + statusCode = http.StatusOK + } + respHeader[protocol.HeaderKeyStatus] = &protocolpb.HeaderValues{ + Values: []string{strconv.Itoa(statusCode)}, + } + + respOpen := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{ + StreamOpen: &protocolpb.StreamOpen{ + Id: streamID, + ServiceName: so.ServiceName, + TargetAddr: so.TargetAddr, + Header: respHeader, + }, + }, + } + if err := sendEnv(respOpen); err != nil { + logReq.Error("failed to send stream response open envelope from client", logging.Fields{ + "error": err.Error(), + }) + return + } + + // 응답 바디를 4KiB(StreamChunkSize) 단위로 잘라 StreamData 프레임으로 전송합니다. (ko) + // Chunk the response body into 4KiB (StreamChunkSize) StreamData frames. (en) + buf := make([]byte, protocol.StreamChunkSize) + var seq uint64 + for { + n, err := res.Body.Read(buf) + if n > 0 { + dataCopy := append([]byte(nil), buf[:n]...) + dataEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamData{ + StreamData: &protocolpb.StreamData{ + Id: streamID, + Seq: seq, + Data: dataCopy, + }, + }, + } + if err2 := sendEnv(dataEnv); err2 != nil { + logReq.Error("failed to send stream response data envelope from client", logging.Fields{ + "error": err2.Error(), + }) + return + } + seq++ + } + if err == io.EOF { + break + } + if err != nil { + logReq.Error("failed to read local http response body", logging.Fields{ + "error": err.Error(), + }) + break + } + } + + closeEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamClose{ + StreamClose: &protocolpb.StreamClose{ + Id: streamID, + Error: "", + }, + }, + } + if err := sendEnv(closeEnv); err != nil { + logReq.Error("failed to send stream response close envelope from client", logging.Fields{ + "error": err.Error(), + }) + return + } + + logReq.Info("stream http response sent from client", logging.Fields{ + "status": statusCode, + "elapsed_ms": time.Since(start).Milliseconds(), + "error": "", + }) + }() + } + + // 수신 루프: 서버에서 들어오는 StreamOpen/StreamData/StreamClose 를 + // 로컬 HTTP 요청으로 변환하고 응답을 다시 터널로 전송합니다. (ko) + // Receive loop: convert incoming StreamOpen/StreamData/StreamClose into local + // HTTP requests and send responses back over the tunnel. (en) + for { + if ctx.Err() != nil { + log.Info("context cancelled, closing grpc tunnel client", logging.Fields{ + "error": ctx.Err().Error(), + }) + return ctx.Err() + } + + in, err := stream.Recv() + if err != nil { + if err == io.EOF { + log.Info("grpc tunnel stream closed by server", nil) + return nil + } + log.Error("grpc tunnel receive error", logging.Fields{ + "error": err.Error(), + }) + return err + } + + payloadType := "unknown" + switch payload := in.Payload.(type) { + case *protocolpb.Envelope_HttpRequest: + payloadType = "http_request" + case *protocolpb.Envelope_HttpResponse: + payloadType = "http_response" + case *protocolpb.Envelope_StreamOpen: + payloadType = "stream_open" + + so := payload.StreamOpen + if so == nil { + log.Error("received stream_open with nil payload on grpc tunnel client", logging.Fields{}) + continue + } + streamID := strings.TrimSpace(so.Id) + if streamID == "" { + log.Error("received stream_open with empty stream id on grpc tunnel client", logging.Fields{}) + continue + } + + streamsMu.Lock() + if _, exists := streams[streamID]; exists { + log.Error("received duplicate stream_open for existing stream on grpc tunnel client", logging.Fields{ + "stream_id": streamID, + }) + streamsMu.Unlock() + continue + } + streams[streamID] = &inboundStream{open: so} + streamsMu.Unlock() + + case *protocolpb.Envelope_StreamData: + payloadType = "stream_data" + + sd := payload.StreamData + if sd == nil { + log.Error("received stream_data with nil payload on grpc tunnel client", logging.Fields{}) + continue + } + streamID := strings.TrimSpace(sd.Id) + if streamID == "" { + log.Error("received stream_data with empty stream id on grpc tunnel client", logging.Fields{}) + continue + } + + streamsMu.Lock() + st := streams[streamID] + streamsMu.Unlock() + if st == nil { + log.Warn("received stream_data for unknown stream on grpc tunnel client", logging.Fields{ + "stream_id": streamID, + }) + continue + } + if len(sd.Data) > 0 { + if _, err := st.body.Write(sd.Data); err != nil { + log.Error("failed to buffer stream_data body on grpc tunnel client", logging.Fields{ + "stream_id": streamID, + "error": err.Error(), + }) + } + } + + case *protocolpb.Envelope_StreamClose: + payloadType = "stream_close" + + sc := payload.StreamClose + if sc == nil { + log.Error("received stream_close with nil payload on grpc tunnel client", logging.Fields{}) + continue + } + streamID := strings.TrimSpace(sc.Id) + if streamID == "" { + log.Error("received stream_close with empty stream id on grpc tunnel client", logging.Fields{}) + continue + } + + streamsMu.Lock() + st := streams[streamID] + if st != nil { + delete(streams, streamID) + } + streamsMu.Unlock() + if st == nil { + log.Warn("received stream_close for unknown stream on grpc tunnel client", logging.Fields{ + "stream_id": streamID, + }) + continue + } + + // 현재까지 수신한 메타데이터/바디를 사용해 로컬 HTTP 요청을 수행하고, + // 응답을 다시 터널로 전송합니다. (ko) + // Use the accumulated metadata/body to perform the local HTTP request and + // send the response back over the tunnel. (en) + bodyCopy := append([]byte(nil), st.body.Bytes()...) + handleStream(st.open, bodyCopy) + + case *protocolpb.Envelope_StreamAck: + payloadType = "stream_ack" + // 현재 gRPC 터널에서는 StreamAck 를 사용하지 않습니다. (ko) + // StreamAck is currently unused for gRPC tunnels. (en) + + default: + payloadType = fmt.Sprintf("unknown(%T)", in.Payload) + } + + log.Info("received envelope on grpc tunnel client", logging.Fields{ + "payload_type": payloadType, + }) + } +} + func main() { logger := logging.NewStdJSONLogger("client") @@ -83,7 +731,7 @@ func main() { }) // CLI 인자 정의 (env 보다 우선 적용됨) - serverAddrFlag := flag.String("server-addr", "", "DTLS server address (host:port)") + serverAddrFlag := flag.String("server-addr", "", "HopGate server address (host:port)") domainFlag := flag.String("domain", "", "registered domain (e.g. api.example.com)") apiKeyFlag := flag.String("api-key", "", "client API key for the domain (64 chars)") localTargetFlag := flag.String("local-target", "", "local HTTP target (host:port), e.g. 127.0.0.1:8080") @@ -124,6 +772,7 @@ func main() { logger.Info("hop-gate client starting", logging.Fields{ "stack": "prometheus-loki-grafana", + "version": version, "server_addr": finalCfg.ServerAddr, "domain": finalCfg.Domain, "local_target": finalCfg.LocalTarget, @@ -131,78 +780,16 @@ func main() { "debug": finalCfg.Debug, }) - // 4. DTLS 클라이언트 연결 및 핸드셰이크 ctx := context.Background() - // 디버그 모드에서는 서버 인증서 검증을 스킵(InsecureSkipVerify=true) 하여 - // self-signed 테스트 인증서도 신뢰하도록 합니다. - // 운영 환경에서는 Debug=false 로 두고, 올바른 RootCAs / ServerName 을 갖는 tls.Config 를 사용해야 합니다. - var tlsCfg *tls.Config - if finalCfg.Debug { - tlsCfg = &tls.Config{ - InsecureSkipVerify: true, - MinVersion: tls.VersionTLS12, - } - } else { - // 운영 모드: 시스템 루트 CA + SNI(ServerName)에 서버 도메인 설정 - rootCAs, err := x509.SystemCertPool() - if err != nil || rootCAs == nil { - rootCAs = x509.NewCertPool() - } - tlsCfg = &tls.Config{ - RootCAs: rootCAs, - MinVersion: tls.VersionTLS12, - } - } - // DTLS 서버 측은 SNI(ServerName)가 HOP_SERVER_DOMAIN(cfg.Domain)과 일치하는지 검사하므로, - // 클라이언트 TLS 설정에도 반드시 도메인을 설정해준다. - // - // finalCfg.ServerAddr 가 "host:port" 형태이므로, SNI 에는 DNS(host) 부분만 넣어야 한다. - host := finalCfg.ServerAddr - if h, _, err := net.SplitHostPort(finalCfg.ServerAddr); err == nil && strings.TrimSpace(h) != "" { - host = h - } - tlsCfg.ServerName = host - - client := dtls.NewPionClient(dtls.PionClientConfig{ - Addr: finalCfg.ServerAddr, - TLSConfig: tlsCfg, - }) - - sess, err := client.Connect() - if err != nil { - logger.Error("failed to establish dtls session", logging.Fields{ - "error": err.Error(), - }) - os.Exit(1) - } - defer sess.Close() - - hsRes, err := dtls.PerformClientHandshake(ctx, sess, logger, finalCfg.Domain, finalCfg.ClientAPIKey, finalCfg.LocalTarget) - if err != nil { - logger.Error("dtls handshake failed", logging.Fields{ + // 현재 클라이언트는 DTLS 레이어 없이 gRPC 터널만을 사용합니다. (ko) + // The client now uses only the gRPC tunnel, without any DTLS layer. (en) + if err := runGRPCTunnelClient(ctx, logger, finalCfg); err != nil { + logger.Error("grpc tunnel client exited with error", logging.Fields{ "error": err.Error(), }) os.Exit(1) } - logger.Info("dtls handshake completed", logging.Fields{ - "domain": hsRes.Domain, - "local_target": finalCfg.LocalTarget, - }) - - // 5. DTLS 세션 위에서 서버 요청을 처리하는 클라이언트 프록시 루프 시작 - clientProxy := proxy.NewClientProxy(logger, finalCfg.LocalTarget) - logger.Info("starting client proxy loop", logging.Fields{ - "local_target": finalCfg.LocalTarget, - }) - - if err := clientProxy.StartLoop(ctx, sess); err != nil { - logger.Error("client proxy loop exited with error", logging.Fields{ - "error": err.Error(), - }) - os.Exit(1) - } - - logger.Info("client proxy loop exited normally", nil) + logger.Info("grpc tunnel client exited normally", nil) } diff --git a/cmd/server/main.go b/cmd/server/main.go index 930ba0c..bb74c30 100644 --- a/cmd/server/main.go +++ b/cmd/server/main.go @@ -1,6 +1,7 @@ package main import ( + "bufio" "bytes" "context" "crypto/tls" @@ -11,12 +12,17 @@ import ( "net/http" "os" "path/filepath" + "sort" "strconv" "strings" "sync" "time" "github.com/prometheus/client_golang/prometheus/promhttp" + "google.golang.org/grpc" + "google.golang.org/grpc/codes" + "google.golang.org/grpc/peer" + "google.golang.org/grpc/status" "github.com/dalbodeule/hop-gate/internal/acme" "github.com/dalbodeule/hop-gate/internal/admin" @@ -26,13 +32,139 @@ import ( "github.com/dalbodeule/hop-gate/internal/logging" "github.com/dalbodeule/hop-gate/internal/observability" "github.com/dalbodeule/hop-gate/internal/protocol" + protocolpb "github.com/dalbodeule/hop-gate/internal/protocol/pb" "github.com/dalbodeule/hop-gate/internal/store" ) +// version 은 빌드 시 -ldflags "-X main.version=xxxxxxx" 로 덮어쓰이는 필드입니다. +// 기본값 "dev" 는 로컬 개발용입니다. +var version = "dev" + +// pendingRequest tracks a request waiting for its response +type pendingRequest struct { + streamID protocol.StreamID + respCh chan *protocol.Envelope + doneCh chan struct{} +} + +// streamSender 는 특정 스트림에 대해 전송한 StreamData 프레임의 payload 를 +// 시퀀스 번호별로 보관하여, peer 로부터의 StreamAck 를 기반으로 선택적 재전송을 +// 수행하기 위한 송신 측 ARQ 상태를 나타냅니다. (ko) +// streamSender keeps outstanding StreamData payloads per sequence number so that +// they can be selectively retransmitted based on StreamAck from the peer. (en) +type streamSender struct { + mu sync.Mutex + outstanding map[uint64][]byte +} + +func newStreamSender() *streamSender { + return &streamSender{ + outstanding: make(map[uint64][]byte), + } +} + +func (s *streamSender) register(seq uint64, data []byte) { + s.mu.Lock() + defer s.mu.Unlock() + + if s.outstanding == nil { + s.outstanding = make(map[uint64][]byte) + } + buf := make([]byte, len(data)) + copy(buf, data) + s.outstanding[seq] = buf +} + +// handleAck 는 주어진 StreamAck 를 적용하여 AckSeq 이하의 프레임을 정리하고, +// LostSeqs 중 아직 outstanding 에 남아 있는 시퀀스의 payload 를 복사하여 +// 재전송 대상 목록으로 반환합니다. (ko) +// handleAck applies the given StreamAck, removes frames up to AckSeq, and +// returns copies of payloads for LostSeqs that are still outstanding so that +// they can be retransmitted. (en) +func (s *streamSender) handleAck(ack *protocol.StreamAck) map[uint64][]byte { + s.mu.Lock() + defer s.mu.Unlock() + + if s.outstanding == nil { + return nil + } + + // 연속 수신 완료 구간(seq <= AckSeq)은 outstanding 에서 제거합니다. + for seq := range s.outstanding { + if seq <= ack.AckSeq { + delete(s.outstanding, seq) + } + } + + // LostSeqs 가 비어 있으면 재전송할 것이 없습니다. + if len(ack.LostSeqs) == 0 { + return nil + } + + // LostSeqs 중 아직 outstanding 에 남아 있는 것만 재전송 대상으로 선택합니다. + lost := make(map[uint64][]byte, len(ack.LostSeqs)) + for _, seq := range ack.LostSeqs { + if data, ok := s.outstanding[seq]; ok { + buf := make([]byte, len(data)) + copy(buf, data) + lost[seq] = buf + } + } + return lost +} + type dtlsSessionWrapper struct { - sess dtls.Session + sess dtls.Session + bufferedReader *bufio.Reader + codec protocol.WireCodec + logger logging.Logger + mu sync.Mutex nextStreamID uint64 + pending map[protocol.StreamID]*pendingRequest + readerDone chan struct{} + + // streamSenders 는 서버 → 클라이언트 방향 HTTP 요청 바디 전송에 대한 + // 송신 측 ARQ 상태를 보관합니다. (ko) + // streamSenders keeps ARQ sender state for HTTP request bodies sent + // from server to client. (en) + streamSenders map[protocol.StreamID]*streamSender +} + +// registerStreamSender 는 주어진 스트림 ID 에 대한 송신 측 ARQ 상태를 등록합니다. (ko) +// registerStreamSender registers the sender-side ARQ state for a given stream ID. (en) +func (w *dtlsSessionWrapper) registerStreamSender(id protocol.StreamID, sender *streamSender) { + w.mu.Lock() + defer w.mu.Unlock() + + if w.streamSenders == nil { + w.streamSenders = make(map[protocol.StreamID]*streamSender) + } + w.streamSenders[id] = sender +} + +// unregisterStreamSender 는 더 이상 사용하지 않는 스트림 ID 에 대한 송신 측 ARQ 상태를 제거합니다. (ko) +// unregisterStreamSender removes the sender-side ARQ state for a stream ID that is no longer used. (en) +func (w *dtlsSessionWrapper) unregisterStreamSender(id protocol.StreamID) { + w.mu.Lock() + defer w.mu.Unlock() + + if w.streamSenders == nil { + return + } + delete(w.streamSenders, id) +} + +// getStreamSender 는 주어진 스트림 ID 에 대한 송신 측 ARQ 상태를 반환합니다. (ko) +// getStreamSender returns the sender-side ARQ state for the given stream ID, if any. (en) +func (w *dtlsSessionWrapper) getStreamSender(id protocol.StreamID) *streamSender { + w.mu.Lock() + defer w.mu.Unlock() + + if w.streamSenders == nil { + return nil + } + return w.streamSenders[id] } func getEnvOrPanic(logger logging.Logger, key string) string { @@ -170,22 +302,192 @@ func parseExpectedIPsFromEnv(logger logging.Logger, envKey string) []net.IP { // ForwardHTTP 는 HTTP 요청을 DTLS 세션 위의 StreamOpen/StreamData/StreamClose 프레임으로 전송하고, // 역방향 스트림 응답을 수신해 protocol.Response 로 반환합니다. (ko) +// readLoop continuously reads from the DTLS session and dispatches incoming frames +// to the appropriate pending request based on stream ID. It also handles +// application-level ARQ (StreamAck) for request bodies sent from server to client. (en) +func (w *dtlsSessionWrapper) readLoop() { + defer close(w.readerDone) + + for { + var env protocol.Envelope + if err := w.codec.Decode(w.bufferedReader, &env); err != nil { + if err == io.EOF { + w.logger.Info("dtls session closed", nil) + } else { + w.logger.Error("failed to decode envelope in read loop", logging.Fields{ + "error": err.Error(), + }) + } + // Notify all pending requests of the error by closing their response channels. + // The doneCh will be closed by each ForwardHTTP's defer. + w.mu.Lock() + for _, pending := range w.pending { + close(pending.respCh) + } + w.pending = make(map[protocol.StreamID]*pendingRequest) + w.mu.Unlock() + return + } + + // 1) StreamAck 처리: 서버 → 클라이언트 방향 요청 바디 전송에 대한 ARQ. (ko) + // 1) Handle StreamAck: application-level ARQ for request bodies + // sent from server to client. (en) + if env.Type == protocol.MessageTypeStreamAck { + sa := env.StreamAck + if sa == nil { + w.logger.Warn("received stream_ack envelope with nil payload", logging.Fields{}) + continue + } + streamID := sa.ID + sender := w.getStreamSender(streamID) + if sender == nil { + w.logger.Warn("received stream_ack for unknown stream ID", logging.Fields{ + "stream_id": streamID, + }) + continue + } + lost := sender.handleAck(sa) + for seq, data := range lost { + retryEnv := protocol.Envelope{ + Type: protocol.MessageTypeStreamData, + StreamData: &protocol.StreamData{ + ID: streamID, + Seq: seq, + Data: data, + }, + } + if err := w.codec.Encode(w.sess, &retryEnv); err != nil { + w.logger.Error("failed to retransmit stream_data after stream_ack", logging.Fields{ + "stream_id": streamID, + "seq": seq, + "error": err.Error(), + }) + // 세션 쓰기 오류가 발생하면 루프를 종료하여 상위에서 세션 종료를 유도합니다. (ko) + // On write error, stop the loop so that the caller can tear down the session. (en) + return + } + } + // StreamAck 는 애플리케이션 페이로드를 포함하지 않으므로 pending 에 전달하지 않습니다. (ko) + // StreamAck carries no application payload, so it is not forwarded to pending requests. (en) + continue + } + + // 2) StreamOpen / StreamData / StreamClose 에 대해 stream ID 를 산출하고, + // 해당 pending 요청으로 전달합니다. (ko) + // 2) For StreamOpen / StreamData / StreamClose, determine the stream ID + // and forward to the corresponding pending request. (en) + var streamID protocol.StreamID + switch env.Type { + case protocol.MessageTypeStreamOpen: + if env.StreamOpen != nil { + streamID = env.StreamOpen.ID + } + case protocol.MessageTypeStreamData: + if env.StreamData != nil { + streamID = env.StreamData.ID + } + case protocol.MessageTypeStreamClose: + if env.StreamClose != nil { + streamID = env.StreamClose.ID + } + default: + w.logger.Warn("received unexpected envelope type in read loop", logging.Fields{ + "type": env.Type, + }) + continue + } + + if streamID == "" { + w.logger.Warn("received envelope with empty stream ID", logging.Fields{ + "type": env.Type, + }) + continue + } + + // Find the pending request for this stream ID + w.mu.Lock() + pending := w.pending[streamID] + w.mu.Unlock() + + if pending == nil { + w.logger.Warn("received envelope for unknown stream ID", logging.Fields{ + "stream_id": streamID, + "type": env.Type, + }) + continue + } + + // Send the envelope to the waiting request + select { + case pending.respCh <- &env: + // Successfully delivered + case <-pending.doneCh: + // Request was cancelled or timed out + w.logger.Warn("pending request already closed", logging.Fields{ + "stream_id": streamID, + }) + default: + // Channel buffer full - shouldn't happen with proper sizing + w.logger.Warn("response channel buffer full, dropping frame", logging.Fields{ + "stream_id": streamID, + "type": env.Type, + }) + } + } +} + // ForwardHTTP forwards an HTTP request over the DTLS session using StreamOpen/StreamData/StreamClose // frames and reconstructs the reverse stream into a protocol.Response. (en) +// This method now supports concurrent requests by using a channel-based multiplexing approach. func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Logger, req *http.Request, serviceName string) (*protocol.Response, error) { - w.mu.Lock() - defer w.mu.Unlock() - if ctx == nil { ctx = context.Background() } - codec := protocol.DefaultCodec + // 클라이언트는 단일 DTLS 세션 내에서 다중 HTTP 스트림을 처리할 수 있도록 + // 중앙 readLoop + per-stream demux 구조(3.3B.1~3.3B.2)가 적용되어 있습니다. (ko) + // With the client-side central read loop + per-stream demux (3.3B.1–3.3B.2), + // a single DTLS session can now handle multiple concurrent HTTP streams. (en) + // + // 3.3B.4에서 정의한 것처럼, 서버 측에서는 더 이상 세션 단위 직렬화 락을 사용하지 않고 + // 동일 DTLS 세션 위에서 여러 ForwardHTTP 호출이 서로 다른 StreamID 로 병렬 진행되도록 + // 허용합니다. (ko) + // As per 3.3B.4, we no longer use a session-level serialization lock here and + // allow multiple ForwardHTTP calls to run concurrently on the same DTLS session + // using distinct StreamIDs. (en) - // 세션 내에서 고유한 StreamID 를 생성합니다. (ko) - // Generate a unique StreamID for this HTTP request within the DTLS session. (en) + // Generate a unique stream ID (needs mutex for nextStreamID) + w.mu.Lock() streamID := w.nextHTTPStreamID() + // Channel buffer size for response frames to avoid blocking readLoop. + // A typical HTTP response has: 1 StreamOpen + N StreamData + 1 StreamClose frames. + // With 4KB chunks, even large responses stay within this buffer. + const responseChannelBuffer = 16 + + // Create a pending request to receive responses + pending := &pendingRequest{ + streamID: streamID, + respCh: make(chan *protocol.Envelope, responseChannelBuffer), + doneCh: make(chan struct{}), + } + w.pending[streamID] = pending + w.mu.Unlock() + + // 서버 → 클라이언트 방향 요청 바디 전송에 대한 송신 측 ARQ 상태를 준비합니다. (ko) + // Prepare ARQ sender state for the request body sent from server to client. (en) + sender := newStreamSender() + w.registerStreamSender(streamID, sender) + + // Ensure cleanup on exit + defer func() { + w.mu.Lock() + delete(w.pending, streamID) + w.mu.Unlock() + close(pending.doneCh) + w.unregisterStreamSender(streamID) + }() + log := logger.With(logging.Fields{ "component": "http_to_dtls", "request_id": string(streamID), @@ -227,7 +529,7 @@ func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Log Header: hdr, }, } - if err := codec.Encode(w.sess, openEnv); err != nil { + if err := w.codec.Encode(w.sess, openEnv); err != nil { log.Error("failed to encode stream_open envelope", logging.Fields{ "error": err.Error(), }) @@ -243,6 +545,10 @@ func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Log n, err := req.Body.Read(buf) if n > 0 { dataCopy := append([]byte(nil), buf[:n]...) + // 송신 측 ARQ: Seq 별 payload 를 기록해 두었다가, 클라이언트의 StreamAck 를 기반으로 재전송합니다. (ko) + // Sender-side ARQ: record payload per Seq so it can be retransmitted based on StreamAck from the client. (en) + sender.register(seq, dataCopy) + dataEnv := &protocol.Envelope{ Type: protocol.MessageTypeStreamData, StreamData: &protocol.StreamData{ @@ -251,7 +557,7 @@ func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Log Data: dataCopy, }, } - if err2 := codec.Encode(w.sess, dataEnv); err2 != nil { + if err2 := w.codec.Encode(w.sess, dataEnv); err2 != nil { log.Error("failed to encode stream_data envelope", logging.Fields{ "error": err2.Error(), }) @@ -277,7 +583,7 @@ func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Log Error: "", }, } - if err := codec.Encode(w.sess, closeReqEnv); err != nil { + if err := w.codec.Encode(w.sess, closeReqEnv); err != nil { log.Error("failed to encode request stream_close envelope", logging.Fields{ "error": err.Error(), }) @@ -285,91 +591,184 @@ func (w *dtlsSessionWrapper) ForwardHTTP(ctx context.Context, logger logging.Log } // 클라이언트로부터 역방향 스트림 응답을 수신합니다. (ko) - // Receive reverse stream response (StreamOpen + StreamData* + StreamClose). (en) + // Receive reverse stream response (StreamOpen + StreamData* + StreamClose) via the readLoop. (en) var ( resp protocol.Response bodyBuf bytes.Buffer gotOpen bool statusCode = http.StatusOK + + // 응답 바디(클라이언트 → 서버)에 대한 수신 측 ARQ 상태입니다. (ko) + // ARQ receiver state for the response body (client → server). (en) + expectedSeq uint64 + received = make(map[uint64][]byte) + lost = make(map[uint64]struct{}) ) + const maxLostReport = 32 resp.RequestID = string(streamID) resp.Header = make(map[string][]string) for { - var env protocol.Envelope - if err := codec.Decode(w.sess, &env); err != nil { - log.Error("failed to decode stream response envelope", logging.Fields{ - "error": err.Error(), + select { + case <-ctx.Done(): + log.Error("context cancelled while waiting for response", logging.Fields{ + "error": ctx.Err().Error(), }) - return nil, err - } + return nil, ctx.Err() - switch env.Type { - case protocol.MessageTypeStreamOpen: - so := env.StreamOpen - if so == nil { - return nil, fmt.Errorf("stream_open response payload is nil") + case <-w.readerDone: + log.Error("dtls session closed while waiting for response", nil) + return nil, fmt.Errorf("dtls session closed") + + case env, ok := <-pending.respCh: + if !ok { + // Channel closed, session is dead + log.Error("response channel closed unexpectedly", nil) + return nil, fmt.Errorf("response channel closed") } - if so.ID != streamID { - return nil, fmt.Errorf("unexpected stream_open for id %q (expected %q)", so.ID, streamID) - } - // 상태 코드 및 헤더 복원 (pseudo-header 제거). (ko) - // Restore status code and headers (strip pseudo-headers). (en) - statusStr := firstHeaderValue(so.Header, protocol.HeaderKeyStatus, strconv.Itoa(http.StatusOK)) - if sc, err := strconv.Atoi(statusStr); err == nil && sc > 0 { - statusCode = sc - } - for k, vs := range so.Header { - if k == protocol.HeaderKeyMethod || - k == protocol.HeaderKeyURL || - k == protocol.HeaderKeyHost || - k == protocol.HeaderKeyStatus { - continue + + switch env.Type { + case protocol.MessageTypeStreamOpen: + so := env.StreamOpen + if so == nil { + return nil, fmt.Errorf("stream_open response payload is nil") } - resp.Header[k] = append([]string(nil), vs...) - } - gotOpen = true - - case protocol.MessageTypeStreamData: - sd := env.StreamData - if sd == nil { - return nil, fmt.Errorf("stream_data response payload is nil") - } - if sd.ID != streamID { - return nil, fmt.Errorf("unexpected stream_data for id %q (expected %q)", sd.ID, streamID) - } - if len(sd.Data) > 0 { - if _, err := bodyBuf.Write(sd.Data); err != nil { - return nil, fmt.Errorf("buffer stream_data response: %w", err) + // 상태 코드 및 헤더 복원 (pseudo-header 제거). (ko) + // Restore status code and headers (strip pseudo-headers). (en) + statusStr := firstHeaderValue(so.Header, protocol.HeaderKeyStatus, strconv.Itoa(http.StatusOK)) + if sc, err := strconv.Atoi(statusStr); err == nil && sc > 0 { + statusCode = sc } - } + for k, vs := range so.Header { + if k == protocol.HeaderKeyMethod || + k == protocol.HeaderKeyURL || + k == protocol.HeaderKeyHost || + k == protocol.HeaderKeyStatus { + continue + } + resp.Header[k] = append([]string(nil), vs...) + } + gotOpen = true - case protocol.MessageTypeStreamClose: - sc := env.StreamClose - if sc == nil { - return nil, fmt.Errorf("stream_close response payload is nil") - } - if sc.ID != streamID { - return nil, fmt.Errorf("unexpected stream_close for id %q (expected %q)", sc.ID, streamID) - } - // 스트림 종료: 지금까지 수신한 헤더/바디로 protocol.Response 를 완성합니다. (ko) - // Stream finished: complete protocol.Response using collected headers/body. (en) - resp.Status = statusCode - resp.Body = bodyBuf.Bytes() - resp.Error = sc.Error + case protocol.MessageTypeStreamData: + sd := env.StreamData + if sd == nil { + return nil, fmt.Errorf("stream_data response payload is nil") + } - log.Info("received stream http response over dtls", logging.Fields{ - "status": resp.Status, - "error": resp.Error, - }) - if !gotOpen { - return nil, fmt.Errorf("received stream_close without prior stream_open for stream %q", streamID) - } - return &resp, nil + // 수신 측 ARQ: Seq 에 따라 분기하고, 연속 구간을 bodyBuf 에 순서대로 기록합니다. (ko) + // Receiver-side ARQ: handle Seq and append contiguous data to bodyBuf in order. (en) + switch { + case sd.Seq == expectedSeq: + if len(sd.Data) > 0 { + if _, err := bodyBuf.Write(sd.Data); err != nil { + return nil, fmt.Errorf("buffer stream_data response: %w", err) + } + } + expectedSeq++ + for { + data, ok := received[expectedSeq] + if !ok { + break + } + if len(data) > 0 { + if _, err := bodyBuf.Write(data); err != nil { + return nil, fmt.Errorf("buffer reordered stream_data response: %w", err) + } + } + delete(received, expectedSeq) + delete(lost, expectedSeq) + expectedSeq++ + } - default: - return nil, fmt.Errorf("unexpected envelope type %q in stream response", env.Type) + // AckSeq 이전 구간의 lost 항목 정리 + for seq := range lost { + if seq < expectedSeq { + delete(lost, seq) + } + } + + case sd.Seq > expectedSeq: + // 앞선 일부 Seq 들이 누락된 상태: 현재 프레임을 버퍼링하고 missing seq 들을 lost 에 추가. (ko) + // Missing earlier Seq: buffer this frame and mark missing seqs as lost. (en) + if len(sd.Data) > 0 { + bufCopy := make([]byte, len(sd.Data)) + copy(bufCopy, sd.Data) + received[sd.Seq] = bufCopy + } + for seq := expectedSeq; seq < sd.Seq && len(lost) < maxLostReport; seq++ { + if _, ok := lost[seq]; !ok { + lost[seq] = struct{}{} + } + } + + default: + // sd.Seq < expectedSeq 인 경우: 이미 처리했거나 Ack 로 커버된 프레임 → 무시. (ko) + // sd.Seq < expectedSeq: already processed/acked frame → ignore. (en) + } + + // 수신 측 StreamAck 전송: + // - AckSeq: 0부터 시작해 연속으로 수신 완료한 마지막 시퀀스 (expectedSeq-1) + // - LostSeqs: 현재 윈도우 내에서 누락된 시퀀스 중 상한 개수(maxLostReport)까지만 포함 (ko) + // Send receiver-side StreamAck: + // - AckSeq: last contiguously received sequence starting from 0 (expectedSeq-1) + // - LostSeqs: up to maxLostReport missing sequences in the current window. (en) + var ackSeq uint64 + if expectedSeq == 0 { + ackSeq = 0 + } else { + ackSeq = expectedSeq - 1 + } + + lostSeqs := make([]uint64, 0, len(lost)) + for seq := range lost { + if seq >= expectedSeq { + lostSeqs = append(lostSeqs, seq) + } + } + if len(lostSeqs) > 0 { + sort.Slice(lostSeqs, func(i, j int) bool { return lostSeqs[i] < lostSeqs[j] }) + if len(lostSeqs) > maxLostReport { + lostSeqs = lostSeqs[:maxLostReport] + } + } + + ackEnv := protocol.Envelope{ + Type: protocol.MessageTypeStreamAck, + StreamAck: &protocol.StreamAck{ + ID: streamID, + AckSeq: ackSeq, + LostSeqs: lostSeqs, + }, + } + if err := w.codec.Encode(w.sess, &ackEnv); err != nil { + return nil, fmt.Errorf("send stream ack: %w", err) + } + + case protocol.MessageTypeStreamClose: + sc := env.StreamClose + if sc == nil { + return nil, fmt.Errorf("stream_close response payload is nil") + } + // 스트림 종료: 지금까지 수신한 헤더/바디로 protocol.Response 를 완성합니다. (ko) + // Stream finished: complete protocol.Response using collected headers/body. (en) + resp.Status = statusCode + resp.Body = bodyBuf.Bytes() + resp.Error = sc.Error + + log.Info("received stream http response over dtls", logging.Fields{ + "status": resp.Status, + "error": resp.Error, + }) + if !gotOpen { + return nil, fmt.Errorf("received stream_close without prior stream_open for stream %q", streamID) + } + return &resp, nil + + default: + return nil, fmt.Errorf("unexpected envelope type %q in stream response", env.Type) + } } } } @@ -396,11 +795,441 @@ func firstHeaderValue(hdr map[string][]string, key, def string) string { return def } +// firstHeaderValueFromPB 는 map[string]*HeaderValues 형태의 헤더에서 첫 번째 값을 반환하고, +// 값이 없으면 기본값을 반환합니다. (ko) +// firstHeaderValueFromPB returns the first value for a header key in +// map[string]*protocolpb.HeaderValues, or the provided default if the key is +// missing or empty. (en) +func firstHeaderValueFromPB(hdr map[string]*protocolpb.HeaderValues, key, def string) string { + if hdr == nil { + return def + } + if hv, ok := hdr[key]; ok && hv != nil && len(hv.Values) > 0 { + return hv.Values[0] + } + return def +} + +// newGRPCTunnelSession 는 단일 OpenTunnel bi-di 스트림에 대한 gRPC 터널 세션을 생성합니다. (ko) +// newGRPCTunnelSession constructs a grpcTunnelSession for a single OpenTunnel +// bi-directional stream. (en) +func newGRPCTunnelSession(stream protocolpb.HopGateTunnel_OpenTunnelServer, logger logging.Logger) *grpcTunnelSession { + if logger == nil { + logger = logging.NewStdJSONLogger("grpc_tunnel_session") + } + return &grpcTunnelSession{ + stream: stream, + logger: logger, + pending: make(map[string]*grpcPendingRequest), + readerDone: make(chan struct{}), + } +} + +func (t *grpcTunnelSession) send(env *protocolpb.Envelope) error { + t.sendMu.Lock() + defer t.sendMu.Unlock() + return t.stream.Send(env) +} + +func (t *grpcTunnelSession) nextHTTPStreamID() string { + t.mu.Lock() + id := t.nextStreamID + t.nextStreamID++ + t.mu.Unlock() + return fmt.Sprintf("http-%d", id) +} + +// recvLoop 는 OpenTunnel gRPC 스트림에서 Envelope 를 지속적으로 읽어 +// HTTP 요청별 pending 테이블로 전달합니다. (ko) +// recvLoop continuously reads Envelope messages from the OpenTunnel gRPC stream +// and dispatches them to per-request pending tables. (en) +func (t *grpcTunnelSession) recvLoop() error { + defer close(t.readerDone) + + for { + env, err := t.stream.Recv() + if err != nil { + if err == io.EOF { + t.logger.Info("grpc tunnel session closed by client", nil) + return nil + } + t.logger.Error("grpc tunnel receive error", logging.Fields{ + "error": err.Error(), + }) + return err + } + + var streamID string + switch payload := env.Payload.(type) { + case *protocolpb.Envelope_StreamOpen: + if payload.StreamOpen != nil { + streamID = payload.StreamOpen.Id + } + case *protocolpb.Envelope_StreamData: + if payload.StreamData != nil { + streamID = payload.StreamData.Id + } + case *protocolpb.Envelope_StreamClose: + if payload.StreamClose != nil { + streamID = payload.StreamClose.Id + } + case *protocolpb.Envelope_StreamAck: + // StreamAck 는 gRPC 터널에서는 사용하지 않습니다. HTTP/2 가 신뢰성/순서를 보장합니다. (ko) + // StreamAck is currently unused for gRPC tunnels; HTTP/2 already + // guarantees reliable, ordered delivery. (en) + continue + default: + t.logger.Warn("received unsupported envelope payload on grpc tunnel session", logging.Fields{ + "payload_type": fmt.Sprintf("%T", env.Payload), + }) + continue + } + + if streamID == "" { + t.logger.Warn("received envelope with empty stream id on grpc tunnel session", logging.Fields{}) + continue + } + + t.mu.Lock() + pending := t.pending[streamID] + t.mu.Unlock() + + if pending == nil { + t.logger.Warn("received envelope for unknown stream id on grpc tunnel session", logging.Fields{ + "stream_id": streamID, + }) + continue + } + + select { + case pending.respCh <- env: + case <-pending.doneCh: + t.logger.Warn("pending grpc tunnel request already closed", logging.Fields{ + "stream_id": streamID, + }) + default: + t.logger.Warn("grpc tunnel response channel buffer full, dropping frame", logging.Fields{ + "stream_id": streamID, + }) + } + } +} + +// ForwardHTTP 는 HTTP 요청을 gRPC 터널 위의 StreamOpen/StreamData/StreamClose 프레임으로 전송하고, +// 역방향 스트림 응답을 수신해 protocol.Response 로 반환합니다. (ko) +// ForwardHTTP forwards an HTTP request over the gRPC tunnel using +// StreamOpen/StreamData/StreamClose frames and reconstructs the reverse +// stream into a protocol.Response. (en) +func (t *grpcTunnelSession) ForwardHTTP(ctx context.Context, logger logging.Logger, req *http.Request, serviceName string) (*protocol.Response, error) { + if ctx == nil { + ctx = context.Background() + } + + // Generate a unique stream ID for this HTTP request. + streamID := t.nextHTTPStreamID() + + // Channel buffer size for response frames to avoid blocking recvLoop. + const responseChannelBuffer = 16 + + pending := &grpcPendingRequest{ + streamID: streamID, + respCh: make(chan *protocolpb.Envelope, responseChannelBuffer), + doneCh: make(chan struct{}), + } + + t.mu.Lock() + if t.pending == nil { + t.pending = make(map[string]*grpcPendingRequest) + } + t.pending[streamID] = pending + t.mu.Unlock() + + // Ensure cleanup on exit. + defer func() { + t.mu.Lock() + delete(t.pending, streamID) + t.mu.Unlock() + close(pending.doneCh) + }() + + log := logger.With(logging.Fields{ + "component": "http_to_tunnel", + "request_id": streamID, + "method": req.Method, + "url": req.URL.String(), + }) + + log.Info("forwarding http request over grpc tunnel", logging.Fields{ + "host": req.Host, + "scheme": req.URL.Scheme, + }) + + // Build request headers and pseudo-headers. + hdr := make(map[string]*protocolpb.HeaderValues, len(req.Header)+3) + addHeaderValues := func(key string, values []string) { + if len(values) == 0 { + return + } + hv, ok := hdr[key] + if !ok || hv == nil { + hv = &protocolpb.HeaderValues{} + hdr[key] = hv + } + hv.Values = append(hv.Values, values...) + } + + for k, vs := range req.Header { + addHeaderValues(k, vs) + } + addHeaderValues(protocol.HeaderKeyMethod, []string{req.Method}) + if req.URL != nil { + addHeaderValues(protocol.HeaderKeyURL, []string{req.URL.String()}) + } + host := req.Host + if host == "" && req.URL != nil { + host = req.URL.Host + } + if host != "" { + addHeaderValues(protocol.HeaderKeyHost, []string{host}) + } + + // Send StreamOpen specifying the logical service and headers. + open := &protocolpb.StreamOpen{ + Id: streamID, + ServiceName: serviceName, + TargetAddr: "", + Header: hdr, + } + openEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamOpen{StreamOpen: open}, + } + if err := t.send(openEnv); err != nil { + log.Error("failed to send stream_open on grpc tunnel", logging.Fields{ + "error": err.Error(), + }) + return nil, err + } + + // Send request body as StreamData frames. + var seq uint64 + if req.Body != nil { + buf := make([]byte, protocol.StreamChunkSize) + for { + n, err := req.Body.Read(buf) + if n > 0 { + dataCopy := append([]byte(nil), buf[:n]...) + dataEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamData{ + StreamData: &protocolpb.StreamData{ + Id: streamID, + Seq: seq, + Data: dataCopy, + }, + }, + } + if err2 := t.send(dataEnv); err2 != nil { + log.Error("failed to send stream_data on grpc tunnel", logging.Fields{ + "error": err2.Error(), + }) + return nil, err2 + } + seq++ + } + if err == io.EOF { + break + } + if err != nil { + return nil, fmt.Errorf("read http request body for streaming: %w", err) + } + } + } + + // Send StreamClose to mark the end of the request body. + closeEnv := &protocolpb.Envelope{ + Payload: &protocolpb.Envelope_StreamClose{ + StreamClose: &protocolpb.StreamClose{ + Id: streamID, + Error: "", + }, + }, + } + if err := t.send(closeEnv); err != nil { + log.Error("failed to send request stream_close on grpc tunnel", logging.Fields{ + "error": err.Error(), + }) + return nil, err + } + + // Receive reverse stream response (StreamOpen + StreamData* + StreamClose). + var ( + resp protocol.Response + bodyBuf bytes.Buffer + gotOpen bool + statusCode = http.StatusOK + ) + + resp.RequestID = streamID + resp.Header = make(map[string][]string) + + for { + select { + case <-ctx.Done(): + log.Error("context cancelled while waiting for response", logging.Fields{ + "error": ctx.Err().Error(), + }) + return nil, ctx.Err() + + case <-t.readerDone: + log.Error("grpc tunnel closed while waiting for response", nil) + return nil, fmt.Errorf("grpc tunnel closed") + + case env, ok := <-pending.respCh: + if !ok { + log.Error("grpc tunnel response channel closed unexpectedly", nil) + return nil, fmt.Errorf("grpc tunnel response channel closed") + } + + switch payload := env.Payload.(type) { + case *protocolpb.Envelope_StreamOpen: + so := payload.StreamOpen + if so == nil { + return nil, fmt.Errorf("stream_open response payload is nil") + } + statusStr := firstHeaderValueFromPB(so.Header, protocol.HeaderKeyStatus, strconv.Itoa(http.StatusOK)) + if sc, err := strconv.Atoi(statusStr); err == nil && sc > 0 { + statusCode = sc + } + for k, hv := range so.Header { + if k == protocol.HeaderKeyMethod || + k == protocol.HeaderKeyURL || + k == protocol.HeaderKeyHost || + k == protocol.HeaderKeyStatus { + continue + } + if hv == nil || len(hv.Values) == 0 { + continue + } + resp.Header[k] = append([]string(nil), hv.Values...) + } + gotOpen = true + + case *protocolpb.Envelope_StreamData: + sd := payload.StreamData + if sd == nil { + return nil, fmt.Errorf("stream_data response payload is nil") + } + if len(sd.Data) > 0 { + if _, err := bodyBuf.Write(sd.Data); err != nil { + return nil, fmt.Errorf("buffer stream_data response: %w", err) + } + } + + case *protocolpb.Envelope_StreamClose: + sc := payload.StreamClose + if sc == nil { + return nil, fmt.Errorf("stream_close response payload is nil") + } + // Complete the protocol.Response using collected headers/body. (en) + resp.Status = statusCode + resp.Body = bodyBuf.Bytes() + resp.Error = sc.Error + + log.Info("received stream http response over grpc tunnel", logging.Fields{ + "status": resp.Status, + "error": resp.Error, + }) + if !gotOpen { + return nil, fmt.Errorf("received stream_close without prior stream_open for stream %q", streamID) + } + return &resp, nil + + default: + return nil, fmt.Errorf("unexpected envelope payload type %T in stream response", env.Payload) + } + } + } +} + var ( sessionsMu sync.RWMutex sessionsByDomain = make(map[string]*dtlsSessionWrapper) ) +// grpcPendingRequest tracks a single HTTP request waiting for its response on a gRPC tunnel. (en) +type grpcPendingRequest struct { + streamID string + respCh chan *protocolpb.Envelope + doneCh chan struct{} +} + +// grpcTunnelSession represents a single long-lived gRPC tunnel (OpenTunnel stream) +// that can multiplex multiple HTTP requests by StreamID. (en) +type grpcTunnelSession struct { + stream protocolpb.HopGateTunnel_OpenTunnelServer + logger logging.Logger + + mu sync.Mutex + nextStreamID uint64 + pending map[string]*grpcPendingRequest + + readerDone chan struct{} + + sendMu sync.Mutex +} + +var ( + tunnelsMu sync.RWMutex + tunnelsByDomain = make(map[string]*grpcTunnelSession) +) + +func registerTunnelForDomain(domain string, sess *grpcTunnelSession, logger logging.Logger) string { + d := strings.ToLower(strings.TrimSpace(domain)) + if d == "" || sess == nil { + return "" + } + tunnelsMu.Lock() + tunnelsByDomain[d] = sess + tunnelsMu.Unlock() + + logger.Info("registered grpc tunnel for domain", logging.Fields{ + "domain": d, + }) + return d +} + +func unregisterTunnelForDomain(domain string, sess *grpcTunnelSession, logger logging.Logger) { + d := strings.ToLower(strings.TrimSpace(domain)) + if d == "" || sess == nil { + return + } + tunnelsMu.Lock() + cur := tunnelsByDomain[d] + if cur == sess { + delete(tunnelsByDomain, d) + } + tunnelsMu.Unlock() + + logger.Info("unregistered grpc tunnel for domain", logging.Fields{ + "domain": d, + }) +} + +func getTunnelForHost(host string) *grpcTunnelSession { + h := host + if i := strings.Index(h, ":"); i != -1 { + h = h[:i] + } + h = strings.ToLower(strings.TrimSpace(h)) + if h == "" { + return nil + } + tunnelsMu.RLock() + defer tunnelsMu.RUnlock() + return tunnelsByDomain[h] +} + +// statusRecorder 는 HTTP 응답 상태 코드를 캡처하기 위한 래퍼입니다. +// Prometheus 메트릭에서 status 라벨을 기록하는 데 사용합니다. // statusRecorder 는 HTTP 응답 상태 코드를 캡처하기 위한 래퍼입니다. // Prometheus 메트릭에서 status 라벨을 기록하는 데 사용합니다. type statusRecorder struct { @@ -413,6 +1242,118 @@ func (w *statusRecorder) WriteHeader(code int) { w.ResponseWriter.WriteHeader(code) } +// grpcTunnelServer 는 HopGate gRPC 터널 서비스(HopGateTunnel)의 서버 구현체입니다. (ko) +// grpcTunnelServer implements the HopGateTunnel gRPC service on the server side. (en) +type grpcTunnelServer struct { + protocolpb.UnimplementedHopGateTunnelServer + + logger logging.Logger + validator dtls.DomainValidator +} + +// newGRPCTunnelServer 는 gRPC 터널 서버 구현체를 생성합니다. (ko) +// newGRPCTunnelServer constructs a new gRPC tunnel server implementation. (en) +func newGRPCTunnelServer(logger logging.Logger, validator dtls.DomainValidator) *grpcTunnelServer { + baseLogger := logger + if baseLogger == nil { + baseLogger = logging.NewStdJSONLogger("grpc_tunnel") + } + return &grpcTunnelServer{ + logger: baseLogger.With(logging.Fields{ + "component": "grpc_tunnel", + }), + validator: validator, + } +} + +// OpenTunnel 은 클라이언트와 서버 간 장기 유지 bi-directional gRPC 스트림을 처리합니다. (ko) +// OpenTunnel handles the long-lived bi-directional gRPC stream between the +// server and a HopGate client. It performs an initial control-stream +// handshake (domain/API key validation), registers the tunnel for the +// authenticated domain, and runs a central receive loop for HTTP streams. (en) +func (s *grpcTunnelServer) OpenTunnel(stream protocolpb.HopGateTunnel_OpenTunnelServer) error { + ctx := stream.Context() + + // 원격 주소가 있으면 로그 필드에 추가합니다. (ko) + // Attach remote address from the peer info to log fields when available. (en) + fields := logging.Fields{} + if p, ok := peer.FromContext(ctx); ok && p.Addr != nil { + fields["remote_addr"] = p.Addr.String() + } + + log := s.logger.With(fields) + log.Info("grpc tunnel opened", nil) + defer log.Info("grpc tunnel closed", nil) + + // 1) 초기 control StreamOpen(id="control-0") 을 수신하여 핸드셰이크를 수행합니다. (ko) + // 1) Receive initial control StreamOpen (id="control-0") and perform handshake. (en) + env, err := stream.Recv() + if err != nil { + if err == io.EOF { + log.Warn("grpc tunnel closed before sending control stream_open", nil) + return status.Error(codes.InvalidArgument, "missing initial control stream_open") + } + log.Error("failed to receive initial control stream_open", logging.Fields{ + "error": err.Error(), + }) + return err + } + + soPayload, ok := env.Payload.(*protocolpb.Envelope_StreamOpen) + if !ok || soPayload.StreamOpen == nil { + log.Error("first envelope on grpc tunnel is not stream_open", logging.Fields{ + "payload_type": fmt.Sprintf("%T", env.Payload), + }) + return status.Error(codes.InvalidArgument, "first envelope on tunnel must be control stream_open") + } + + control := soPayload.StreamOpen + controlID := strings.TrimSpace(control.Id) + + headers := control.Header + domain := firstHeaderValueFromPB(headers, "X-HopGate-Domain", "") + apiKey := firstHeaderValueFromPB(headers, "X-HopGate-API-Key", "") + localTarget := firstHeaderValueFromPB(headers, "X-HopGate-Local-Target", "") + + if domain == "" || apiKey == "" { + log.Warn("grpc tunnel control stream missing domain or api key", logging.Fields{ + "control_id": controlID, + }) + return status.Error(codes.Unauthenticated, "missing domain or api key on control stream_open") + } + + // Validate (domain, api_key) using the shared domain validator. + if s.validator != nil { + if err := s.validator.ValidateDomainAPIKey(ctx, domain, apiKey); err != nil { + log.Warn("grpc tunnel domain/api_key validation failed", logging.Fields{ + "domain": domain, + "error": err.Error(), + }) + return status.Error(codes.PermissionDenied, "invalid domain or api key") + } + } + + log.Info("grpc tunnel handshake succeeded", logging.Fields{ + "domain": domain, + "local_target": localTarget, + "control_id": controlID, + }) + + // Register this tunnel session for the authenticated domain. + sessionLogger := s.logger.With(logging.Fields{ + "domain": domain, + }) + tunnel := newGRPCTunnelSession(stream, sessionLogger) + normalizedDomain := registerTunnelForDomain(domain, tunnel, s.logger) + defer unregisterTunnelForDomain(normalizedDomain, tunnel, s.logger) + + // 2) 이후 수신되는 StreamOpen/StreamData/StreamClose 는 grpcTunnelSession.recvLoop 에서 + // HTTP 요청별로 demux 됩니다. (ko) + // 2) Subsequent StreamOpen/StreamData/StreamClose frames are demultiplexed per + // HTTP request by grpcTunnelSession.recvLoop. (en) + return tunnel.recvLoop() +} + // hopGateOwnedHeaders 는 HopGate 서버가 스스로 관리하는 응답 헤더 목록입니다. (ko) // hopGateOwnedHeaders lists response headers that are owned by the HopGate server. (en) var hopGateOwnedHeaders = map[string]struct{}{ @@ -493,12 +1434,41 @@ func hostDomainHandler(allowedDomain string, logger logging.Logger, next http.Ha }) } +// grpcOrHTTPHandler 는 단일 HTTPS 포트에서 gRPC(OpenTunnel)와 일반 HTTP 요청을 +// Content-Type 및 프로토콜(HTTP/2) 기준으로 라우팅하는 헬퍼입니다. (ko) +// grpcOrHTTPHandler routes between gRPC (OpenTunnel) and regular HTTP handlers +// on a single HTTPS port, based on Content-Type and protocol (HTTP/2). (en) +func grpcOrHTTPHandler(grpcServer *grpc.Server, httpHandler http.Handler) http.Handler { + return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { + + // gRPC 요청은 HTTP/2 + Content-Type: application/grpc 조합으로 들어옵니다. (ko) + // gRPC requests arrive as HTTP/2 with Content-Type: application/grpc. (en) + if r.ProtoMajor == 2 && strings.Contains(r.Header.Get("Content-Type"), "application/grpc") { + grpcServer.ServeHTTP(w, r) + return + } + httpHandler.ServeHTTP(w, r) + }) +} + func registerSessionForDomain(domain string, sess dtls.Session, logger logging.Logger) { d := strings.ToLower(strings.TrimSpace(domain)) if d == "" { return } - w := &dtlsSessionWrapper{sess: sess} + w := &dtlsSessionWrapper{ + sess: sess, + bufferedReader: bufio.NewReaderSize(sess, protocol.GetDTLSReadBufferSize()), + codec: protocol.DefaultCodec, + logger: logger.With(logging.Fields{"component": "dtls_session_wrapper", "domain": d}), + pending: make(map[protocol.StreamID]*pendingRequest), + readerDone: make(chan struct{}), + streamSenders: make(map[protocol.StreamID]*streamSender), + } + + // Start background reader goroutine to demultiplex incoming responses + go w.readLoop() + sessionsMu.Lock() sessionsByDomain[d] = w sessionsMu.Unlock() @@ -625,8 +1595,10 @@ func newHTTPHandler(logger logging.Logger, proxyTimeout time.Duration) http.Hand return } - // 2. 일반 HTTP 요청은 DTLS 를 통해 클라이언트로 포워딩 - // 간단한 서비스 이름 결정: 우선 "web" 고정, 추후 Router 도입 시 개선. + // 2. 일반 HTTP 요청은 활성 gRPC 터널을 통해 클라이언트로 포워딩합니다. (ko) + // 2. Regular HTTP requests are forwarded to clients over active gRPC tunnels. (en) + // 간단한 서비스 이름 결정: 우선 "web" 고정, 추후 Router 도입 시 개선. (ko) + // For now, use a fixed logical service name "web"; this can be improved with a Router later. (en) serviceName := "web" // Host 헤더에서 포트를 제거하고 소문자로 정규화합니다. @@ -649,14 +1621,14 @@ func newHTTPHandler(logger logging.Logger, proxyTimeout time.Duration) http.Hand return } - sessWrapper := getSessionForHost(hostLower) - if sessWrapper == nil { - log.Warn("no dtls session for host", logging.Fields{ + tunnel := getTunnelForHost(hostLower) + if tunnel == nil { + log.Warn("no tunnel for host", logging.Fields{ "host": r.Host, }) - observability.ProxyErrorsTotal.WithLabelValues("no_dtls_session").Inc() - // 등록되지 않았거나 활성 세션이 없는 도메인으로의 요청은 404 로 응답합니다. (ko) - // Requests for hosts without an active DTLS session return 404. (en) + observability.ProxyErrorsTotal.WithLabelValues("no_tunnel_session").Inc() + // 등록되지 않았거나 활성 터널이 없는 도메인으로의 요청은 404 로 응답합니다. (ko) + // Requests for hosts without an active tunnel return 404. (en) writeErrorPage(sr, r, http.StatusNotFound) return } @@ -684,14 +1656,15 @@ func newHTTPHandler(logger logging.Logger, proxyTimeout time.Duration) http.Hand } } - // r.Body 는 ForwardHTTP 내에서 읽고 닫지 않으므로 여기서 닫기 + // r.Body 는 ForwardHTTP 내에서 읽고 닫지 않으므로 여기서 닫기 (ko) + // r.Body is consumed inside ForwardHTTP; ensure it is closed here. (en) defer r.Body.Close() - // 서버 측에서 DTLS → 클라이언트 → 로컬 서비스까지의 전체 왕복 시간을 제한하기 위해 + // 서버 측에서 gRPC 터널 → 클라이언트 → 로컬 서비스까지의 전체 왕복 시간을 제한하기 위해 // 요청 컨텍스트에 타임아웃을 적용합니다. 기본값은 15초이며, // HOP_SERVER_PROXY_TIMEOUT_SECONDS 로 재정의할 수 있습니다. (ko) // Apply an overall timeout (default 15s, configurable via - // HOP_SERVER_PROXY_TIMEOUT_SECONDS) to the DTLS forward path so that + // HOP_SERVER_PROXY_TIMEOUT_SECONDS) to the tunnel forward path so that // excessively slow backends surface as gateway timeouts. (en) ctx := r.Context() if proxyTimeout > 0 { @@ -712,7 +1685,7 @@ func newHTTPHandler(logger logging.Logger, proxyTimeout time.Duration) http.Hand // Context cancelled, do not proceed. return default: - resp, err := sessWrapper.ForwardHTTP(ctx, logger, r, serviceName) + resp, err := tunnel.ForwardHTTP(ctx, logger, r, serviceName) resultCh <- forwardResult{resp: resp, err: err} } }() @@ -721,20 +1694,20 @@ func newHTTPHandler(logger logging.Logger, proxyTimeout time.Duration) http.Hand select { case <-ctx.Done(): - log.Error("forward over dtls timed out", logging.Fields{ + log.Error("forward over tunnel timed out", logging.Fields{ "timeout_seconds": int64(proxyTimeout.Seconds()), "error": ctx.Err().Error(), }) - observability.ProxyErrorsTotal.WithLabelValues("dtls_forward_timeout").Inc() + observability.ProxyErrorsTotal.WithLabelValues("tunnel_forward_timeout").Inc() writeErrorPage(sr, r, errorpages.StatusGatewayTimeout) return case res := <-resultCh: if res.err != nil { - log.Error("forward over dtls failed", logging.Fields{ + log.Error("forward over tunnel failed", logging.Fields{ "error": res.err.Error(), }) - observability.ProxyErrorsTotal.WithLabelValues("dtls_forward_failed").Inc() + observability.ProxyErrorsTotal.WithLabelValues("tunnel_forward_failed").Inc() writeErrorPage(sr, r, errorpages.StatusTLSHandshakeFailed) return } @@ -815,6 +1788,7 @@ func main() { logger.Info("hop-gate server starting", logging.Fields{ "stack": "prometheus-loki-grafana", + "version": version, "http_listen": cfg.HTTPListen, "https_listen": cfg.HTTPSListen, "dtls_listen": cfg.DTLSListen, @@ -850,6 +1824,10 @@ func main() { }) } + // gRPC 터널 핸드셰이크에서 사용할 도메인 검증기 구성. (ko) + // Construct domain validator to be used by the gRPC tunnel handshake. (en) + domainValidator := admin.NewEntDomainValidator(logger, dbClient) + // 3. TLS 설정: ACME(lego)로 인증서를 관리하고, Debug 모드에서는 DTLS에는 self-signed 를 사용하되 // ACME 는 항상 시도하되 Staging 모드로 동작하도록 합니다. // 3. TLS setup: manage certificates via ACME (lego); in debug mode DTLS uses self-signed @@ -963,23 +1941,6 @@ func main() { } } - // 4. DTLS 서버 리스너 생성 (pion/dtls 기반) - dtlsServer, err := dtls.NewPionServer(dtls.PionServerConfig{ - Addr: cfg.DTLSListen, - TLSConfig: dtlsTLSConfig, - }) - if err != nil { - logger.Error("failed to start dtls server", logging.Fields{ - "error": err.Error(), - }) - os.Exit(1) - } - defer dtlsServer.Close() - - logger.Info("dtls server listening", logging.Fields{ - "addr": cfg.DTLSListen, - }) - // 5. HTTP / HTTPS 서버 시작 // 프록시 타임아웃은 HOP_SERVER_PROXY_TIMEOUT_SECONDS(초 단위) 로 설정할 수 있으며, // 기본값은 15초입니다. (ko) @@ -1057,6 +2018,11 @@ func main() { // 기본 HTTP → DTLS Proxy 엔트리 포인트 httpMux.Handle("/", httpHandler) + // gRPC server for client tunnels (OpenTunnel). (en) + // 클라이언트 터널(OpenTunnel)을 처리하는 gRPC 서버 인스턴스를 생성합니다. (ko) + grpcSrv := grpc.NewServer() + protocolpb.RegisterHopGateTunnelServer(grpcSrv, newGRPCTunnelServer(logger, domainValidator)) + // HTTP: 평문 포트 httpSrv := &http.Server{ Addr: cfg.HTTPListen, @@ -1074,9 +2040,15 @@ func main() { }() // HTTPS: ACME 기반 TLS 사용 (debug 모드에서도 ACME tls config 사용 가능) + // gRPC(OpenTunnel)을 위해 HTTP/2(h2)가 활성화되어 있어야 합니다. (ko) + // HTTP/2 (h2) must be enabled for gRPC (OpenTunnel) over TLS. (en) + if len(acmeTLSCfg.NextProtos) == 0 { + acmeTLSCfg.NextProtos = []string{"h2", "http/1.1"} + } + httpsSrv := &http.Server{ Addr: cfg.HTTPSListen, - Handler: httpMux, + Handler: grpcOrHTTPHandler(grpcSrv, httpMux), TLSConfig: acmeTLSCfg, } go func() { @@ -1090,89 +2062,7 @@ func main() { } }() - // 6. 도메인 검증기 준비 (ent + PostgreSQL 기반 실제 구현) - // Admin Plane 에서 관리하는 Domain 테이블을 사용해 (domain, client_api_key) 조합을 검증합니다. - domainValidator := admin.NewEntDomainValidator(logger, dbClient) - - // DTLS 핸드셰이크 단계에서는 클라이언트가 제시한 도메인의 DNS(A/AAAA)가 - // HOP_ACME_EXPECT_IPS 에 설정된 IP들 중 하나 이상을 가리키는지 추가로 검증합니다. (ko) - // During DTLS handshake, additionally verify that the presented domain resolves - // (via A/AAAA) to at least one IP configured in HOP_ACME_EXPECT_IPS. (en) - // EXPECT_IPS 가 비어 있으면 DNS 기반 검증은 생략하고 DB 검증만 수행합니다. (ko) - // If EXPECT_IPS is empty, only DB-based validation is performed. (en) - expectedHandshakeIPs := parseExpectedIPsFromEnv(logger, "HOP_ACME_EXPECT_IPS") - var validator dtls.DomainValidator = &domainGateValidator{ - expectedIPs: expectedHandshakeIPs, - inner: domainValidator, - logger: logger, - } - - // 7. DTLS Accept 루프 + Handshake - for { - sess, err := dtlsServer.Accept() - if err != nil { - logger.Error("dtls accept failed", logging.Fields{ - "error": err.Error(), - }) - continue - } - - // 각 세션별로 goroutine 에서 핸드셰이크 및 후속 처리를 수행합니다. - go func(s dtls.Session) { - // NOTE: 세션은 HTTP↔DTLS 터널링에 계속 사용해야 하므로 이곳에서 Close 하지 않습니다. - // 세션 종료/타임아웃 관리는 별도의 세션 매니저(TODO)에서 담당해야 합니다. - hsRes, err := dtls.PerformServerHandshake(ctx, s, validator, logger) - if err != nil { - // 핸드셰이크 실패 메트릭 기록 - observability.DTLSHandshakesTotal.WithLabelValues("failure").Inc() - - // PerformServerHandshake 내부에서 이미 상세 로그를 남기므로 여기서는 요약만 기록합니다. - logger.Warn("dtls handshake failed", logging.Fields{ - "session_id": s.ID(), - "error": err.Error(), - }) - // 핸드셰이크 실패 시 세션을 명시적으로 종료하여 invalid SNI 등 오류에서 - // 연결이 열린 채로 남지 않도록 합니다. - _ = s.Close() - return - } - - // Handshake 성공 메트릭 기록 - observability.DTLSHandshakesTotal.WithLabelValues("success").Inc() - - // Handshake 성공: 서버 측은 어떤 도메인이 연결되었는지 알 수 있습니다. - logger.Info("dtls handshake completed", logging.Fields{ - "session_id": s.ID(), - "domain": hsRes.Domain, - }) - - // Handshake 가 완료된 세션을 도메인에 매핑해 HTTP 요청 시 사용할 수 있도록 등록합니다. - registerSessionForDomain(hsRes.Domain, s, logger) - - // Handshake 가 정상적으로 끝난 이후, 실제로 해당 도메인에 대해 ACME 인증서를 확보/연장합니다. - // Debug 모드에서도 ACME 는 항상 시도하지만, 위에서 HOP_ACME_USE_STAGING=true 로 설정되어 - // Staging CA 를 사용하게 됩니다. - if hsRes.Domain != "" { - go func(domain string) { - acmeLogger := logger.With(logging.Fields{ - "component": "acme_post_handshake", - "domain": domain, - "debug": cfg.Debug, - }) - if _, err := acme.NewLegoManagerFromEnv(context.Background(), acmeLogger, []string{domain}); err != nil { - acmeLogger.Error("failed to ensure acme certificate after dtls handshake", logging.Fields{ - "error": err.Error(), - }) - return - } - acmeLogger.Info("acme certificate ensured after dtls handshake", nil) - }(hsRes.Domain) - } - - // TODO: - // - hsRes.Domain 과 연결된 세션을 proxy 레이어에 등록 - // - HTTP 요청을 이 세션을 통해 해당 클라이언트로 라우팅 - // - 세션 생명주기/타임아웃 관리 등 - }(sess) - } + // DTLS 레이어 제거 이후에는 gRPC 및 HTTP/HTTPS 서버 goroutine 만 유지합니다. (ko) + // After removing the DTLS layer, only the gRPC and HTTP/HTTPS servers are kept running. (en) + select {} } diff --git a/docker-compose.yml b/docker-compose.yml index 7cb95fd..e1c7639 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -27,7 +27,6 @@ services: # 외부 80/443 → 컨테이너 8080/8443 매핑 (예: .env.example 기준) - "80:80" # HTTP - "443:443" # HTTPS (TCP) - - "443:443/udp" # DTLS (UDP) volumes: # ACME 인증서/계정 캐시 디렉터리 (호스트에 지속 보관) diff --git a/go.mod b/go.mod index d6ee597..3e160e1 100644 --- a/go.mod +++ b/go.mod @@ -7,9 +7,10 @@ require ( github.com/go-acme/lego/v4 v4.28.1 github.com/google/uuid v1.6.0 github.com/lib/pq v1.10.9 - github.com/pion/dtls/v3 v3.0.7 github.com/prometheus/client_golang v1.19.0 golang.org/x/net v0.47.0 + google.golang.org/grpc v1.76.0 + google.golang.org/protobuf v1.36.10 ) require ( @@ -19,15 +20,13 @@ require ( github.com/beorn7/perks v1.0.1 // indirect github.com/bmatcuk/doublestar v1.3.4 // indirect github.com/cenkalti/backoff/v5 v5.0.3 // indirect - github.com/cespare/xxhash/v2 v2.2.0 // indirect + github.com/cespare/xxhash/v2 v2.3.0 // indirect github.com/go-jose/go-jose/v4 v4.1.3 // indirect github.com/go-openapi/inflect v0.19.0 // indirect github.com/google/go-cmp v0.7.0 // indirect github.com/hashicorp/hcl/v2 v2.18.1 // indirect github.com/miekg/dns v1.1.68 // indirect github.com/mitchellh/go-wordwrap v1.0.1 // indirect - github.com/pion/logging v0.2.4 // indirect - github.com/pion/transport/v3 v3.0.7 // indirect github.com/prometheus/client_model v0.5.0 // indirect github.com/prometheus/common v0.48.0 // indirect github.com/prometheus/procfs v0.12.0 // indirect @@ -40,5 +39,5 @@ require ( golang.org/x/sys v0.38.0 // indirect golang.org/x/text v0.31.0 // indirect golang.org/x/tools v0.38.0 // indirect - google.golang.org/protobuf v1.36.10 // indirect + google.golang.org/genproto/googleapis/rpc v0.0.0-20251022142026-3a174f9686a8 // indirect ) diff --git a/go.sum b/go.sum index 2c9b84c..e1ca9b7 100644 --- a/go.sum +++ b/go.sum @@ -14,26 +14,30 @@ github.com/bmatcuk/doublestar v1.3.4 h1:gPypJ5xD31uhX6Tf54sDPUOBXTqKH4c9aPY66CyQ github.com/bmatcuk/doublestar v1.3.4/go.mod h1:wiQtGV+rzVYxB7WIlirSN++5HPtPlXEo9MEoZQC/PmE= github.com/cenkalti/backoff/v5 v5.0.3 h1:ZN+IMa753KfX5hd8vVaMixjnqRZ3y8CuJKRKj1xcsSM= github.com/cenkalti/backoff/v5 v5.0.3/go.mod h1:rkhZdG3JZukswDf7f0cwqPNk4K0sa+F97BxZthm/crw= -github.com/cespare/xxhash/v2 v2.2.0 h1:DC2CZ1Ep5Y4k3ZQ899DldepgrayRUGE6BBZ/cd9Cj44= -github.com/cespare/xxhash/v2 v2.2.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= +github.com/cespare/xxhash/v2 v2.3.0 h1:UL815xU9SqsFlibzuggzjXhog7bL6oX9BbNZnL2UFvs= +github.com/cespare/xxhash/v2 v2.3.0/go.mod h1:VGX0DQ3Q6kWi7AoAeZDth3/j3BFtOZR5XLFGgcrjCOs= github.com/davecgh/go-spew v1.1.2-0.20180830191138-d8f796af33cc h1:U9qPSI2PIWSS1VwoXQT9A3Wy9MM3WgvqSxFWenqJduM= github.com/davecgh/go-spew v1.1.2-0.20180830191138-d8f796af33cc/go.mod h1:J7Y8YcW2NihsgmVo/mv3lAwl/skON4iLHjSsI+c5H38= github.com/go-acme/lego/v4 v4.28.1 h1:zt301JYF51UIEkpSXsdeGq9hRePeFzQCq070OdAmP0Q= github.com/go-acme/lego/v4 v4.28.1/go.mod h1:bzjilr03IgbaOwlH396hq5W56Bi0/uoRwW/JM8hP7m4= github.com/go-jose/go-jose/v4 v4.1.3 h1:CVLmWDhDVRa6Mi/IgCgaopNosCaHz7zrMeF9MlZRkrs= github.com/go-jose/go-jose/v4 v4.1.3/go.mod h1:x4oUasVrzR7071A4TnHLGSPpNOm2a21K9Kf04k1rs08= +github.com/go-logr/logr v1.4.3 h1:CjnDlHq8ikf6E492q6eKboGOC0T8CDaOvkHCIg8idEI= +github.com/go-logr/logr v1.4.3/go.mod h1:9T104GzyrTigFIr8wt5mBrctHMim0Nb2HLGrmQ40KvY= +github.com/go-logr/stdr v1.2.2 h1:hSWxHoqTgW2S2qGc0LTAI563KZ5YKYRhT3MFKZMbjag= +github.com/go-logr/stdr v1.2.2/go.mod h1:mMo/vtBO5dYbehREoey6XUKy/eSumjCCveDpRre4VKE= github.com/go-openapi/inflect v0.19.0 h1:9jCH9scKIbHeV9m12SmPilScz6krDxKRasNNSNPXu/4= github.com/go-openapi/inflect v0.19.0/go.mod h1:lHpZVlpIQqLyKwJ4N+YSc9hchQy/i12fJykb83CRBH4= github.com/go-test/deep v1.0.3 h1:ZrJSEWsXzPOxaZnFteGEfooLba+ju3FYIbOrS+rQd68= github.com/go-test/deep v1.0.3/go.mod h1:wGDj63lr65AM2AQyKZd/NYHGb0R+1RLqB8NKt3aSFNA= +github.com/golang/protobuf v1.5.4 h1:i7eJL8qZTpSEXOPTxNKhASYpMn+8e5Q6AdndVa1dWek= +github.com/golang/protobuf v1.5.4/go.mod h1:lnTiLA8Wa4RWRcIUkrtSVa5nRhsEGBg48fD6rSs7xps= github.com/google/go-cmp v0.7.0 h1:wk8382ETsv4JYUZwIsn6YpYiWiBsYLSJiTsyBybVuN8= github.com/google/go-cmp v0.7.0/go.mod h1:pXiqmnSA92OHEEa9HXL2W4E7lf9JzCmGVUdgjX3N/iU= github.com/google/uuid v1.6.0 h1:NIvaJDMOsjHA8n1jAhLSgzrAzy1Hgr+hNrb57e+94F0= github.com/google/uuid v1.6.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo= github.com/hashicorp/hcl/v2 v2.18.1 h1:6nxnOJFku1EuSawSD81fuviYUV8DxFr3fp2dUi3ZYSo= github.com/hashicorp/hcl/v2 v2.18.1/go.mod h1:ThLC89FV4p9MPW804KVbe/cEXoQ8NZEh+JtMeeGErHE= -github.com/joho/godotenv v1.5.1 h1:7eLL/+HRGLY0ldzfGMeQkb7vMd0as4CfYvUVzLqw0N0= -github.com/joho/godotenv v1.5.1/go.mod h1:f4LDr5Voq0i2e/R5DDNOoa2zzDfwtkZa6DnEwAbqwq4= github.com/kr/pretty v0.3.1 h1:flRD4NNwYAUpkphVc1HcthR4KEIFJ65n8Mw5qdRn3LE= github.com/kr/pretty v0.3.1/go.mod h1:hoEshYVHaxMs3cyo3Yncou5ZscifuDolrwPKZanG3xk= github.com/kr/text v0.2.0 h1:5Nx0Ya0ZqY2ygV366QzturHI13Jq95ApcVaJBhpS+AY= @@ -48,12 +52,6 @@ github.com/miekg/dns v1.1.68 h1:jsSRkNozw7G/mnmXULynzMNIsgY2dHC8LO6U6Ij2JEA= github.com/miekg/dns v1.1.68/go.mod h1:fujopn7TB3Pu3JM69XaawiU0wqjpL9/8xGop5UrTPps= github.com/mitchellh/go-wordwrap v1.0.1 h1:TLuKupo69TCn6TQSyGxwI1EblZZEsQ0vMlAFQflz0v0= github.com/mitchellh/go-wordwrap v1.0.1/go.mod h1:R62XHJLzvMFRBbcrT7m7WgmE1eOyTSsCt+hzestvNj0= -github.com/pion/dtls/v3 v3.0.7 h1:bItXtTYYhZwkPFk4t1n3Kkf5TDrfj6+4wG+CZR8uI9Q= -github.com/pion/dtls/v3 v3.0.7/go.mod h1:uDlH5VPrgOQIw59irKYkMudSFprY9IEFCqz/eTz16f8= -github.com/pion/logging v0.2.4 h1:tTew+7cmQ+Mc1pTBLKH2puKsOvhm32dROumOZ655zB8= -github.com/pion/logging v0.2.4/go.mod h1:DffhXTKYdNZU+KtJ5pyQDjvOAh/GsNSyv1lbkFbe3so= -github.com/pion/transport/v3 v3.0.7 h1:iRbMH05BzSNwhILHoBoAPxoB9xQgOaJk+591KC9P1o0= -github.com/pion/transport/v3 v3.0.7/go.mod h1:YleKiTZ4vqNxVwh77Z0zytYi7rXHl7j6uPLGhhz9rwo= github.com/pmezard/go-difflib v1.0.1-0.20181226105442-5d4384ee4fb2 h1:Jamvg5psRIccs7FGNTlIRMkT8wgtp5eCXdBlqhYGL6U= github.com/pmezard/go-difflib v1.0.1-0.20181226105442-5d4384ee4fb2/go.mod h1:iKH77koFhYxTK1pcRnkKkqfTogsbg7gZNVY4sRDYZ/4= github.com/prometheus/client_golang v1.19.0 h1:ygXvpU1AoN1MhdzckN+PyD9QJOSD4x7kmXYlnfbA6JU= @@ -74,6 +72,18 @@ github.com/zclconf/go-cty v1.14.4 h1:uXXczd9QDGsgu0i/QFR/hzI5NYCHLf6NQw/atrbnhq8 github.com/zclconf/go-cty v1.14.4/go.mod h1:VvMs5i0vgZdhYawQNq5kePSpLAoz8u1xvZgrPIxfnZE= github.com/zclconf/go-cty-yaml v1.1.0 h1:nP+jp0qPHv2IhUVqmQSzjvqAWcObN0KBkUl2rWBdig0= github.com/zclconf/go-cty-yaml v1.1.0/go.mod h1:9YLUH4g7lOhVWqUbctnVlZ5KLpg7JAprQNgxSZ1Gyxs= +go.opentelemetry.io/auto/sdk v1.1.0 h1:cH53jehLUN6UFLY71z+NDOiNJqDdPRaXzTel0sJySYA= +go.opentelemetry.io/auto/sdk v1.1.0/go.mod h1:3wSPjt5PWp2RhlCcmmOial7AvC4DQqZb7a7wCow3W8A= +go.opentelemetry.io/otel v1.37.0 h1:9zhNfelUvx0KBfu/gb+ZgeAfAgtWrfHJZcAqFC228wQ= +go.opentelemetry.io/otel v1.37.0/go.mod h1:ehE/umFRLnuLa/vSccNq9oS1ErUlkkK71gMcN34UG8I= +go.opentelemetry.io/otel/metric v1.37.0 h1:mvwbQS5m0tbmqML4NqK+e3aDiO02vsf/WgbsdpcPoZE= +go.opentelemetry.io/otel/metric v1.37.0/go.mod h1:04wGrZurHYKOc+RKeye86GwKiTb9FKm1WHtO+4EVr2E= +go.opentelemetry.io/otel/sdk v1.37.0 h1:ItB0QUqnjesGRvNcmAcU0LyvkVyGJ2xftD29bWdDvKI= +go.opentelemetry.io/otel/sdk v1.37.0/go.mod h1:VredYzxUvuo2q3WRcDnKDjbdvmO0sCzOvVAiY+yUkAg= +go.opentelemetry.io/otel/sdk/metric v1.37.0 h1:90lI228XrB9jCMuSdA0673aubgRobVZFhbjxHHspCPc= +go.opentelemetry.io/otel/sdk/metric v1.37.0/go.mod h1:cNen4ZWfiD37l5NhS+Keb5RXVWZWpRE+9WyVCpbo5ps= +go.opentelemetry.io/otel/trace v1.37.0 h1:HLdcFNbRQBE2imdSEgm/kwqmQj1Or1l/7bW6mxVK7z4= +go.opentelemetry.io/otel/trace v1.37.0/go.mod h1:TlgrlQ+PtQO5XFerSPUYG0JSgGyryXewPGyayAWSBS0= golang.org/x/crypto v0.45.0 h1:jMBrvKuj23MTlT0bQEOBcAE0mjg8mK9RXFhRH6nyF3Q= golang.org/x/crypto v0.45.0/go.mod h1:XTGrrkGJve7CYK7J8PEww4aY7gM3qMCElcJQ8n8JdX4= golang.org/x/mod v0.29.0 h1:HV8lRxZC4l2cr3Zq1LvtOsi/ThTgWnUk/y64QSs8GwA= @@ -88,6 +98,12 @@ golang.org/x/text v0.31.0 h1:aC8ghyu4JhP8VojJ2lEHBnochRno1sgL6nEi9WGFGMM= golang.org/x/text v0.31.0/go.mod h1:tKRAlv61yKIjGGHX/4tP1LTbc13YSec1pxVEWXzfoeM= golang.org/x/tools v0.38.0 h1:Hx2Xv8hISq8Lm16jvBZ2VQf+RLmbd7wVUsALibYI/IQ= golang.org/x/tools v0.38.0/go.mod h1:yEsQ/d/YK8cjh0L6rZlY8tgtlKiBNTL14pGDJPJpYQs= +gonum.org/v1/gonum v0.16.0 h1:5+ul4Swaf3ESvrOnidPp4GZbzf0mxVQpDCYUQE7OJfk= +gonum.org/v1/gonum v0.16.0/go.mod h1:fef3am4MQ93R2HHpKnLk4/Tbh/s0+wqD5nfa6Pnwy4E= +google.golang.org/genproto/googleapis/rpc v0.0.0-20251022142026-3a174f9686a8 h1:M1rk8KBnUsBDg1oPGHNCxG4vc1f49epmTO7xscSajMk= +google.golang.org/genproto/googleapis/rpc v0.0.0-20251022142026-3a174f9686a8/go.mod h1:7i2o+ce6H/6BluujYR+kqX3GKH+dChPTQU19wjRPiGk= +google.golang.org/grpc v1.76.0 h1:UnVkv1+uMLYXoIz6o7chp59WfQUYA2ex/BXQ9rHZu7A= +google.golang.org/grpc v1.76.0/go.mod h1:Ju12QI8M6iQJtbcsV+awF5a4hfJMLi4X0JLo94ULZ6c= google.golang.org/protobuf v1.36.10 h1:AYd7cD/uASjIL6Q9LiTjz8JLcrh/88q5UObnmY3aOOE= google.golang.org/protobuf v1.36.10/go.mod h1:HTf+CrKn2C3g5S8VImy6tdcUvCska2kB7j23XfzDpco= gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA= diff --git a/images/architecture.jpeg b/images/architecture.jpeg index c4a0c18..66a9247 100644 Binary files a/images/architecture.jpeg and b/images/architecture.jpeg differ diff --git a/images/architecture.prompt b/images/architecture.prompt index 47829ee..d520bb9 100644 --- a/images/architecture.prompt +++ b/images/architecture.prompt @@ -4,7 +4,7 @@ Please draw a clean, modern system architecture diagram for a project called "Ho === High-level concept === - HopGate is a reverse HTTP gateway. -- A single public server terminates HTTPS and DTLS, and tunnels HTTP traffic to multiple clients. +- A single public server terminates HTTPS and exposes a tunnel endpoint (gRPC/HTTP2) to tunnel HTTP traffic to multiple clients. - Each client runs in a private network and forwards HTTP requests to local services (127.0.0.1:PORT). === Main components to draw === @@ -19,8 +19,8 @@ Please draw a clean, modern system architecture diagram for a project called "Ho - Terminates TLS using ACME certificates for main and proxy domains. b. "HTTP Listener (TCP 80)" - Handles ACME HTTP-01 challenges and redirects HTTP to HTTPS. - c. "DTLS Listener (UDP 443 or 8443)" - - Terminates DTLS sessions from multiple clients. + c. "Tunnel Endpoint (gRPC)" + - gRPC/HTTP2 listener on the same HTTPS port (TCP 443) tunnel streams. d. "Admin API / Management Plane" - REST API base path: /api/v1/admin - Endpoints: @@ -31,8 +31,9 @@ Please draw a clean, modern system architecture diagram for a project called "Ho - Routes incoming HTTP(S) requests to the correct client based on domain and path. f. "ACME Certificate Manager" - Automatically issues and renews TLS certificates (Let's Encrypt). - g. "DTLS Session Manager" - - Manages DTLS connections and per-domain sessions with clients. + g. "Tunnel Session Manager" + - Manages tunnel connections and per-domain sessions with clients + (gRPC streams). h. "Metrics & Logging" - Structured JSON logs shipped to Prometheus / Loki / Grafana stack. @@ -50,35 +51,34 @@ Please draw a clean, modern system architecture diagram for a project called "Ho - Draw 2–3 separate client boxes to show that multiple clients can connect. - Each box titled "HopGate Client". - Inside each client box, show: - a. "DTLS Client" - - Connects to HopGate Server via DTLS. - - Performs handshake with: - - domain - - client_api_key + a. "Tunnel Client" + - gRPC client that opens a long-lived bi-directional gRPC stream over HTTPS (HTTP/2). b. "Client Proxy" - - Receives HTTP requests from the server over DTLS. + - Receives HTTP request frames from the server over the tunnel (gRPC stream). - Forwards them to local services such as: - 127.0.0.1:8080 (web) - - 127.0.0.1:9000 (admin) c. "Local Services" - A small group of boxes representing local HTTP servers. === Flows to highlight === 1) User HTTP Flow - - External user -> HTTPS Listener -> Reverse Proxy Core -> DTLS Session Manager -> Specific HopGate Client -> Local Service -> back through same path to the user. + - External user -> HTTPS Listener -> Reverse Proxy Core -> + gRPC Tunnel Endpoint -> specific HopGate Client (gRPC stream) -> Local Service -> + back through same path to the user. 2) Admin Flow - Administrator -> Admin API (with Bearer admin key) -> PostgreSQL + ent ORM: - Register domain + memo -> returns client_api_key. - Unregister domain + client_api_key. -3) DTLS Handshake Flow - - From client to server over DTLS: - - Client sends {domain, client_api_key}. - - Server validates against PostgreSQL Domain table. - - On success, both sides log: - - server: which domain is bound to the session. - - client: success message, bound domain, and local_target (local service address). +3) Tunnel Handshake / Session Establishment Flow + - v1: DTLS Handshake Flow (legacy) - (REMOVED) + - v2: gRPC Tunnel Establishment Flow: + - From client to server over HTTPS (HTTP/2): + - Client opens a long-lived bi-directional gRPC stream (e.g. OpenTunnel). + - First frame includes {domain, client_api_key} and client metadata. + - Server validates against PostgreSQL Domain table and associates the gRPC stream with that domain. + - Subsequent frames carry HTTP request/response metadata and body chunks. === Visual style === - Clean flat design, no 3D. @@ -93,4 +93,4 @@ Please draw a clean, modern system architecture diagram for a project called "Ho - Database near the server, - Multiple clients and their local services on the right or bottom. -Please output a single high-resolution architecture diagram that matches this description. \ No newline at end of file +Please output a single high-resolution architecture diagram that matches this description. diff --git a/internal/dtls/transport_pion.go b/internal/dtls/transport_pion.go index ae88c6c..cbe885d 100644 --- a/internal/dtls/transport_pion.go +++ b/internal/dtls/transport_pion.go @@ -1,218 +1,58 @@ package dtls import ( - "context" "crypto/tls" "fmt" - "net" "time" - - piondtls "github.com/pion/dtls/v3" ) -// pionSession 은 pion/dtls.Conn 을 감싸 Session 인터페이스를 구현합니다. -type pionSession struct { - conn *piondtls.Conn - id string -} - -func (s *pionSession) Read(b []byte) (int, error) { return s.conn.Read(b) } -func (s *pionSession) Write(b []byte) (int, error) { return s.conn.Write(b) } -func (s *pionSession) Close() error { return s.conn.Close() } -func (s *pionSession) ID() string { return s.id } - -// pionServer 는 pion/dtls 기반 Server 구현입니다. -type pionServer struct { - listener net.Listener -} - -// PionServerConfig 는 DTLS 서버 리스너 구성을 정의합니다. +// PionServerConfig 는 DTLS 서버 리스너 구성을 정의하는 기존 구조체를 그대로 유지합니다. (ko) +// PionServerConfig keeps the old DTLS server listener configuration shape for compatibility. (en) type PionServerConfig struct { - // Addr 는 "0.0.0.0:443" 와 같은 UDP 리스닝 주소입니다. - Addr string - - // TLSConfig 는 ACME 등을 통해 준비된 tls.Config 입니다. - // Certificates, RootCAs, ClientAuth 등의 설정이 여기서 넘어옵니다. - // nil 인 경우 기본 빈 tls.Config 가 사용됩니다. + Addr string TLSConfig *tls.Config } -// NewPionServer 는 pion/dtls 기반 DTLS 서버를 생성합니다. -// 내부적으로 udp 리스너를 열고, DTLS 핸드셰이크를 수행할 준비를 합니다. -func NewPionServer(cfg PionServerConfig) (Server, error) { - if cfg.Addr == "" { - return nil, fmt.Errorf("PionServerConfig.Addr is required") - } - if cfg.TLSConfig == nil { - cfg.TLSConfig = &tls.Config{ - MinVersion: tls.VersionTLS12, - } - } - - udpAddr, err := net.ResolveUDPAddr("udp", cfg.Addr) - if err != nil { - return nil, fmt.Errorf("resolve udp addr: %w", err) - } - - // tls.Config.GetCertificate (crypto/tls) → pion/dtls.GetCertificate 어댑터 - var getCert func(*piondtls.ClientHelloInfo) (*tls.Certificate, error) - if cfg.TLSConfig.GetCertificate != nil { - tlsGetCert := cfg.TLSConfig.GetCertificate - getCert = func(chi *piondtls.ClientHelloInfo) (*tls.Certificate, error) { - if chi == nil { - return tlsGetCert(&tls.ClientHelloInfo{}) - } - // ACME 매니저는 주로 SNI(ServerName)에 기반해 인증서를 선택하므로, - // 필요한 최소 필드만 복사해서 전달한다. - return tlsGetCert(&tls.ClientHelloInfo{ - ServerName: chi.ServerName, - }) - } - } - - dtlsCfg := &piondtls.Config{ - // 서버가 사용할 인증서 설정: 정적 Certificates + GetCertificate 어댑터 - Certificates: cfg.TLSConfig.Certificates, - GetCertificate: getCert, - InsecureSkipVerify: cfg.TLSConfig.InsecureSkipVerify, - ClientAuth: piondtls.ClientAuthType(cfg.TLSConfig.ClientAuth), - ClientCAs: cfg.TLSConfig.ClientCAs, - RootCAs: cfg.TLSConfig.RootCAs, - ServerName: cfg.TLSConfig.ServerName, - // 필요 시 ExtendedMasterSecret 등을 추가 설정 - } - l, err := piondtls.Listen("udp", udpAddr, dtlsCfg) - if err != nil { - return nil, fmt.Errorf("dtls listen: %w", err) - } - - return &pionServer{ - listener: l, - }, nil -} - -// Accept 는 새로운 DTLS 연결을 수락하고, Session 으로 래핑합니다. -func (s *pionServer) Accept() (Session, error) { - conn, err := s.listener.Accept() - if err != nil { - return nil, err - } - dtlsConn, ok := conn.(*piondtls.Conn) - if !ok { - _ = conn.Close() - return nil, fmt.Errorf("accepted connection is not *dtls.Conn") - } - - id := "" - if ra := dtlsConn.RemoteAddr(); ra != nil { - id = ra.String() - } - - return &pionSession{ - conn: dtlsConn, - id: id, - }, nil -} - -// Close 는 DTLS 리스너를 종료합니다. -func (s *pionServer) Close() error { - return s.listener.Close() -} - -// pionClient 는 pion/dtls 기반 Client 구현입니다. -type pionClient struct { - addr string - tlsConfig *tls.Config - timeout time.Duration -} - -// PionClientConfig 는 DTLS 클라이언트 구성을 정의합니다. +// PionClientConfig 는 DTLS 클라이언트 구성을 정의하는 기존 구조체를 그대로 유지합니다. (ko) +// PionClientConfig keeps the old DTLS client configuration shape for compatibility. (en) type PionClientConfig struct { - // Addr 는 서버의 UDP 주소 (예: "example.com:443") 입니다. - Addr string - - // TLSConfig 는 서버 인증에 사용할 tls.Config 입니다. - // InsecureSkipVerify=true 로 두면 서버 인증을 건너뛰므로 개발/테스트에만 사용해야 합니다. + Addr string TLSConfig *tls.Config - - // Timeout 은 DTLS 핸드셰이크 타임아웃입니다. - // 0 이면 기본값 10초가 사용됩니다. - Timeout time.Duration + Timeout time.Duration } -// NewPionClient 는 pion/dtls 기반 DTLS 클라이언트를 생성합니다. -func NewPionClient(cfg PionClientConfig) Client { - if cfg.Timeout == 0 { - cfg.Timeout = 10 * time.Second - } - if cfg.TLSConfig == nil { - // 기본값: 인증서 검증을 수행하는 안전한 설정(루트 CA 체인은 시스템 기본값 사용). - // 디버그 모드에서 인증서 검증을 스킵하고 싶다면, 호출 측에서 - // TLSConfig: &tls.Config{InsecureSkipVerify: true} 를 명시적으로 전달해야 합니다. - cfg.TLSConfig = &tls.Config{ - MinVersion: tls.VersionTLS12, - } - } - return &pionClient{ - addr: cfg.Addr, - tlsConfig: cfg.TLSConfig, - timeout: cfg.Timeout, - } +// disabledServer 는 DTLS 전송이 비활성화되었음을 나타내는 더미 구현입니다. (ko) +// disabledServer is a dummy Server implementation indicating that DTLS transport is disabled. (en) +type disabledServer struct{} + +func (s *disabledServer) Accept() (Session, error) { + return nil, fmt.Errorf("dtls transport is disabled; use gRPC tunnel instead") } -// Connect 는 서버와 DTLS 핸드셰이크를 수행하고 Session 을 반환합니다. -func (c *pionClient) Connect() (Session, error) { - if c.addr == "" { - return nil, fmt.Errorf("PionClientConfig.Addr is required") - } - - ctx, cancel := context.WithTimeout(context.Background(), c.timeout) - defer cancel() - - raddr, err := net.ResolveUDPAddr("udp", c.addr) - if err != nil { - return nil, fmt.Errorf("resolve udp addr: %w", err) - } - - dtlsCfg := &piondtls.Config{ - // 클라이언트는 서버 인증을 위해 RootCAs/ServerName 만 사용. - // (현재는 클라이언트 인증서 사용 계획이 없으므로 GetCertificate 는 전달하지 않는다.) - Certificates: c.tlsConfig.Certificates, - InsecureSkipVerify: c.tlsConfig.InsecureSkipVerify, - RootCAs: c.tlsConfig.RootCAs, - ServerName: c.tlsConfig.ServerName, - } - - type result struct { - conn *piondtls.Conn - err error - } - ch := make(chan result, 1) - - go func() { - conn, err := piondtls.Dial("udp", raddr, dtlsCfg) - ch <- result{conn: conn, err: err} - }() - - select { - case <-ctx.Done(): - return nil, fmt.Errorf("dtls dial timeout: %w", ctx.Err()) - case res := <-ch: - if res.err != nil { - return nil, fmt.Errorf("dtls dial: %w", res.err) - } - id := "" - if ra := res.conn.RemoteAddr(); ra != nil { - id = ra.String() - } - return &pionSession{ - conn: res.conn, - id: id, - }, nil - } -} - -// Close 는 클라이언트 단에서 유지하는 리소스가 없으므로 no-op 입니다. -func (c *pionClient) Close() error { +func (s *disabledServer) Close() error { return nil } + +// disabledClient 는 DTLS 전송이 비활성화되었음을 나타내는 더미 구현입니다. (ko) +// disabledClient is a dummy Client implementation indicating that DTLS transport is disabled. (en) +type disabledClient struct{} + +func (c *disabledClient) Connect() (Session, error) { + return nil, fmt.Errorf("dtls transport is disabled; use gRPC tunnel instead") +} + +func (c *disabledClient) Close() error { + return nil +} + +// NewPionServer 는 더 이상 실제 DTLS 서버를 생성하지 않고, 항상 에러를 반환합니다. (ko) +// NewPionServer no longer creates a real DTLS server and always returns an error. (en) +func NewPionServer(cfg PionServerConfig) (Server, error) { + return nil, fmt.Errorf("dtls transport is disabled; NewPionServer is no longer supported") +} + +// NewPionClient 는 더 이상 실제 DTLS 클라이언트를 생성하지 않고, disabledClient 를 반환합니다. (ko) +// NewPionClient no longer creates a real DTLS client and instead returns a disabledClient. (en) +func NewPionClient(cfg PionClientConfig) Client { + return &disabledClient{} +} diff --git a/internal/errorpages/assets/favicon.png b/internal/errorpages/assets/favicon.png new file mode 100644 index 0000000..e395e77 Binary files /dev/null and b/internal/errorpages/assets/favicon.png differ diff --git a/internal/errorpages/templates/400.html b/internal/errorpages/templates/400.html index d4d4fd7..e4e1b3a 100644 --- a/internal/errorpages/templates/400.html +++ b/internal/errorpages/templates/400.html @@ -6,6 +6,7 @@ +