使用 Ingress 访问 Dapr 应用
在 上一篇 文章中分享了分布式运行时 Dapr 的使用，在示例中将状态存储能力分离到 Dapr 运行时中，应用通过 Dapr API 来使用该能力。这篇文章将介绍如何通过 Ingress Controller（入口控制器）来访问 Dapr 应用。
方案
如何公开 Dapr 应用的访问，方案有两种：
- 像传统用法一样，配置应用的 Service 作为后端，由入口控制器直接将流量转发到应用容器，简单说就是支持自动配置的 L7 负载均衡器。
- 不直接访问应用容器，而是通过 Daprd 运行时来访问。这时，我们就需要将入口控制器也声明为 Dapr 应用，为其注入 Daprd 运行时容器。此时创建入口规则指向的后端，则是 Ingress 的 Dapr Service。
两种方案各有优劣，前者架构简单；后者虽然引入 Daprd 容器，架构复杂，消耗了更多的资源，但也因此可以使用 Dapr 的服务治理能力，如超时、重试、访问控制等等。
接下来我们将通过示例来分别验证两种方案。
演示
前置条件
- helm
- dapr cli
安装集群
export INSTALL_K3S_VERSION=v1.23.8+k3s2
curl -sfL https://get.k3s.io | sh -s - --disable traefik --write-kubeconfig-mode 644 --write-kubeconfig ~/.kube/config
安装 Dapr
dapr init --kubernetes --wait
安装入口控制器
这里使用 Flomesh 的入口控制器。通过 valus.yaml 为入口控制器添加 dapr 相关的注解。这里需要注意由于默认情况下 Daprd 运行时监听的端口是绑定在回环地址上的，而 Ingress 向后端转发请求时使用的是 Pod IP，因此需要注解 dapr.io/sidecar-listen-addresses: "[::],0.0.0.0" 让 Daprd 运行时可以接收来自 Pod IP 的请求。
# values.yaml
fsm:
ingress:
podAnnotations:
dapr.io/sidecar-listen-addresses: "[::],0.0.0.0"
dapr.io/enabled: "true"
dapr.io/app-id: "ingress"
dapr.io/app-port: "8000"
dapr.io/enable-api-logging: "true"
dapr.io/config: "ingressconfig"
helm repo add fsm https://charts.flomesh.io
helm repo update
helm install \
--namespace flomesh \
--create-namespace \
--version=0.2.1-alpha.3 \
-f values.yaml \
fsm fsm/fsm
部署示例应用
示例应用我们使用 kennethreitz/httpbin，为其添加 dapr 相关的注解。
kubectl create ns httpbin
kubectl apply -n httpbin -f - <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: httpbin
name: httpbin
spec:
replicas: 1
selector:
matchLabels:
app: httpbin
strategy: {}
template:
metadata:
annotations:
dapr.io/enabled: "true"
dapr.io/app-id: "httpbin"
dapr.io/app-port: "80"
dapr.io/enable-api-logging: "true"
dapr.io/config: "httpbinconfig"
labels:
app: httpbin
spec:
containers:
- image: kennethreitz/httpbin
name: httpbin
resources: {}
---
apiVersion: v1
kind: Service
metadata:
labels:
app: httpbin
name: httpbin
namespace: httpbin
spec:
ports:
- port: 80
protocol: TCP
targetPort: 80
selector:
app: httpbin
EOF
方案 1
参考 Flomesh Ingress 的 文档，创建入口规则使用 Service httpbin 作为后端。
kubectl apply -n httpbin -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: httpbin
annotations:
pipy.ingress.kubernetes.io/rewrite-target-from: ^/httpbin/?
pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
ingressClassName: pipy
rules:
- http:
paths:
- backend:
service:
name: httpbin
port:
number: 80
path: /httpbin
pathType: Prefix
EOF
使用主机 IP 地址和入口控制器的 80 端口来访问 /httpbin/get，由于上面配置了路径重写，最终请求 /get 将会被发送到目标 Pod。
curl HOST_IP:80/httpbin/get
{
"args": {},
"headers": {
"Accept": "*/*",
"Connection": "keep-alive",
"Content-Length": "0",
"Host": "10.0.0.13:80",
"User-Agent": "curl/7.86.0"
},
"origin": "10.42.0.18",
"url": "http://10.0.0.13:80/get"
}
方案 2
方案 2 也同样需要配置入口规则，只是这次后端服务配置的入口控制器的 Dapr Service，通过 kubectl get svc -n flomesh 就可以找到名字带有 -dapr 后缀的 Service。
kubectl apply -n flomesh -f - <<EOF
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: dapr
annotations:
pipy.ingress.kubernetes.io/rewrite-target-from: ^/dapr/?
pipy.ingress.kubernetes.io/rewrite-target-to: /
spec:
ingressClassName: pipy
rules:
- http:
paths:
- backend:
service:
name: ingress-dapr
port:
number: 80
path: /dapr
pathType: Prefix
EOF
仍然是访问 httpbin 的路径 /get，但是访问方式要遵循 Dapr 服务调用的 API：通过请求头指定 dapr-app-id 为 httpbin.httpbin。由于入口控制器和目标应用不在同一命名空间下，在应用 id 需要带上其命名空间。
同样是成功返回，但是可以看到最终应用收到请求头部会多了一些信息，这些信息都是来自 Daprd 运行时，比如 Dapr-Caller-App-Id、"Dapr-Callee-App-Id 标识表示请求的发起方和接收方；Forwarded 标识了发起请求的主机名。如果开启了 tracing，还会有链路相关的信息（本示例中并未开启）。
curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip",
"Connection": "keep-alive",
"Dapr-App-Id": "httpbin.httpbin",
"Dapr-Callee-App-Id": "httpbin",
"Dapr-Caller-App-Id": "ingress",
"Forwarded": "for=10.42.0.18;by=10.42.0.18;host=fsm-ingress-pipy-864d8d9c76-4kb7r",
"Host": "127.0.0.1:80",
"Proto": "HTTP/1.1",
"Protomajor": "1",
"Protominor": "1",
"Referer": "",
"Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
"User-Agent": "curl/7.86.0",
"X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-4kb7r"
},
"origin": "10.42.0.18",
"url": "http://fsm-ingress-pipy-864d8d9c76-4kb7r/get"
}
访问控制
文章开头提到使用 方案 2 虽然带来了延迟增加了复杂度，但是可以使用 Dapr 的服务治理能力。这里以 Dapr 的访问控制功能 为例。
不知道大家注意到没，在部署入口控制器和示例应用时，有个注解 dapr.io/config: xxx。这个注解是为应用的 Daprd 运行时指定配置，运行时启动时会从名为 xxx 的 Configuration 资源读取配置。
执行下面的命令为 httpbin 应用设置访问控制规则：默认拒绝所有请求，只允许 flomesh 命名空间下的 id 为 ingress 的应用通过 GET 方式访问路径 /get。更多访问控制配置，可以参考 Dapr 访问控制官方文档。
kubectl apply -n httpbin -f - <<EOF
apiVersion: dapr.io/v1alpha1
kind: Configuration
metadata:
name: httpbinconfig
spec:
accessControl:
defaultAction: deny
trustDomain: "public"
policies:
- appId: ingress
defaultAction: deny
trustDomain: 'public'
namespace: "flomesh"
operations:
- name: /get
httpVerb: ['GET']
action: allow
EOF
应用配置之后，需要重启应用。
kubectl rollout restart deploy httpbin -n httpbin
等到重启完成，再访问 /get 路径，正常响应。
curl HOST_IP:80/dapr/get -H 'dapr-app-id:httpbin.httpbin'
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip",
"Connection": "keep-alive",
"Dapr-App-Id": "httpbin.httpbin",
"Dapr-Callee-App-Id": "httpbin",
"Dapr-Caller-App-Id": "ingress",
"Forwarded": "for=10.42.0.40;by=10.42.0.40;host=fsm-ingress-pipy-864d8d9c76-jctcx",
"Host": "127.0.0.1:80",
"Proto": "HTTP/1.1",
"Protomajor": "1",
"Protominor": "1",
"Referer": "",
"Traceparent": "00-00000000000000000000000000000000-0000000000000000-00",
"User-Agent": "curl/7.86.0",
"X-Forwarded-Host": "fsm-ingress-pipy-864d8d9c76-jctcx"
},
"origin": "10.42.0.40",
"url": "http://fsm-ingress-pipy-864d8d9c76-jctcx/get"
}
但是，如果是访问路径 /headers，会收到下面的响应：被禁止访问 /headers。
curl HOST_IP:80/dapr/headers -H 'dapr-app-id:httpbin.httpbin'
{
"errorCode": "ERR_DIRECT_INVOKE",
"message": "fail to invoke, id: httpbin.httpbin, err: rpc error: code = PermissionDenied desc = access control policy has denied access to appid: ingress operation: headers verb: GET"
}
总结
文中使用的两种入口方案各有优缺点，方案 1 架构简单，也是我们常用的方案；方案 2 中相当于将入口控制器声明为 Dapr 应用，实际上暴露的是 Dapr 的 API，在实现上更像是一个全局的应用运行时。
