在东京、香港、新加坡或洛杉矶托管自有 GPU 服务器做 AI 推理：电力、网络与运输指南
如果你已经有自己的 GPU 服务器，想在亚洲或美国长期提供 AI 推理服务，把它们托管到离用户近的机房，通常比按小时租用云 GPU 更省钱。IMIDC 在日本东京、香港、新加坡和美国洛杉矶提供 1U 到整机柜的托管服务，配备远程协助（Remote Hands）、10Gbps 上联、IP 段以及使用你自有 ASN 的 BGP 宣告。需要说明的是：IMIDC 不出租 GPU，这是自带硬件（BYO）方案。
- GPU 托管地点：日本东京、香港、新加坡、美国洛杉矶（新加坡通过销售安排）。
- 空间从 1U 到整机柜；单机柜可用电力须在发货前与 IMIDC 销售确认。
- 远程协助：上架、布线、更换 GPU/硬盘、断电重启。
- 10Gbps 上联、DDoS 防护、IPv4 租用（可整段 /24）、自有 ASN BGP 宣告。
- IMIDC 不销售也不出租 GPU；硬件的出口管制合规由客户自行负责。
什么时候托管比租云 GPU 更划算
GPU 一年以上、每天大部分时间都在跑时，托管更划算；短期突发和实验则适合租云。
| 对比项 | 自有 GPU 托管（IMIDC） | 云 GPU 租用 |
|---|---|---|
| 成本结构 | 硬件一次性投入 + 每月空间、电力、带宽 | 按小时或包年计费，无硬件投入 |
| 适合的负载 | 稳定的 7×24 推理 | 波动大、短期或训练突发 |
| 硬件选择 | 任意自购 GPU、CPU、内存、NVMe | 受云商型号和库存限制 |
| 数据位置 | 自己的硬件，城市明确 | 云商区域，有时为共享租户 |
| 网络身份 | 自有 IP 段和 ASN，通过 BGP 宣告 | 云商 IP |
| 扩容速度 | 数周（采购、运输、上架） | 有库存时几分钟 |
| 故障处理 | 自备备件，远程协助更换 | 云商替换实例 |
常见做法是混合部署：基础推理负载放在托管服务器上，峰值溢出和实验放在租用算力上。
电力密度与散热：先算清楚
GPU 托管真正的瓶颈是电力而不是 U 数，购买空间前务必确认所需千瓦数。
| 常见机箱 | GPU 配置示例 | 满载大致功耗 | 托管选项 |
|---|---|---|---|
| 1U 服务器 | 1–2 张半高推理卡 | 约 0.5–1 kW | 1U–2U 空间 |
| 2U 服务器 | 2–4 张 PCIe GPU | 约 1.5–3 kW | 2U–4U 或部分机柜 |
| 4U 服务器 | 8 张 PCIe 或 SXM GPU | 约 5–10 kW 以上 | 整机柜，常为每柜一到两台 |
| 多台 4U 服务器 | 运行更大模型的集群 | 数十 kW | 多个机柜，需与销售规划 |
以上为行业常见范围，并非 IMIDC 规格——请以厂商铭牌为准并在真实负载下实测。实用建议：
- 实测并限功耗：适度限制 GPU 功耗，推理吞吐几乎不受影响。
- 风道：GPU 服务器多为前进后出风道，请告知 IMIDC 机箱深度和风向，以便正确放置于冷热通道。
- 冗余电源：申请 A+B 双路供电，并确认限功耗后单路也能带动整机。
- 插头：大功率电源常用 C19/C20 接口，请寄送匹配的电源线。
- 液冷：采购直接液冷系统前先与销售沟通，不要默认支持。
# measure real draw under load before you size the rack
nvidia-smi --query-gpu=index,name,power.draw,power.limit,temperature.gpu --format=csv -l 5
# cap each GPU so the whole chassis fits the contracted power budget
sudo nvidia-smi -pm 1 # persistence mode
sudo nvidia-smi -i 0 -pl 300 # example: limit GPU 0 to 300 W
# whole-server reading from the BMC (IPMI)
ipmitool -I lanplus -H 198.51.100.20 -U admin -P '***' dcmi power reading网络：10Gbps、自有 IP 与 BGP
推理请求单次流量小但对延迟敏感，应优先考虑优质线路和自有地址，而不是单纯追求带宽。
- 10Gbps 上联：用于下载模型、跨机房同步和高并发 API。
- 自有 IP 段：向 IMIDC 租用 IPv4（最多整段 /24），或自带 IP。
- 自有 ASN 的 BGP：例如在东京和洛杉矶同时宣告你的前缀，无需更换 IP 即可在站点间调度流量；IMIDC 也提供 Anycast。
- 香港提供至中国大陆的 CN2 GIA（AS4809）线路，洛杉矶提供联通 9929/4837 和 CN2 线路——适合合法自建模型服务且用户在中国大陆的场景（境外托管无需 ICP 备案，但内容仍须合法合规）。
- 只通过带认证和限流的网关对外提供推理服务，模型服务本身绑定本机或内网 VLAN。
# example: serve an open-weight model with vLLM, API on localhost only
docker run -d --name vllm --gpus all --restart unless-stopped \
-p 127.0.0.1:8000:8000 --ipc=host \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/your-model --tensor-parallel-size 4
curl -s http://127.0.0.1:8000/v1/models按用户延迟选择机房
选离多数请求最近的城市，再从用户实际所在地实测。
| IMIDC 机房 | 主要用户群 | 说明 |
|---|---|---|
| 日本东京 | 日本、韩国及北亚 | 日本原生 IP，区域互联优质 |
| 香港 | 大中华区、东南亚 | CN2 GIA 直连中国大陆；高端 GPU 需核查出口管制规定 |
| 新加坡 | 东南亚、印度、大洋洲 | 通过销售配置 |
| 美国洛杉矶 | 北美、跨太平洋 | 联通 9929/4837 及 CN2 回国线路 |
# from a user-side test host, compare candidate locations
mtr -rwc 100 203.0.113.10 # Tokyo test IP (example)
mtr -rwc 100 203.0.113.20 # Singapore test IP (example)出口管制：发货前必读
先进 AI 芯片受出口管制约束，作为硬件所有者和发货方，你需自行负责合规。
- 美国出口管理条例（EAR）对部分先进计算芯片和系统在特定目的地及最终用户方面有限制，其中多项限制同样适用于香港和澳门。
- 日本、新加坡等地也有各自的出口和再出口规定。
- 请向厂商确认具体 GPU 型号的管制分类，记录最终用途和最终用户，并在发货前取得所需许可。
- IMIDC 提供空间、电力、网络和远程协助，不评估也不承担客户硬件的出口合规责任。
以上为简要概述，不构成法律意见，请咨询贸易合规专业人士。
运输、清关与上架清单
大多数延误来自单证和缺件，而不是上架本身。
- 先给 IMIDC 提交工单：确认机房、U 数、电力（kW 和路数）、收货地址和收货时间。
- 准备商业发票，列明型号、序列号、HS 编码和申报价值；约定由谁作为进口商（IOR）。
- 为货物投保；使用原厂或泡棉定制包装，GPU 装机发运或用防静电袋包装。
- 每个箱子标注公司名和 IMIDC 工单号。
- 随附导轨、电源线（按需 C13/C19）、光模块或 DAC 线缆，以及备用硬盘/风扇。
- 预先给 BMC/IPMI 配置静态 IP 和强密码，BIOS 断电恢复设为"开机"。
- 提供机柜布局和布线图；远程协助完成上架、开机，并确认链路与 BMC 可访问。
上架后，可通过工单让远程协助用你的备件更换 GPU 或硬盘、重新插拔或断电重启。
哪种 IMIDC 方案适合你
先按实测电力确定托管规模，再叠加网络服务。
- 单台推理服务器（1–4 张 GPU）：东京或洛杉矶 1U–4U 托管，加少量 IP。
- 8 卡服务器：配独立电力的整机柜，购买前与销售确认。
- 多地区 API：东京和洛杉矶各一个机柜，通过 BGP 宣告自有前缀，必要时启用 Anycast。
- CPU 侧服务：API 网关、向量数据库或队列可放在同机房的 IMIDC 独立服务器上。
高密度供电、新加坡托管和多机柜项目属于定制方案，由 IMIDC 销售报价。
常见问题
在东京或香港哪里可以托管自己的 GPU 服务器？
IMIDC 在东京、香港、新加坡和洛杉矶提供 1U 到整机柜的托管，配备远程协助和 10Gbps 上联。发货前请先与销售确认电力需求。
IMIDC 出租 GPU 服务器吗？
不出租。IMIDC 为你自有的硬件提供托管空间、电力、网络和 IP 资源。你可以把托管的 GPU 与 IMIDC 独立服务器搭配，承担 CPU 侧负载。
8 卡 GPU 服务器托管需要多少电力？
视 GPU 型号而定，满载通常为数千瓦，有时超过 10 kW。请在真实负载下实测，考虑限功耗，并与销售规划整机柜。
托管的 GPU 服务器可以宣告自己的 IP 段吗？
可以。IMIDC 支持使用自有 ASN 进行 BGP 宣告，提供 IPv4 租用（含整段 /24）以及 Anycast。
正在规划 GPU 部署？可先了解 IMIDC 的 托管与机房设施、BGP 与 Anycast 和 IP 资源，再带着服务器型号和功耗数据 联系销售，或 提交工单 预约上架。