在東京、香港、新加坡或洛杉磯託管自有 GPU 伺服器做 AI 推理：電力、網路與運輸指南
如果你已經有自己的 GPU 伺服器，想在亞洲或美國長期提供 AI 推理服務，把它們託管到離使用者近的機房，通常比按小時租用雲 GPU 更省錢。IMIDC 在日本東京、香港、新加坡和美國洛杉磯提供 1U 到整機櫃的託管服務，配備遠端協助（Remote Hands）、10Gbps 上聯、IP 段以及使用你自有 ASN 的 BGP 宣告。需要說明的是：IMIDC 不出租 GPU，這是自帶硬體（BYO）方案。
- GPU 託管地點：日本東京、香港、新加坡、美國洛杉磯（新加坡通過銷售安排）。
- 空間從 1U 到整機櫃；單機櫃可用電力須在發貨前與 IMIDC 銷售確認。
- 遠端協助：上架、佈線、更換 GPU/硬碟、斷電重啟。
- 10Gbps 上聯、DDoS 防護、IPv4 租用（可整段 /24）、自有 ASN BGP 宣告。
- IMIDC 不銷售也不出租 GPU；硬體的出口管制合規由客戶自行負責。
什麼時候託管比租雲 GPU 更劃算
GPU 一年以上、每天大部分時間都在跑時，託管更劃算；短期突發和實驗則適合租雲。
| 對比項 | 自有 GPU 託管（IMIDC） | 雲 GPU 租用 |
|---|---|---|
| 成本結構 | 硬體一次性投入 + 每月空間、電力、頻寬 | 按小時或包年計費，無硬體投入 |
| 適合的負載 | 穩定的 7×24 推理 | 波動大、短期或訓練突發 |
| 硬體選擇 | 任意自購 GPU、CPU、記憶體、NVMe | 受雲商型號和庫存限制 |
| 資料位置 | 自己的硬體，城市明確 | 雲商區域，有時為共享租戶 |
| 網路身份 | 自有 IP 段和 ASN，通過 BGP 宣告 | 雲商 IP |
| 擴容速度 | 數週（採購、運輸、上架） | 有庫存時幾分鐘 |
| 故障處理 | 自備備件，遠端協助更換 | 雲商替換例項 |
常見做法是混合部署：基礎推理負載放在託管伺服器上，峰值溢位和實驗放在租用算力上。
電力密度與散熱：先算清楚
GPU 託管真正的瓶頸是電力而不是 U 數，購買空間前務必確認所需千瓦數。
| 常見機箱 | GPU 配置示例 | 滿載大致功耗 | 託管選項 |
|---|---|---|---|
| 1U 伺服器 | 1–2 張半高推理卡 | 約 0.5–1 kW | 1U–2U 空間 |
| 2U 伺服器 | 2–4 張 PCIe GPU | 約 1.5–3 kW | 2U–4U 或部分機櫃 |
| 4U 伺服器 | 8 張 PCIe 或 SXM GPU | 約 5–10 kW 以上 | 整機櫃，常為每櫃一到兩臺 |
| 多台 4U 伺服器 | 執行更大模型的叢集 | 數十 kW | 多個機櫃，需與銷售規劃 |
以上為行業常見範圍，並非 IMIDC 規格——請以廠商銘牌為準並在真實負載下實測。實用建議：
- 實測並限功耗：適度限制 GPU 功耗，推理吞吐幾乎不受影響。
- 風道：GPU 伺服器多為前進後出風道，請告知 IMIDC 機箱深度和風向，以便正確放置於冷熱通道。
- 冗餘電源：申請 A+B 雙路供電，並確認限功耗後單路也能帶動整機。
- 插頭：大功率電源常用 C19/C20 介面，請寄送匹配的電源線。
- 液冷：採購直接液冷系統前先與銷售溝通，不要預設支援。
# measure real draw under load before you size the rack
nvidia-smi --query-gpu=index,name,power.draw,power.limit,temperature.gpu --format=csv -l 5
# cap each GPU so the whole chassis fits the contracted power budget
sudo nvidia-smi -pm 1 # persistence mode
sudo nvidia-smi -i 0 -pl 300 # example: limit GPU 0 to 300 W
# whole-server reading from the BMC (IPMI)
ipmitool -I lanplus -H 198.51.100.20 -U admin -P '***' dcmi power reading網路：10Gbps、自有 IP 與 BGP
推理請求單次流量小但對延遲敏感，應優先考慮優質線路和自有地址，而不是單純追求頻寬。
- 10Gbps 上聯：用於下載模型、跨機房同步和高併發 API。
- 自有 IP 段：向 IMIDC 租用 IPv4（最多整段 /24），或自帶 IP。
- 自有 ASN 的 BGP：例如在東京和洛杉磯同時宣告你的字首，無需更換 IP 即可在站點間排程流量；IMIDC 也提供 Anycast。
- 香港提供至中國大陸的 CN2 GIA（AS4809）線路，洛杉磯提供聯通 9929/4837 和 CN2 線路——適合合法自建模型服務且使用者在中國大陸的場景（境外託管無需 ICP 備案，但內容仍須合法合規）。
- 只通過帶認證和限流的閘道器對外提供推理服務，模型服務本身繫結本機或內網 VLAN。
# example: serve an open-weight model with vLLM, API on localhost only
docker run -d --name vllm --gpus all --restart unless-stopped \
-p 127.0.0.1:8000:8000 --ipc=host \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/your-model --tensor-parallel-size 4
curl -s http://127.0.0.1:8000/v1/models按使用者延遲選擇機房
選離多數請求最近的城市，再從使用者實際所在地實測。
| IMIDC 機房 | 主要使用者群 | 說明 |
|---|---|---|
| 日本東京 | 日本、韓國及北亞 | 日本原生 IP，區域互聯優質 |
| 香港 | 大中華區、東南亞 | CN2 GIA 直連中國大陸；高階 GPU 需核查出口管制規定 |
| 新加坡 | 東南亞、印度、大洋洲 | 通過銷售配置 |
| 美國洛杉磯 | 北美、跨太平洋 | 聯通 9929/4837 及 CN2 回國線路 |
# from a user-side test host, compare candidate locations
mtr -rwc 100 203.0.113.10 # Tokyo test IP (example)
mtr -rwc 100 203.0.113.20 # Singapore test IP (example)出口管制：發貨前必讀
先進 AI 晶片受出口管制約束，作為硬體所有者和發貨方，你需自行負責合規。
- 美國出口管理條例（EAR）對部分先進計算晶片和系統在特定目的地及終端使用者方面有限制，其中多項限制同樣適用於香港和澳門。
- 日本、新加坡等地也有各自的出口和再出口規定。
- 請向廠商確認具體 GPU 型號的管制分類，記錄最終用途和終端使用者，並在發貨前取得所需許可。
- IMIDC 提供空間、電力、網路和遠端協助，不評估也不承擔客戶硬體的出口合規責任。
以上為簡要概述，不構成法律意見，請諮詢貿易合規專業人士。
運輸、清關與上架清單
大多數延誤來自單證和缺件，而不是上架本身。
- 先給 IMIDC 提交工單：確認機房、U 數、電力（kW 和路數）、收貨地址和收貨時間。
- 準備商業發票，列明型號、序列號、HS 編碼和申報價值；約定由誰作為進口商（IOR）。
- 為貨物投保；使用原廠或泡棉定製包裝，GPU 裝機發運或用防靜電袋包裝。
- 每個箱子標註公司名和 IMIDC 工單號。
- 隨附導軌、電源線（按需 C13/C19）、光模組或 DAC 線纜，以及備用硬碟/風扇。
- 預先給 BMC/IPMI 配置靜態 IP 和強密碼，BIOS 斷電恢復設為"開機"。
- 提供機櫃佈局和佈線圖；遠端協助完成上架、開機，並確認鏈路與 BMC 可訪問。
上架後，可通過工單讓遠端協助用你的備件更換 GPU 或硬碟、重新插拔或斷電重啟。
哪種 IMIDC 方案適合你
先按實測電力確定託管規模，再疊加網路服務。
- 單臺推理伺服器（1–4 張 GPU）：東京或洛杉磯 1U–4U 託管，加少量 IP。
- 8 卡伺服器：配獨立電力的整機櫃，購買前與銷售確認。
- 多地區 API：東京和洛杉磯各一個機櫃，通過 BGP 宣告自有字首，必要時啟用 Anycast。
- CPU 側服務：API 閘道器、向量資料庫或佇列可放在同機房的 IMIDC 獨立伺服器上。
高密度供電、新加坡託管和多機櫃專案屬於定製方案，由 IMIDC 銷售報價。
常見問題
在東京或香港哪裡可以託管自己的 GPU 伺服器？
IMIDC 在東京、香港、新加坡和洛杉磯提供 1U 到整機櫃的託管，配備遠端協助和 10Gbps 上聯。發貨前請先與銷售確認電力需求。
IMIDC 出租 GPU 伺服器嗎？
不出租。IMIDC 為你自有的硬體提供託管空間、電力、網路和 IP 資源。你可以把託管的 GPU 與 IMIDC 獨立伺服器搭配，承擔 CPU 側負載。
8 卡 GPU 伺服器託管需要多少電力？
視 GPU 型號而定，滿載通常為數千瓦，有時超過 10 kW。請在真實負載下實測，考慮限功耗，並與銷售規劃整機櫃。
託管的 GPU 伺服器可以宣告自己的 IP 段嗎？
可以。IMIDC 支援使用自有 ASN 進行 BGP 宣告，提供 IPv4 租用（含整段 /24）以及 Anycast。
正在規劃 GPU 部署？可先瞭解 IMIDC 的 託管與機房設施、BGP 與 Anycast 和 IP 資源，再帶著伺服器型號和功耗資料 聯絡銷售，或 提交工單 預約上架。