Colocation de tus propios servidores GPU para inferencia de IA en Tokio, Hong Kong, Singapur o Los Ángeles: energía, red y envío
Si ya tienes servidores con GPU, la forma más económica a largo plazo de ofrecer inferencia de IA en Asia o EE. UU. suele ser alojarlos en colocation en un centro de datos cercano a tus usuarios, en lugar de alquilar GPU en la nube por horas. IMIDC ofrece colocation desde 1U hasta un rack completo en Tokio (Japón), Hong Kong, Singapur y Los Ángeles (EE. UU.), con manos remotas, enlaces de 10 Gbps, bloques de IP y BGP con tu propio ASN. Importante: IMIDC no alquila GPU; es un servicio para hardware propio.
- Ubicaciones para colocation de GPU: Tokio (Japón), Hong Kong, Singapur y Los Ángeles (EE. UU.); Singapur vía ventas.
- Espacio desde 1U hasta rack completo; la potencia por rack debe confirmarse con ventas de IMIDC antes del envío.
- Manos remotas para montaje, cableado, cambios de GPU/discos y reinicios eléctricos.
- Enlaces de 10 Gbps, protección DDoS, alquiler de IPv4 (hasta /24 completos) y anuncio BGP con tu ASN.
- IMIDC no vende ni alquila GPU; el cumplimiento de control de exportaciones de tu hardware es responsabilidad tuya.
Cuándo conviene la colocation frente al alquiler de GPU en la nube
La colocation gana cuando tus GPU trabajan la mayor parte del día durante un año o más; la nube gana para picos cortos y experimentos.
| Factor | Colocation de GPU propias (IMIDC) | Alquiler de GPU en la nube |
|---|---|---|
| Estructura de costes | Inversión en hardware + cuota mensual de espacio, energía y ancho de banda | Tarifa por hora o reservada, sin inversión |
| Perfil de uso ideal | Inferencia estable 24/7 | Picos, corto plazo o entrenamiento |
| Elección de hardware | Cualquier GPU, CPU, RAM y NVMe que compres | Catálogo y disponibilidad del proveedor |
| Ubicación de datos | Tu hardware en una ciudad conocida | Región del proveedor, a veces compartida |
| Identidad de red | Tu bloque IP y ASN vía BGP | IP del proveedor |
| Velocidad de escalado | Semanas (compra, envío, instalación) | Minutos, si hay capacidad |
| Averías | Tienes repuestos; las manos remotas los cambian | El proveedor sustituye la instancia |
Un patrón habitual es el híbrido: inferencia base en servidores en colocation y picos o pruebas en capacidad alquilada.
Densidad de potencia y refrigeración: dimensiónalo primero
La verdadera limitación de la colocation de GPU es la energía, no las unidades de rack, así que confirma los kW necesarios antes de contratar espacio.
| Chasis típico | Ejemplo de GPU | Consumo aproximado en carga | Opción de colocation |
|---|---|---|---|
| Servidor 1U | 1-2 GPU de inferencia de perfil bajo | aprox. 0,5-1 kW | Espacio de 1U-2U |
| Servidor 2U | 2-4 GPU PCIe | aprox. 1,5-3 kW | 2U-4U o rack parcial |
| Servidor 4U | 8 GPU PCIe o SXM | aprox. 5-10+ kW | Rack completo, a menudo uno o dos servidores por rack |
| Varios 4U | Clúster para modelos grandes | Decenas de kW | Varios racks; planificar con ventas |
Son rangos típicos, no especificaciones de IMIDC: consulta la placa del fabricante y mide con carga real. Consejos prácticos:
- Mide y limita: con límites moderados de potencia, el rendimiento de inferencia apenas baja.
- Flujo de aire: los servidores GPU están diseñados para flujo frontal-trasero; indica a IMIDC la profundidad del chasis y la dirección del aire para ubicarlo bien en pasillos fríos/calientes.
- Fuentes redundantes: solicita alimentación A+B y verifica que el servidor funcione con una sola línea con tu límite de potencia.
- Conectores: las fuentes de alta potencia suelen usar C19/C20; envía cables compatibles.
- Refrigeración líquida: consúltalo con ventas antes de comprar sistemas con refrigeración líquida directa; no lo des por hecho.
# measure real draw under load before you size the rack
nvidia-smi --query-gpu=index,name,power.draw,power.limit,temperature.gpu --format=csv -l 5
# cap each GPU so the whole chassis fits the contracted power budget
sudo nvidia-smi -pm 1 # persistence mode
sudo nvidia-smi -i 0 -pl 300 # example: limit GPU 0 to 300 W
# whole-server reading from the BMC (IPMI)
ipmitool -I lanplus -H 198.51.100.20 -U admin -P '***' dcmi power readingRed: 10 Gbps, tus propias IP y BGP
El tráfico de inferencia es pequeño por petición pero sensible a la latencia, así que prioriza buen enrutamiento y direcciones propias sobre el ancho de banda bruto.
- Enlaces de 10 Gbps para descargar modelos, replicar entre sedes y API de alta concurrencia.
- Tu propio bloque IP: alquila IPv4 a IMIDC (hasta un /24 completo) o trae el tuyo.
- BGP con tu ASN: anuncia tu prefijo desde Tokio y Los Ángeles, por ejemplo, y mueve el tráfico entre sedes sin renumerar; IMIDC también ofrece Anycast.
- Hong Kong ofrece CN2 GIA (AS4809) hacia China continental y Los Ángeles rutas Unicom 9929/4837 y CN2: útil si los usuarios de un modelo propio y legal están en China continental (alojar fuera del continente no requiere licencia ICP, pero el contenido debe cumplir la ley).
- Expón la inferencia solo a través de una pasarela con autenticación y límite de peticiones; mantén el servidor del modelo en localhost o en una VLAN privada.
# example: serve an open-weight model with vLLM, API on localhost only
docker run -d --name vllm --gpus all --restart unless-stopped \
-p 127.0.0.1:8000:8000 --ipc=host \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/your-model --tensor-parallel-size 4
curl -s http://127.0.0.1:8000/v1/modelsElegir ubicación según la latencia a los usuarios
Elige la ciudad más cercana a la mayoría de peticiones y mide desde donde están realmente tus usuarios.
| Ubicación IMIDC | Público habitual | Notas |
|---|---|---|
| Tokio, Japón | Japón, Corea, norte de Asia | IP nativas japonesas; buen peering regional |
| Hong Kong | Gran China, Sudeste Asiático | CN2 GIA a China continental; revisa las normas de exportación para GPU avanzadas |
| Singapur | Sudeste Asiático, India, Oceanía | Se configura vía ventas |
| Los Ángeles, EE. UU. | Norteamérica, tráfico transpacífico | Rutas Unicom 9929/4837 y CN2 hacia China |
# from a user-side test host, compare candidate locations
mtr -rwc 100 203.0.113.10 # Tokyo test IP (example)
mtr -rwc 100 203.0.113.20 # Singapore test IP (example)Control de exportaciones: léelo antes de enviar GPU
Los chips de IA avanzados están sujetos a control de exportaciones y tú, como propietario y remitente, eres responsable de cumplirlo.
- Las normas de exportación de EE. UU. (EAR) restringen ciertos chips y sistemas de computación avanzada para algunos destinos y usuarios finales; varias de esas restricciones también se aplican a Hong Kong y Macao.
- Japón, Singapur y otras jurisdicciones tienen sus propias normas de exportación y reexportación.
- Comprueba con el fabricante la clasificación de tu modelo de GPU, documenta el uso y el usuario final, y obtén las licencias necesarias antes del envío.
- IMIDC proporciona espacio, energía, red y manos remotas; no evalúa ni asume responsabilidad sobre el estado de exportación del hardware del cliente.
Esto es un resumen breve, no asesoramiento legal. Consulta a un especialista en cumplimiento comercial.
Lista de envío, aduanas e instalación
La mayoría de retrasos vienen de la documentación y de piezas que faltan, no del montaje.
- Abre primero un ticket con IMIDC: confirma ubicación, unidades de rack, potencia (kW y líneas), dirección de entrega y horario de recepción.
- Prepara una factura comercial con modelo, números de serie, códigos HS y valor declarado; acuerda quién actúa como importador (IOR).
- Asegura el envío; usa embalaje original o con espuma a medida, y envía las GPU instaladas o en bolsas antiestáticas.
- Etiqueta cada caja con el nombre de tu empresa y el número de ticket de IMIDC.
- Incluye rieles, cables de alimentación (C13/C19 según el caso), ópticas o cables DAC y discos/ventiladores de repuesto.
- Preconfigura la BMC/IPMI con IP fija y contraseña robusta, y en la BIOS activa el encendido al recuperar la energía.
- Envía un diagrama de rack y un plan de cableado; las manos remotas montan, encienden y confirman el enlace y el acceso a la BMC.
Tras la instalación, puedes pedir por ticket cambios de GPU o discos con tus repuestos, reasentar componentes y reinicios eléctricos.
Qué configuración de IMIDC te conviene
Ajusta el tamaño de la colocation a la potencia medida y añade los servicios de red.
- Un servidor de inferencia (1-4 GPU): colocation de 1U-4U en Tokio o Los Ángeles, más unas cuantas IP.
- Servidor de 8 GPU: rack completo con energía dedicada, acordado con ventas antes de comprar.
- API multirregión: racks en Tokio y Los Ángeles anunciando tu prefijo por BGP, con Anycast si hace falta.
- Servicios de CPU: coloca la pasarela de API, la base vectorial o las colas en un servidor dedicado de IMIDC en el mismo centro de datos.
La alta densidad de potencia, la colocation en Singapur y los proyectos de varios racks son configuraciones a medida que cotiza el equipo de ventas de IMIDC.
Preguntas frecuentes
¿Dónde puedo alojar mis propios servidores GPU en Tokio o Hong Kong?
IMIDC ofrece colocation desde 1U hasta rack completo en Tokio, Hong Kong, Singapur y Los Ángeles, con manos remotas y enlaces de 10 Gbps. Confirma tu necesidad de potencia con ventas antes de enviar el hardware.
¿IMIDC alquila servidores con GPU?
No. IMIDC proporciona espacio de colocation, energía, red y recursos IP para el hardware que es tuyo. Puedes combinar tus GPU en colocation con servidores dedicados de IMIDC para cargas de CPU.
¿Cuánta potencia necesita un servidor de 8 GPU en colocation?
Normalmente varios kW y a veces más de 10 kW a plena carga, según el modelo de GPU. Mide con carga real, valora limitar la potencia y planifica un rack completo con ventas.
¿Puedo anunciar mi propio bloque IP desde servidores GPU en colocation?
Sí. IMIDC admite anuncio BGP con tu propio ASN, alquiler de IPv4 incluidos bloques /24 completos, y Anycast.
¿Planificas un despliegue de GPU? Revisa la colocation y centros de datos, BGP y Anycast y los recursos IP de IMIDC, y después contacta con ventas con el modelo de servidor y su consumo, o abre un ticket para programar la instalación.