Колокация собственных GPU-серверов для AI-инференса в Токио, Гонконге, Сингапуре или Лос-Анджелесе: питание, сеть и доставка

Если у вас уже есть собственные GPU-серверы, самый дешёвый в долгосрочной перспективе способ обслуживать AI-инференс в Азии или США — как правило, разместить их в дата-центре рядом с пользователями (колокация), а не арендовать облачные GPU почасово. IMIDC предлагает колокацию от 1U до целой стойки в Токио (Япония), Гонконге, Сингапуре и Лос-Анджелесе (США) с удалёнными руками (remote hands), аплинками 10 Гбит/с, блоками IP и BGP с вашим собственным ASN. Важно: IMIDC не сдаёт GPU в аренду — это формат «своё оборудование».

Когда колокация выгоднее аренды облачных GPU

Колокация выигрывает, если GPU загружены большую часть суток на протяжении года и дольше; облако — для коротких всплесков и экспериментов.

Частая схема — гибрид: базовый инференс на колоцированных серверах, пики и эксперименты — на арендованных мощностях.

Плотность мощности и охлаждение: посчитайте в первую очередь

Реальное ограничение GPU-колокации — электропитание, а не юниты, поэтому определите нужные кВт до покупки места.

Это типовые диапазоны, а не спецификации IMIDC: сверяйтесь с паспортными данными вендора и измеряйте под реальной нагрузкой. Практические советы:

• Измеряйте и ограничивайте: умеренный лимит мощности GPU почти не снижает пропускную способность инференса.
• Воздушный поток: GPU-серверы рассчитаны на поток спереди назад; сообщите IMIDC глубину шасси и направление потока для правильной установки в горячий/холодный коридор.
• Резервные БП: запросите вводы A+B и убедитесь, что сервер при заданном лимите работает от одного ввода.
• Разъёмы: мощные БП часто используют C19/C20 — пришлите подходящие кабели.
• Жидкостное охлаждение: обсудите с отделом продаж до покупки систем с прямым жидкостным охлаждением, не рассчитывайте на поддержку по умолчанию.

# measure real draw under load before you size the rack
nvidia-smi --query-gpu=index,name,power.draw,power.limit,temperature.gpu --format=csv -l 5

# cap each GPU so the whole chassis fits the contracted power budget
sudo nvidia-smi -pm 1          # persistence mode
sudo nvidia-smi -i 0 -pl 300   # example: limit GPU 0 to 300 W

# whole-server reading from the BMC (IPMI)
ipmitool -I lanplus -H 198.51.100.20 -U admin -P '***' dcmi power reading

Сеть: 10 Гбит/с, свои IP и BGP

Трафик инференса мал на запрос, но чувствителен к задержкам, поэтому приоритет — качественная маршрутизация и собственное адресное пространство, а не голая полоса.

• Аплинки 10 Гбит/с для загрузки моделей, репликации между площадками и API с высокой конкуренцией.
• Свой блок IP: аренда IPv4 у IMIDC (до целой /24) или собственные адреса.
• BGP с вашим ASN: например, анонсируйте префикс из Токио и Лос-Анджелеса и переключайте трафик без перенумерации; IMIDC также предлагает Anycast.
• Гонконг даёт маршрут CN2 GIA (AS4809) в материковый Китай, Лос-Анджелес — маршруты Unicom 9929/4837 и CN2: полезно, если пользователи законного самостоятельно размещённого сервиса находятся в Китае (хостинг вне материка не требует ICP, но контент должен соответствовать закону).
• Открывайте инференс наружу только через шлюз с аутентификацией и ограничением запросов; сам сервер модели держите на localhost или в приватном VLAN.

# example: serve an open-weight model with vLLM, API on localhost only
docker run -d --name vllm --gpus all --restart unless-stopped \
  -p 127.0.0.1:8000:8000 --ipc=host \
  -v /data/models:/models \
  vllm/vllm-openai:latest \
  --model /models/your-model --tensor-parallel-size 4

curl -s http://127.0.0.1:8000/v1/models

Выбор площадки по задержке до пользователей

Выберите город, ближайший к большинству запросов, и проверьте задержку оттуда, где реально находятся пользователи.

# from a user-side test host, compare candidate locations
mtr -rwc 100 203.0.113.10     # Tokyo test IP (example)
mtr -rwc 100 203.0.113.20     # Singapore test IP (example)

Экспортный контроль: прочитайте до отправки GPU

Передовые AI-чипы подпадают под экспортный контроль, и ответственность за соблюдение правил несёте вы как владелец и отправитель.

• Правила экспорта США (EAR) ограничивают поставку ряда передовых вычислительных чипов и систем в отдельные страны и конечным пользователям; многие из этих ограничений распространяются и на Гонконг и Макао.
• У Японии, Сингапура и других юрисдикций есть собственные правила экспорта и реэкспорта.
• Уточните классификацию вашей модели GPU у вендора, задокументируйте конечное использование и конечного пользователя и получите необходимые лицензии до отправки.
• IMIDC предоставляет место, питание, сеть и remote hands и не оценивает экспортный статус оборудования клиента и не несёт за него ответственности.

Это краткий обзор, а не юридическая консультация. Обратитесь к специалисту по внешнеторговому комплаенсу.

Чек-лист доставки, таможни и монтажа

Большинство задержек связано с документами и недостающими деталями, а не с монтажом.

1. Сначала откройте тикет в IMIDC: площадка, юниты, мощность (кВт и число вводов), адрес доставки и часы приёмки.
2. Подготовьте коммерческий инвойс с моделями, серийными номерами, кодами HS и заявленной стоимостью; определите импортёра (IOR).
3. Застрахуйте груз; используйте оригинальную или ложементную упаковку, GPU отправляйте установленными или в антистатике.
4. Промаркируйте каждую коробку названием компании и номером тикета IMIDC.
5. Приложите рельсы, кабели питания (C13/C19 по необходимости), оптику или DAC, запасные диски и вентиляторы.
6. Заранее настройте BMC/IPMI со статическим IP и надёжным паролем, в BIOS установите автовключение после подачи питания.
7. Пришлите схему стойки и коммутации; remote hands смонтируют, включат и подтвердят линк и доступ к BMC.

После установки через тикет можно заказать замену GPU или дисков из вашего ЗИПа, переустановку компонентов и перезагрузку по питанию.

Какая конфигурация IMIDC подойдёт

Подберите объём колокации по измеренной мощности, затем добавьте сетевые услуги.

• Один сервер инференса (1–4 GPU): колокация 1U–4U в Токио или Лос-Анджелесе и несколько IP.
• Сервер на 8 GPU: целая стойка с выделенным питанием, согласуется с отделом продаж до покупки.
• Мультирегиональный API: стойки в Токио и Лос-Анджелесе с анонсом своего префикса по BGP, при необходимости Anycast.
• CPU-сервисы: API-шлюз, векторную БД или очередь разместите на выделенном сервере IMIDC в том же дата-центре.

Высокоплотное питание, колокация в Сингапуре и проекты на несколько стоек — индивидуальные конфигурации, их рассчитывает отдел продаж IMIDC.

Частые вопросы

Где разместить собственные GPU-серверы в Токио или Гонконге?

IMIDC предлагает колокацию от 1U до целой стойки в Токио, Гонконге, Сингапуре и Лос-Анджелесе с remote hands и аплинками 10 Гбит/с. Перед отправкой оборудования согласуйте потребляемую мощность с отделом продаж.

Сдаёт ли IMIDC GPU-серверы в аренду?

Нет. IMIDC предоставляет место, питание, сеть и IP-ресурсы для вашего собственного оборудования. Колоцированные GPU можно дополнить выделенными серверами IMIDC для CPU-нагрузок.

Сколько мощности нужно серверу на 8 GPU в колокации?

Обычно несколько кВт, а иногда больше 10 кВт под полной нагрузкой — в зависимости от модели GPU. Измерьте реальное потребление, рассмотрите лимиты мощности и спланируйте целую стойку с отделом продаж.

Можно ли анонсировать свой блок IP с колоцированных GPU-серверов?

Да. IMIDC поддерживает BGP-анонс с вашим ASN, аренду IPv4 включая целые /24 и Anycast.

Планируете GPU-развёртывание? Ознакомьтесь с колокацией и дата-центрами, BGP и Anycast и IP-ресурсами IMIDC, затем свяжитесь с отделом продаж, указав модель сервера и потребление, или откройте тикет, чтобы запланировать монтаж.