在东京、新加坡、台北或洛杉矶独立服务器上搭建私有 AI 客服知识库（RAG）

为跨境业务搭建私有 AI 客服知识库（RAG），最务实的做法是：把文档、向量数据库和对话记录放在自己掌控的独立服务器上，只在生成向量和回答时调用官方大模型 API。IMIDC 在日本东京、新加坡、台湾台北和美国洛杉矶提供独立服务器，这些地区都在 OpenAI、Anthropic Claude 和 Google Gemini API 的官方支持范围内，能让客户数据留在其所服务的地区。

客服 RAG 知识库到底在做什么

检索增强生成（RAG）让模型依据你自己的文档回答问题，而不是凭"记忆"作答，能明显减少胡编乱造、确保回答符合公司政策。

流程并不复杂：把产品手册、FAQ、退换货政策、规格表和历史工单解决方案切成小段，每段转成向量（embedding）存入向量数据库。客户或客服提问时，系统先把问题向量化，检索最相近的若干段落，再把这些段落和问题一起发给大模型，由它生成带引用来源的回答。

• 导入：PDF、DOCX、HTML、Markdown、Zendesk/Freshdesk 导出、Notion 或 Confluence 文档。
• 检索：向量检索 + 关键词混合检索，并按语言、产品线、权限过滤。
• 生成：大模型起草回复，由人工客服审核后发送，或直接在网页小窗中回答。

对于同时处理日文、英文和中文工单的跨境卖家，一个多语种索引即可服务所有渠道。

为什么选独立服务器而不是 SaaS 聊天机器人

文档量大、数据要求严格或咨询量稳定时，独立服务器更划算：内存、硬盘和成本都是固定的，数据除你主动发送的片段外不会离开服务器。

内存是关键资源。100 万个 1536 维 float32 向量约占 6 GB 原始数据，另加索引开销；Qdrant 和 pgvector 在索引全部驻留内存时性能最佳。配备 64–128 GB 内存的独立服务器足以同时容纳向量、PostgreSQL、导入程序和缓存，也不会像小规格 VPS 那样受"邻居"干扰。

选择机房：东京、新加坡、台北还是洛杉矶

知识库应部署在客户所在地和数据合规要求所在地，并且只能选 AI API 官方支持的地区。

参考架构与 Docker Compose

起步只需三个容器：向量数据库、存放元数据和对话历史的 PostgreSQL，以及你自己的导入/问答 API。

先安装 Docker（可参考帮助中心的 Docker 安装教程），再创建以下文件。所有端口只绑定 127.0.0.1，对外统一通过 Nginx + HTTPS 发布。

# docker-compose.yml - private RAG stack (all ports bound to localhost)
services:
  qdrant:
    image: qdrant/qdrant:v1.12.4
    restart: unless-stopped
    volumes:
      - ./qdrant_storage:/qdrant/storage
    ports:
      - "127.0.0.1:6333:6333"
    environment:
      QDRANT__SERVICE__API_KEY: ${QDRANT_API_KEY}

  postgres:
    image: pgvector/pgvector:pg16
    restart: unless-stopped
    environment:
      POSTGRES_USER: rag
      POSTGRES_PASSWORD: ${PG_PASSWORD}
      POSTGRES_DB: kb
    volumes:
      - ./pgdata:/var/lib/postgresql/data
    ports:
      - "127.0.0.1:5432:5432"

  rag-api:
    build: ./rag-api          # your ingestion + retrieval + chat service
    restart: unless-stopped
    env_file: .env            # OPENAI_API_KEY / ANTHROPIC_API_KEY / GEMINI_API_KEY
    depends_on: [qdrant, postgres]
    ports:
      - "127.0.0.1:8080:8080" # publish through Nginx + HTTPS only

# .env (chmod 600, never commit)
QDRANT_API_KEY=change-me-long-random
PG_PASSWORD=change-me-long-random
OPENAI_API_KEY=sk-...
ANTHROPIC_API_KEY=sk-ant-...
EMBED_MODEL=text-embedding-3-small
CHUNK_TOKENS=500
CHUNK_OVERLAP=60

如果只想维护一个数据库，可以去掉 Qdrant，用 pgvector 同时存元数据和向量：

-- pgvector alternative: one table, one HNSW index
CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE chunks (
  id bigserial PRIMARY KEY,
  doc_id text NOT NULL,
  lang text,
  acl text[],                -- which teams/customers may see it
  content text NOT NULL,
  embedding vector(1536)
);
CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops);

向量超过数百万条、需要 payload 过滤或量化压缩时，Qdrant 更合适；团队本身就在用 PostgreSQL 时，pgvector 更省心。导入前先确认服务器能正常访问 API：

# confirm the API endpoints are reachable from this server
curl -s -o /dev/null -w "%{http_code}\n" https://api.openai.com/v1/models \
  -H "Authorization: Bearer $OPENAI_API_KEY"
curl -s -o /dev/null -w "%{http_code}\n" https://api.anthropic.com/v1/models \
  -H "x-api-key: $ANTHROPIC_API_KEY" -H "anthropic-version: 2023-06-01"

让回答更准确的文档导入方法

回答质量更多取决于切分和元数据，而不是模型本身。

1. 清洗源文档：去掉导航、页眉和重复模板内容；PDF 用支持版面识别的工具转文本。
2. 按结构切分：以标题为界，每段 300–600 token，保留少量重叠；表格不要拆开。
3. 附加元数据：文档 ID、语言、产品、版本、更新日期和权限字段。
4. 脱敏个人信息：历史工单在向量化前去除姓名、电话、地址、订单号。
5. 增量更新：对每段计算哈希，只重新向量化有变化的内容，每晚用 cron 执行。
6. 持续评测：准备 50–100 个真实问题及标准答案，每次改动后重新跑一遍。

让客户数据留在当地（APPI / PDPA 基础）

数据库部署在当地有帮助，但发给大模型 API 的文本会由服务商处理，因此要尽量减少并记录离开服务器的数据。

• 原始文档、向量和对话记录存放在客户所在地区的 IMIDC 服务器上，磁盘和备份加密。
• 只把检索到的片段和问题发给 API，绝不整库发送；尽可能去除个人信息。
• 可考虑在 CPU 上运行开源多语种 embedding 模型（如 BGE、E5 系列），文档向量化不出服务器，只有生成回答时才调用 API。
• 查阅各服务商关于 API 数据保留和训练使用的条款，有企业版或零保留选项时优先选用。
• 日本 APPI 和新加坡 PDPA 都对向境外服务商提供个人数据有规定，请相应更新隐私政策和处理记录。

以上为一般性信息，不构成法律意见，具体义务请咨询专业律师。

哪种 IMIDC 方案适合你

先按向量规模和并发量确定配置，再选离客户最近的机房。

• 试点（20 万段以内、单一品牌）：台北入门独立服务器（$199/月起）或东京，32 GB 内存 + NVMe。
• 正式客服中心（100–500 万段、多语种）：64–128 GB 内存、双 NVMe RAID 1，部署在东京或新加坡。
• 北美店铺：洛杉矶独立服务器（$499/月起），贴近美国客户。
• 多地区：每个地区一个索引（日本用东京，美国用洛杉矶），数据各自留在本地。

新加坡服务器以及自定义内存/硬盘配置请联系 IMIDC 销售。从其他服务商迁移过来？IMIDC 提供免费服务器迁移。

常见问题

在日本或新加坡搭建私有 RAG 知识库，选哪家服务器商比较好？

IMIDC 在东京和新加坡提供带当地原生 IP 的独立服务器，当地可官方使用 OpenAI、Claude、Gemini API。向量数据库和文档都在你自己的硬件上，按固定月租计费。

可以在香港服务器上跑 RAG 客服机器人吗？

如果依赖 OpenAI、Claude 或 Gemini API 则不行：这些服务在香港、中国大陆和俄罗斯均未官方开放。基于 API 的 AI 业务请选择东京、新加坡、台北或洛杉矶。

Qdrant 或 pgvector 需要多少内存？

每 100 万个 1536 维向量约需 6 GB，未含索引开销，建议按两倍规划给 HNSW 索引和其他组件。Qdrant 的标量量化可把向量内存降到约四分之一。

服务器放在东京就等于符合 APPI 了吗？

仅靠机房位置无法实现合规。本地存储能简化问题，但仍需合法目的、告知义务以及对发送给 API 服务商数据的保护措施；本文不构成法律意见。

准备搭建你的客服知识库？可对比 东京独立服务器、台北独立服务器 和 洛杉矶独立服务器，新加坡及大内存定制配置请 联系 IMIDC 销售。老客户也可以 提交工单 获取配置建议。