私有化部署
私有化部署
巴别鸟公有云网盘系统需要同时为包含免费用户在内的60万用户提供持续不间断服务、要挡住公网上的各种攻击、要不断提高系统效率以降低高昂的公有云服务器成本。多达10年的公有云不间断服务经验使巴别鸟系统久经考验。巴别鸟私有云系统是在巴别鸟公有云系统基础上发展起来的,继承了公有云巴别鸟的所有功能及特性,并与公有云巴别鸟保持同步更新,提供给您其他私有网盘无法比拟的高稳定性及高可用性。
部署方案
针对不同企业不同的IT系统建设需求,巴别鸟私有化系统支持多种灵活的部署方式及部署要求。无论是单服务器、多服务器、集群、超融合系统、分布式系统、第三方云平台甚至Docker方式的部署我们都支持。我们的部署团队可以根据你的需求和你共同制定部署方案。同时因为私有云只服务于单一企业的特性,我们可提供远超公有云系统的可选自定义设置,从界面操作到流程到权限都可以根据你的需求调整。
服务器建议配置及性能需求
服务器类型及作用:
巴别鸟网盘所需硬件系统由业务服务器及存储服务器两部份构成,其中业务服务器可以分为4种类型,这4种类型的服务可以根据需求部署在一台物理机或虚拟机中,也可以分散部署在四台甚至更多的服务器中。所以,部署巴别鸟系统最小单位是两台物理服务器或两台虚拟机(一台业务一台存储)
| 服务名 | 用途 | 操作系统 |
|---|---|---|
| 主业务服务器 | web服务、负载均衡、主业务功能实现 | Linux |
| 数据库服务器 | 数据库服务 | Linux |
| 搜索服务器 | 提供文件全文搜索、高级搜索功能 | Linux |
| 转码服务器 | 为需要转码预览的文件进行转码及增加水印 | windows 2012、Linux |
| 存储服务器 | 提供文件存储 | Linux |
极端情况下,如果使用服务器挂载的硬盘作为存储空间,巴别鸟也支持把全部服务及存储都部署在一台物理机或虚拟机中(一体机模式),但考虑到性能及灾备或是日后的升级扩容问题,不推荐这样的部署方式。
我们推荐的最佳部署方式是4台服务器(虚拟机)的小集群部署。主业务服务及数据库服务放在在一台服务器,搜索服务器和转码服务器独立,然后外加一台存储服务器。
如果存储的空间需求小于10TB,也可以不需要存储服务器。可以直接挂载硬盘或NFS磁盘进行存储。
巴别鸟也支持接入第三方存储,理论上,只要第三方存储系统支持NFS或S3协议都可以接入到巴别鸟作为存储服务。绝大多数存储系统都支持这两种协议。
各个服务器之间要保证互访的畅通。如内网有较高安全要求可以参阅 9.1.2需要开放的端口
最低性能配置:
巴别鸟的最低性能配置可以支持100左右用户正常使用,管理10TB以下的数据。
| cpu | 内存 | 系统盘 | 存储盘 | 网络 | 操作系统 |
|---|---|---|---|---|---|
| 8核CPU (参考基准E5-2609) | 32G ECC 内存 | 500G | 10TB以下 | 千兆 | Linux |
推荐性能配置实例:
巴别鸟的推荐性能配置可以支持1000-2000用户正常使用,管理最高可达1PB的文档。
巴别鸟支持多种部署方式,该实例是标准部署方式。使用虚拟机部署业务服务器对接独立的单台或多台对象存储服务器。业务服务器和存储服务器分开管理。
业务服务器:
建议业务服务器使用虚拟机进行部署
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 |
|---|---|---|---|---|
| 1 | 虚拟机 | 8核CPU 64G内存 500G SSD系统盘 | CentOS8或openeuler22 | 主业务服务器/数据库 |
| 2 | 虚拟机 | 8核CPU 32G内存 500G SSD系统盘 | CentOS8或openeuler22 | 搜索服务器 |
| 3 | 虚拟机 | 8核CPU 16G内存 200G SSD系统盘 | windows 2012 R2 | 转码服务器 |
*8核cpu的性能应该接近志强4410
巴别鸟企业网盘采用Docker部署,理论上只要是Linux操作系统即可进行部署,推荐使用CentOS或open Euler。
如果没有现成的虚拟机资源,需要采购新的业务服务器,业务服务器硬件配置需求如下:
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 |
|---|---|---|---|---|
| 1 | 业务服务器 | 至强银牌4210*2 20核CPU 64G内存 2TB SSD硬盘 | Linux | 主业务服务器 |
*业务服务器最好购买VM,使用虚拟化进行管理。
存储服务器(对象存储):
巴别鸟支持在通用服务器上搭建对象存储系统,如预计存储空间用量小于100TB,推荐使用单台服务器搭建对象存储系统。单台对象存储可以用磁盘进行数据校验冗余,并且可以以每次增加一台存储服务器的方式进行横向扩容。(扩容操作可以做到不停服)
对象存储服务器建议使用独立的物理机,建议配置如下:
| 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
|---|---|---|---|---|
| 存储服务器 | 至强银牌4210*2 20核CPU 64G内存 480G SSD硬盘 +存储所需容量硬盘 硬盘如果考虑性价比,建议使用 8T*10(2U) 或 8T*24(4U)。如果考虑存储密度及未来扩容投入可使用12T硬盘。 | Linux | 对象存储服务器 | 未来扩展建议增加相同磁盘容量的服务器。 |
如所需存储空间大于300TB,需要多台服务器搭建分布式对象那个存储系统。
巴别鸟也支持为客户搭建分布式对象存储系统。要了解分布式对象存储可查阅“自建对象存储”章节。
需要开放的端口
为了服务器系统的安全,我们需要只开放特定的端口,下面是需要开放的端口:
对外开放的端口(外网访问需要使用的端口):
| 端口号 | 端口用途 | 协议 | 开放的主机 |
|---|---|---|---|
| 80 | 网盘主业务 web外部访问端口,不加密 | http | 主业务服务器 |
| 443 | 网盘主业务 web外部访问端口,加密 | https | 主业务服务器 |
| 3060 | 网盘主业务node 外部访问端口,不加密 | TCP | 主业务服务器 |
| 3080 | 网盘主业务node 外部访问端口,加密 | TCP | 主业务服务器 |
服务器间需要开放的端口(服务器内部通讯需要开放的端口):
一般实际部署时,只会限制外网端口(对外),服务器间内部端口不会限制。但一些跨网络跨机房部署的用户也会需要限定内部端口。
| 主机 | 端口号 | 端口用途 | 协议 | 目标网段 |
|---|---|---|---|---|
| 业务服务器 | 6379 | redis访问端口,供windows转码与搜索服务器使用 | TCP | 转码服务器与搜索服务器 |
| 业务服务器 | 8080 | 供windows转码服务器,访问网盘业务服务器使用 | TCP | 转码服务器与搜索服务器 |
| 业务服务器 | 3306 | 数据库端口,供搜索服务器访问数据库使用 | TCP | 转码服务器与搜索服务器 |
| 业务服务器 | 9000 | docker 集群部署,内部可视化界面端口 | TCP | 转码服务器与搜索服务器 |
| 业务服务器 | 111 | portmap 端口 | TCP+UDP | 转码服务器与搜索服务器 |
| 业务服务器 | 2049 | TCP+UDP | TCP+UDP | 转码服务器与搜索服务器 |
| 业务服务器 | 35000 | mountd 端口 | TCP+UDP | 转码服务器与搜索服务器 |
| 业务服务器 | 2376 | docker REST API端口,进行TLS加密 | TCP | 本机 |
| 业务服务器 | 2377 | TCP端口 用来 docker 集群管理相关通信 | TCP+UDP | 本机 |
| 业务服务器 | 7946 | TCP与UDP端口,用来docker swarm 各节点间的通信 | TCP+UDP | 本机 |
| 业务服务器 | 4789 | docker overlay 网络默认端口 | TCP+UDP | 本机 |
| 搜索服务器 | 9200 | elastic 端口,供主业务服务器调用使用 | TCP | 业务服务器 |
| 搜索服务器 | 5601 | kibana端口,内部可视化elastic界面访问端口 | TCP | 业务服务器 |
| 搜索服务器 | 9998 | tika端口,提取文档文本服务器端口 | TCP | 业务服务器 |
| 搜索服务器 | 9000 | docker 集群部署,内部可视化界面端口 | TCP | 转码服务器与搜索服务器 |
| 搜索服务器 | 2376 | docker REST API端口,进行TLS加密 | TCP | 本机 |
| 搜索服务器 | 2377 | TCP端口 用来 docker 集群管理相关通信 | TCP | 本机 |
| 搜索服务器 | 7946 | TCP与UDP端口,用来docker swarm 各节点间的通信 | TCP+UDP | 本机 |
| 搜索服务器 | 4789 | docker overlay 网络默认端口 | TCP+UDP | 本机 |
| 转码服务器 | 转码服务器 | 可以访问业务服务器 | 可以访问业务服务器 | 可以访问业务服务器 |
部署时需要开放的端口:
| 端口号 | 端口用途 | 开放的服务器 | 目标IP地址 |
|---|---|---|---|
| 22 | ssh端口号,ssh 访问使用 | 所有服务器 | 部署用跳板机 |
| 443 | 获取授权 | 所有服务器 | 47.96.234.200 |
| 443 | 获取安装源 | 所有服务器 | 120.27.245.68 |
| 443 | Docker安装源 | 所有服务器 | 13.35.121.100 |
POC部署
POC部署适用于用户在选型前在生产环境进行POC测试而进行的部署方式。
POC部署需求:
基础POC部署,可测试软件功能,并发量,API接口,安全性,并进行生产环境试用。建议使用标准部署作为POC测试。
如需要进行对象存储、不同密区数据摆渡、高可用的POC,择需要增加相应的服务器和网段。
环境准备
推荐使用虚拟机进行部署:
巴别鸟私有化企业网盘采用Docker部署,理论上只要是Linux操作系统即可进行部署。推荐使用CentOS或open Euler。按要求准备好虚拟机后,联系我们预约时间后即可开始POC部署。
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
|---|---|---|---|---|---|
| 1 | 虚拟机 | 8核CPU 32G内存 500G系统盘 +500G存储盘 | CentOS8或openeuler22及以上 | 主业务服务器 | |
| 2 | 虚拟机 | 8核CPU 16G内存 500G系统盘 | CentOS8或openeuler22及以上 | 搜索服务器 | |
| 3* | 虚拟机 | 8核CPU 8G内存 200G系统盘 | windows 2012 R2 | 转码服务器 | CAD、office转码 |
*win服务器是为了更好的office文件预览效果。巴别鸟也支持纯Linux环境部署
POC部署其他要求如下:
| 编号 | 项目 | 要求 | 备注 |
|---|---|---|---|
| 1 | 远程接入 | 可以远程接入服务器进行部署 | 可使用堡垒机或者跳板机或向日葵、VPN,能远程接入服务器部署即可。 |
| 2 | 外网连接 | 服务器需要能连接外网,拉取安装包,获取授权 | 需要连接的外网地址: software.babel.cc docker.babel.cc |
POC部署的使用授权时长为30天,授权账户数为100个。
初始化
部署完成后,巴别鸟团队会帮助用户进行系统初始化,根据用户需求初始化系统。包括不限于:
初始化管理员账号。(需要准备一个邮箱地址作为超级管理员账号)
初始化通知发件邮箱。(需要用户准备一个可提供密码和smtp服务器地址的邮箱作为系统默认发件箱)
初始化部门结构。(对接AD或导入部门)
初始化基础配置。logo、企业名、各类配置项。
培训
巴别鸟是一个专业的企业级应用,需要一定的培训工作帮助客户落地。POC后建议联系我方销售人员进行使用培训。
培训分为3类:
管理员培训(培训管理员的配置,使用,需求功能实现。耗时 1-2小时)
部门经理培训。(培训部门经理权限分配、成员增减等日常管理方式。耗时 1小时)
使用者培训。(使用成员的培训。耗时 1小时)
开启POC试用
培训完成后即可开始正式POC试用,使用中遇到的问题可以在相关群直接询问,巴别鸟团队会在2个小时内响应并解答。POC系统有效期为30天,如果需要延期,可联系我们销售人员。
巴别鸟常用部署方式介绍
巴别鸟可以按需支持多种部署方式,这里介绍下巴别鸟常用的部署方式。
在阿里云、腾讯云、华为云等公有平台部署:
巴别鸟支持在公有云服务商如:阿里云、腾讯云、百度云、华为云、天翼云的虚拟机(ECS)及对象存储(OSS、OBS...)上进行部署,在互联网上为用户提供服务。
和纯私有化部署的差别对比如下表:
| 优缺点/ 部署方式 | 图片服务 | 视频服务 | 公网访问 | 稳定性 | 硬件费用 |
|---|---|---|---|---|---|
| 采用阿里云存储和阿里云服务器 | 可以使用阿里云提供的图片服务 | 可以采用阿里云的视频转码服务,但是需要额外付费(价格贵) | 可以在公网上访问,用户访问的快慢取决于用户自己的带宽和购买的阿里云的带宽。 | 系统很稳定,部署简单,便于管理。 | 需要支付阿里云的存储和服务器费用,可按月或按年付费等。服务器的维护即可由用户自己负责,也可以委托我们进行维护并负责升级。 |
| 存储和服务器均搭建在自己的内网 | 使用自建的图片处理服务(需要客户提供高性能的服务器) | 使用自建的转码服务(需要客户提供高性能的服务器),如果用户没有这方面的需求,可以忽略。 | 如果没有外网的出口,则用户不能在外网访问。但是在内网访问很快。 | 稳定,针对存储系统等的模块做了定制开发。数据的安全性由用户自己负责。 | 需要提供独立的主机和存储系统。服务器即可由用户选配购买,也可以由我们选配购买。服务器维护由用户负责,我们可以提供相应的软件升级服务。 |
公有云部署(1000+用户)要求:
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 |
|---|---|---|---|---|
| 1 | ECS | 16核CPU 32G内存 500G SSD系统盘 | CentOS8或openeuler22 | 主业务服务器 |
| 2 | ECS | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 数据库服务器 |
| 3 | ECS | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 搜索服务器 |
| 4 | 存储 | 对象存储系统。如阿里云OSS、华为云OBS | 对象存储系统。如阿里云OSS、华为云OBS | 对象存储系统。如阿里云OSS、华为云OBS |
在公有云平台部署的主要优势是不需要专人维护、无需购买硬件就能做到顶级的灾备、在互联网上访问速度快、同时服务器和数据在自己手上管理。
在公有云平台部署的缺点主要为:数据没有本地化、每年需要支付服务器租用费用及相应的带宽存储成本。
自购服务器(2台物理机)进行部署:
如果想在自己机房部署纯私有的巴别鸟,并且没有富余的虚拟机资源,需要采购硬件部署,要求如下:
| 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:建议使用2台 DELL T440 服务器来完成系统搭建。并购买DELL3年金牌服务。 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) |
|---|---|---|---|---|---|
| 两台服务器方案 业务+存储 | 两台服务器方案 业务+存储 | 两台服务器方案 业务+存储 | 两台服务器方案 业务+存储 | 两台服务器方案 业务+存储 | 两台服务器方案 业务+存储 |
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
| 1 | 服务器 | 志强银牌4410 *2 16核CPU、 64G内存、 2TB SSD硬盘 | open Euler、Ubuntu、CentOS | 主业务服务器 | 建议安装VM |
| 2 | 存储 | 4410 *2 16核CPU 、64G内存、 500G SSD硬盘+所需的硬盘空间(不需要raid或raid0) | open Euler、Ubuntu、CentOS | 存储服务器 | 硬盘容量按对存储空间需求进行配置 |
以上配置可支持1000+用户,150TB左右的存储空间
巴别鸟存储服务器使用对象存储系统,支持分布式部署(多台存储服务器)最低要求为一台物理服务器。支持使用硬盘组进行校验,支持2+1、3+1、4+1...等多种校验类型。详见 自建对象存储 章节
如需扩容存储空间,增加单台存储服务器即可。
也可增加一台存储服务器作为备份服务器,实时同步备份,主存储服务器出问题切换到备份服务器即可正常使用。
单服务器(1台物理机)部署:
一些没有机房但需要私有化部署巴别鸟,并且存储空间需求不大(10TB以下)的客户,可以选用单台服务器部署巴别鸟。只需购买一台符合要求的塔式服务器放置在公司也能满足使用巴别鸟的需求。
| 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) | 物理机服务器品牌建议:如果没有机房,建议使用塔式服务器进行部署。服务器存储硬盘建议raid1或者raid5+1 服务器的系统盘可选使用 raid 来增强冗余。如使用raid1方案,所需硬盘数量需要增加2倍。(2TB SSD变成 2TB SSD*2) |
|---|---|---|---|---|---|
| 一台服务器(一体机方案) | 一台服务器(一体机方案) | 一台服务器(一体机方案) | 一台服务器(一体机方案) | 一台服务器(一体机方案) | 一台服务器(一体机方案) |
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
| 1 | 服务器 | 志强银牌4410*2 16核CPU 64G内存 2TB SSD硬盘 +需要存储容量的硬盘*2(未来也可增加硬盘) | openEuler、Ubuntu、CentOS 8.5 及以上 | 一体机 | 建议安装VM,2个CPU授权。 |
单服务器部署整套巴别鸟系统不支持对象存储,采用只读硬盘或NFS的方式进行存储。建议使用raid1来提升系统可靠性。
可增加一台备份服务器用来进行数据同步备份。如主服务器出问题可以用备份服务器进行数据重建。
在现有虚拟机(超融合)系统上进行部署:
这是目前最常用的部署方式,在企业现有的服务器和硬件条件下进行部署,无需采购新的设备。
在客户现有的VM或超融合平台分配的虚拟机中完成部署,适合已经有一定IT建设及管理的用户。
采用小集群的方式部署,由虚拟机平台负责服务器的统一管理。
支持绝大多数虚拟化系统。
推荐采用4台虚拟机挂载存储空间的方式进行部署。
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 |
|---|---|---|---|---|
| 1 | 虚拟机 | 8核CPU 32G内存 500G SSD系统盘 | CentOS8或openeuler22 | 主业务服务器 |
| 2 | 虚拟机 | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 数据库服务器 |
| 3 | 虚拟机 | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 搜索服务器 |
| 4 | 虚拟机 | 8核CPU 16G内存 200G SSD系统盘 | windows 2012 R2 | 转码服务器 |
| 5 | 存储 | 支持NFS或S3接口的存储系统或虚拟机挂载磁盘作为存储盘 | 支持NFS或S3接口的存储系统或虚拟机挂载磁盘作为存储盘 | 支持NFS或S3接口的存储系统或虚拟机挂载磁盘作为存储盘 |
如有系统冗余需求,可以准备6台虚拟机,就能很好的完成数据库备份及系统冗余。
| 编号 | 服务器类型 | 配置要求 | 操作系统 | 服务器用途 |
|---|---|---|---|---|
| 1 | 虚拟机 | 8核CPU 32G内存 500G SSD系统盘 | CentOS8或openeuler22 | 主业务服务器 |
| 2 | 虚拟机 | 8核CPU 32G内存 500G SSD系统盘 | CentOS8或openeuler22 | 从业务服务器 |
| 3 | 虚拟机 | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 主数据库服务器 |
| 4 | 虚拟机 | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 从数据库服务器 |
| 5 | 虚拟机 | 8核CPU 16G内存 500G SSD系统盘 | CentOS8或openeuler22 | 数据库服务器 |
| 6 | 虚拟机 | 8核CPU 16G内存 200G SSD系统盘 | windows 2012 R2 | 转码服务器 |
| 7 | 存储 | 分布式对象存储 | 分布式对象存储 | 分布式对象存储 |
支持虚拟机挂载磁盘的形式把挂载盘作为存储空间。
也可以对接san存储或者对象存储系统等第三方存储系统。
巴别鸟也为客户提供自建对象存储服务。
自建对象存储服务器配合虚拟机部署:
巴别鸟支持为客户在通用服务器上搭建对象存储,因为对象存储软件定义存储的优势(高可用、横向扩展容易),推荐没有对象存储的用户可以新购一台服务器部署巴别鸟对象存储系统配合在虚拟机(超融合)运行的巴别鸟业务系统一起使用。
业务服务器需求同上一节“在现有虚拟机(超融合)系统上进行部署”的要求。
关于巴别鸟对象存储的详细介绍可查看“自建对象存储服务器”章节。
我们大多数客户最终都选择对象存储服务器作为存储。
最低支持单服务器搭建对象存储系统(150TB以下空间需求)。
| 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
|---|---|---|---|---|
| 存储服务器 | 至强银牌4210*2 20核CPU 64G内存 480G SSD硬盘 +存储所需容量硬盘 硬盘如果考虑性价比,建议使用 8T*10(2U) 或 8T*24(4U)。如果考虑存储密度及未来扩容投入可使用12T硬盘。 | Linux | 对象存储服务器 | 未来扩展建议增加相同磁盘容量的服务器。 |
单服务器对象存储网络拓扑图:
我们也支持搭建多台服务器组成的分布式对象存储系统。
分布式存储系统最小需求为2+1,就是需要准备三台存储服务器,性能要求和单台对象存储的要求一致。
*物理分布式存储目前推荐最小单位是3台存储服务器。2+1纠错码意味着每扩充2台存储节点就需要增加1台服务器作为纠错服务器。以此,4+1意味着增加4台存储服务器就需要增加一台纠错服务器。所以4+1的磁盘利用率高于2+1。使用4+1方案首次建设就需要5台存储服务器。每次扩容增加的最小单位和首次建设需要的最小服务器单位一致。
多服务器分布对象存储网络拓扑图:
可以新增一台或一套存储服务器用来实时备份。主存储服务器出问题快速切换到备份服务器即可正常使用。
分布式高可用高冗余部署:
金融机构、医院、能源、超大型企业因为有业务不中断的硬性指标,需要系统能做到高可用、高冗余,不会因为服务器的单点故障而中断服务,并且能做到热切换及热修复,极端情况下,连交换机等网络设备都需要实现主备分离,这就需要使用分布式高可用高冗余部署。
巴别鸟支持多种高可用高冗余方案,可以部署在传统的分布式系统中实现高可用高冗余。
我们也可以为客户搭建适合巴别鸟的分布式系统。(硬件需要客户按要求自行采购)
巴别鸟分布式部署能确保任何一个单点故障都不会影响系统的正常使用。
推荐的分布式容易部署方案,业务服务器采用主备双活,存储系统采用分布式存储。
有密区及非密区管控需求的,详见 “数据摆渡章节”
巴别鸟高可用系统网络拓扑
异地灾备部署
对于对数据保全有着较高要求的用户,巴别鸟也支持异地灾备方案。就是把重要的数据库及文件存储内容备份到异地的备份系统中。如果本地机房出现问题,只要备份数据在,可以在任何地方重建系统并恢复正常使用。
巴别鸟可以为客户搭建异地灾备服务器,但不支持冷热数据分离等高级备份方式,如果数据量极大(1PB以上)考虑到性价比,建议使用专业的备份系统(如:NBU、云祺)。
巴别鸟有支持NBU标准的备份API可以调用。
异地灾备部署对网络环境要求较高,不同位置的机房间最好有专线或稳定的VPN连接。
使用备份系统只能在出问题后通过备份还原及重建数据,不支持直接切换到备份数据。一般情况下数据重建周期会比较久。
使用备份系统进行异地灾备示意图:
如果不需要冷热数据分类保存,巴别鸟也可以采用对象存储自带的异地灾备功能为客户完成异地灾备部署。
使用对象存储进行异地灾备,当主系统出问题可以快速切换到灾备服务器中。
自建对象存储服务器
巴别鸟对象存储是在开源MinIO系统上发展起来的对象存储系统。它继承了MinIO高性能、可扩展、数据安全的优势,同时更适配巴别鸟企业网盘的应用场景。
巴别鸟对象存储系统作为先进的对象存储系统,在速度、安全性、稳定性、高可用、横向扩展方面都有着传统存储系统无可比拟的优势。
巴别鸟对象存储系统优势
性能
MinIO号称是世界上速度最快的对象存储服务器,没有之一。在 32 个 NVMe 驱动器节点和 100Gbe 网络上发布的 GET/PUT 结果超过 325 GiB/秒和 165 GiB/秒,和亚马逊S3相比有明显优势,远远超越传统HDFS。
高可用性:MinIO通过数据的多副本、故障转移和自动恢复,保证高度可靠性和可用性,从而确保数据不丢失和业务不中断。
低冗余且磁盘损坏高容忍:标准且最高的数据冗余系数为2(即存储一个1 M的数据对象,实际占用磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合(Erasure Coding Set)中的disk数量)。并且这种损坏恢复是基于单个对象的,而不是基于整个存储卷的。
安全性:
MinIO 通过最高级别的加密以及广泛的优化提供更多功能,几乎消除了通常与存储加密操作相关的开销。
数据分块存储与各个硬盘,获取硬盘或服务器读写权限也无法还原数据。
极高的可扩展性:MinIO支持分布式部署,并且可以水平扩展。在需要更多的存储空间或更高的性能时,可以通过添加新的节点轻松地扩展MinIO。
最低支持单机部署对象存储系统,而不是传统的需要三台独立服务器。
对象存储系统及纠删码
关于纠删码
巴别鸟对象存储系统(MinIO)使用纠删码erasure code 和校验和checksum来保护数据免受硬件故障和无声数据损坏。最高冗余状态下即便丢失一半数量(N/2)的硬盘,您仍然可以恢复数据。
纠删码是一种恢复丢失和损坏数据的数学算法,MinIO采用Reed-Solomon code将对象拆分成N/2数据和N/2奇偶校验块。这就意味着如果是12块盘,一个对象会被分成6个数据块、6个奇偶校验块,可以丢失任意6块盘(不管其是存放的数据块还是奇偶校验块) , 仍可以从剩下的盘中的数据进行恢复,我们称数据存储为D、纠删码(奇偶校验)为P。
默认情况下会以N/2个数据和N/2奇偶校验块的方式来进行驱动器分片(支持自定义以支持更高的空间利用率)
纠删码不同于传统的多副本技术,它的磁盘利用率更高,数据恢复效率更高。(但是不少存储厂商把纠删码宣传为多副本,把P数说成是副本数,这是不准确的,会引起很多误解)
巴别鸟语境下的多副本是指增加备份服务器全量同步存储的数据。
纠删码特点及与raid技术区别
纠删码可以保护数据免受多个驱动器故障的影响
RAID6允许两个驱动器故障而MinIO纠删码允许丢失一半的驱动器
RAID属于卷级别的纠删码而MinIO纠删码是基于对象实现的纠删码(不用停机)
有效空间计算(空间利用率)
假设需要100TB的存储空间,需要购买多少个多大的硬盘取决于选择的冗余标准。譬如:采用3+1的冗余方式,100TB可用空间就需要购买12块12TB的硬盘,4块硬盘一组组成3组,9个数据盘3个校验盘,可用空间就是9*12一共108TB可用。如果采用2+1的冗余方式,就需要15块10TB的硬盘,10个数据盘,5个校验盘。
3+1方案中12块硬盘只能坏任意3块不影响系统使用及数据还原,但如果使用2+1方案,虽然需要购买更多硬盘,但15块硬盘里能坏任意5块也不影响系统使用。
更换坏掉的硬盘后系统能自动修复数据。
空间利用率可以参考下表。如果空间需求量大(超过150TB)并且在持续增长,考虑到存储密度和性价比,建议一台服务器一次性配16块硬盘。
不同数量的磁盘及空间利用率可以点击下方链接进行计算
https://min.io/product/erasure-code-calculator?ref=docs
硬件准备
所需硬件配置。
巴别鸟支持单台服务器搭建对象存储系统(单节点),以硬盘组作为冗余对象。最高可以损坏一半的硬盘也不影响系统的正常使用。
巴别鸟对象存储系统需要客户按要求事先准备好硬件服务器以供部署,最低配置需要2块志强CPU、64GB内存及400G固态硬盘(系统盘)然后增加相应存储容量所需的机械硬盘。
如要计算所需存储空间和购买的硬盘数,可点击下方链接进行计算。
https://min.io/product/erasure-code-calculator?ref=docs
建议硬件配置如下:
| 服务器类型 | 配置要求 | 操作系统 | 服务器用途 | 备注 |
|---|---|---|---|---|
| 存储服务器 | 至强银牌4210*2 20核CPU 64G内存 480G SSD硬盘 +存储所需容量硬盘 硬盘如果考虑性价比,建议使用 8T*12(2U) 或 8T*24(4U)。如果考虑存储密度及未来扩容投入可使用12T硬盘。 | Linux | 对象存储服务器 | 未来扩展建议增加相同磁盘容量的服务器。 |
巴别鸟对象存储使用软件定义存储技术,所以硬盘无需raid,考虑到一些服务器需要raid才能支持多磁盘,这种情况下每块硬盘都做成raid0直通模式即可。
单服务器模式每次扩容需要增加一台配置一致的服务器。扩容时可以不间断服务。
单服务器部署也支持增加一台配置一致的服务器搭建主备模式实时同步,如果一台服务器硬件损坏,可以快速切换到备用服务器。
磁盘有效空间容量和选择的冗余方式有关。譬如:使用8块10T硬盘来组建对象存储系统,采用3+1的冗余方案,相当于4块硬盘一个分组,分为2组,有效可用空间为60TB,同时8块硬盘损坏任意两块也不影响数据及系统使用,替换坏的硬盘即可自动重建。如果采用7+1的冗余方案,有效可用空间就为70TB,8块硬盘里任意损坏1块不影响数据及系统使用。
多服务器部署(分布式)。
巴别鸟对象存储系统支持多服务器部署,如使用服务器为冗余单位,最少要求3台服务器,即2+1模式,但考虑到空间利用率,推荐采用3+1方案(即4台服务器)
每个节点(服务器)的配置要求和上文单服务器部署一致。
建议节点配置一致(相同的操作系统、相同数量的磁盘和相同的网络连接)
每个节点提供的驱动器数量必须相同
节点间的时间差异不能大于15分钟(建议使用NTP确保时间的一致性)
空间利用率计算同单服务器。
私有化要求及服务流程
为了确保使用巴别鸟系统的体验和质量,巴别鸟所有的私有化部署工作都是由巴别鸟团队远程或现场进行部署及签发证书,暂不支持代理团队部署或客户自行部署。同时系统的维护工作也由巴别鸟运维团队进行定期远程维护。客户只需按要求准备好硬件及接入资源,其他事情就交给巴别鸟团队来完成。
私有化部署前期需要准备的:
计算大体使用人数、并发量、存储空间及空间增长率交由巴别鸟客户经理评估所需配置。
客户评估现有服务器剩余资源(如有),根据实际情况选择部署方式。
巴别鸟出具私有化部署方案。
客户根据方案准备相应的服务器及接入资源,分配服务器、安装操作系统。
保证服务器能够在外网远程桌面(也可以使用向日葵)和ssh访问,开启相应端口(我们的部署技术人员会提出具体端口要求)
用户最好能提供一个域名,没有域名的话需要一个固定的ip地址,用ip地址访问的方案需要保证在使用时期ip地址不会发生变动
如需接入邮箱找回密码或手机号发送验证码,需要准备相应的邮箱接入或短信网关。
| 编号 | 项目 | 要求 | 备注 |
|---|---|---|---|
| 1 | 域名 | 需要一个独立的主域名或二级域名 | 可以在公司原有域名的基础上设定一个二级域名。如yun.company.com |
| 2 | 邮箱 | 需要一个可发送通知邮件的邮箱 | 支持smtp的邮箱地址即可 ########## 邮件推送相关 ########## MailUser=xxxx@mail.com MailPassword=password MailHost=邮件服务器地址 MailPort=端口号 |
| 3 | 远程访问 | 可远程访问服务器进行配置 | 支持远程访问及控制服务器 |
| 4 | SSl证书 | https需要申请SSL证书 | 像数字证书颁发机构CA申请。推荐申请 OV 通配符 |
| 5 | 短信接口 | 如需要手机邀请,手机注册。则需开通短信接口服务(可选) | 阿里云、腾讯云等云服务商也提供短信服务接口,申请即可开通 |
实施阶段
准备工作完成后通知我们,我们会给用户一个具体的实施时间安排,实施时间段内请保持外网访问的畅通
实施一般需要2-3个工作日,第一天远程部署安装巴别鸟,第二天测试和验收,第三天修正遇到的问题
实施完成后我们会通知用户,然后开始初始化阶段
初始化服务
巴别鸟为所有私有云客户提供了初始化服务,服务内容包括:
维护人员培训(远程或是现场)
帮助用户进行数据迁移、用户导入、权限分配等工作(远程或是现场)
使用人员培训 (远程或是现场)
接入第三方服务
作为一个围绕企业文件的办公平台,私有化的巴别鸟企业网盘通过接入第三方API的方式,可以轻松集成各种第三方服务到巴别鸟中,以满足不同的需求这些服务包括但不限于:电子签名、高级CAD预览、office、文字识别、图像识别....等第三方服务来解决您遇到的需求问题。
接入第三方服务的条件
理论上支持BS架构的第三方应用或者服务模块都可以接入。
第三方服务必须提供开放的API,以便巴别鸟企业网盘可以与之集成
如果是互联网服务,需要服务器能访问外网。
需要企业自行或委托我们购买接入的第三方服务的授权
推荐的可接入服务
文件防泄密系统: ipguard
在线office编辑:onlyoffice(自带)、office365、WPS Online、永中office
高级CAD预览:浩辰云图、梦想CAD
CAD在线编辑:梦想CAD
在线签章:上上签
文字识别图像识别:百度千帆(智能云)
AI相关:智巢AI(自有)、ChatGPT、智谱AI
开放API(统一存储平台)
巴别鸟私有化版本提供了开放API,使用巴别鸟API,您可以在您的系统中使用巴别鸟的几乎所有能力。并在云中构建自定义应用程序和集成,而无需构建和维护自己的内容管理服务。
统一存储平台
非结构化数据统一管理:
巴别鸟企业网盘的开放API的核心价值在于它可以作为一个统一的存储平台,用于整合和管理企业各个平台的非结构化数据。这包括但不限于OA(办公自动化)、CRM(客户关系管理)、ERP(企业资源规划)等应用,这样企业的所有非结构化数据都能在一个平台统一管理,提高安全性并节约存储资源。
企业级对象存储:
巴别鸟企业网盘还可以开放自带的对象存储接口,作为企业的统一存储管理平台。这意味着企业可以将不同来源的数据,包括文档、媒体、报表等,存储在巴别鸟企业网盘,并通过API访问和管理这些数据。
文档和支持
详细文档:
巴别鸟企业网盘提供详细的API文档,包括示例代码和用例,以帮助开发人员快速集成API。
附件2: 巴别鸟API文档 https://www.babel.cc/p/api-integration.do
开发支持:
我们提供开发支持服务,技术人员会参与联调,一对一解决在API集成过程中可能遇到的问题和挑战。
单点登录SSO
巴别鸟私有化系统支持对接SSO单点登录平台或企业微信、钉钉、飞书、OA、ADFS、ERP等第三方平台以是实现单点登录。
更多关于单点登录的内容可以参见上文安全性章节的 :单点登录(Single Sign-On,SSO)集成
数据摆渡
巴别鸟可以使用“部门安全策略”的方式隔离某个部门数据,实现涉密部门的安全性和外发审批等功能,但是面对网络隔离的密区和非密区之间的文件传输,就需要用到数据摆渡的方式,确保密区和非密区之间可以安全可控的交换文件,这里就需要部署巴别鸟数据摆渡功能。在巴别鸟中,该功能模块命名为“传送文件“便于普通用户理解。
实现方式
在密区(研发区)和非密区(办公区)各部署一套巴别鸟,在两套巴别鸟之间传送文件:
需要安装巴别鸟数据摆渡模块
两套服务器间需要配置传输端口
传输使用SSL加密
支持多套巴别鸟之间互传文件
超级管理员可设定特定的文件接收者及审核人
可设定从非密区向密区传送文件无需审批
所有的传输都有记录及日志
多套巴别鸟在多个网络进行文件传送:
单套巴别鸟简化的文件传送方式*:
有些客户的核心需求是非密区往密区便捷快速传输文件,仅想在密区部署一套巴别鸟,并没有在非密区使用网盘的需求,这时候就可以使用简化的数据摆渡方式。
出于安全考虑,该方式仅支持非密区向密区传送文件,并不支持密区向非密区传送文件。
除了在密区部署完整的巴别鸟系统,也需要在非密区部署一个文件传输服务。
非密区向密区传输文件无需审批。
使用步骤
部署完成数据摆渡模块的巴别鸟会在企业控制台增加一个“传送文件配置”模块,如果在企业控制台能看到该模块入口,说明已部署成功数据摆渡模块。
在企业控制台“传送文件配置”中新建接受端口和发送端口。已确定数据摆渡的接受端和发送端。
如果其中一套巴别鸟只配置了接口端口没有配置发送端口,那么就只能接收文件但不能发送文件。如:密区只能接收文件但不能发送文件。
新建了接收端会自动生成一个token,发送端要填入该token以实现加密传输。
一个巴别鸟可以建立多个接收端,每个接收端可以选择不同的成员。如:研发部和技术部的接收端分开。
通过审核后,接收人员能在自己的巴别鸟账号“传送文件”栏目找到摆渡过来的文件。
使用者在巴别鸟企业网盘中直接右键“传送文件”选择传送的接收端进行文件传送(发件)。并在“传送文件”栏目下查看发送过来并通过审核的文件。
为保证安全,传送文件以文件为单位(在多层文件夹中夹带重要文件,骗过审核),并不支持选择文件夹传送,但支持多选文件进行传送。
具有审批权限的管理员或部门经理可以在“传送文件”栏目下对接收和发送的文件进行审核,审核通过后文件才能传输。
定制化开发
巴别鸟私有化版本可以为客户提供专业的定制化开发(二次开发)服务。在巴别鸟现有产品的基础上针对客户具体需求推出更适合客户的产品。
巴别鸟定制开发优势
从产品思维出发帮助您设计产品
不同行业有不同的工作流程及使用习惯,同时需求和最终的产品间往往也隔着很深的鸿沟。只有需求没有好的产品设计往往会使项目迟迟无法落地。为了更好的适用于您的使用场景,我们职业产品经理带队的Babel care团队会为您的企业定制属于你的解决方案及二次开发支持。
精细化估时管理
我们拥有曾服务于北大方正的精细化估时管理体系,能精确的进行开发估时管理,提高项目成功率及落地效率。项目估时清晰有据可查,有效降低企业成本并提高效率。
透明的项目跟进及验收
在项目的每一个阶段,我们都有专职项目经理和产品经理跟进。确保项目进度及验收标准。并且我们可以开放我们的Jira(项目管理工具)给客户,让客户随时了解到项目的进度及耗时。
保持更新和维护
定制开发最普遍的问题是未来的更新和维护问题。传统的定制开发因为和标准产品有较大区别,所以往往会使用新的分支,开发团队也没有精力去维护新的分支,这就造成了定制开发产品会失去持续的维护及功能更新,越来越不好用或者孤立,最终被弃用。巴别鸟注意到并解决了这个问题,我们会在标准产品的基础上使用模块化的方式开发新的定制需求,或者把定制需求结合进标准产品以配置项的方式进行管理。这样,就是定制开发产品也能享受标准产品的更新及维护服务,做到可持续发展。
支持白牌服务(OEM)
出于商业目的或品牌建设需求,一些企业需要使用自己的产品名称及logo,巴别鸟可提供符合企业要求的白牌(OEM)版本。
透明、专业、负责
负责,是客户给我们最多的和最高的评价。在项目维护期内,我们会站在企业角度考虑,及时对应修正bug并完成功能调整。为企业提供长期可持续的维护服务。
巴别鸟定制开发范围
基于API的系统对接:如与OA、CRM、PDM等系统的对接整合。
API的定制开发:针对巴别鸟企业网盘某项功能开放API。
使用巴别鸟API接口的独立功能模块或子系统的定制开发。
围绕巴别鸟企业网盘现有功能的功能扩充,流程定制,数据交换。
基于巴别鸟源码的界面重塑及功能定制化开发。
巴别鸟定制开发流程
和客户确定需求及技术实现方案。出具:《需求分析说明书》
产品经理和客户深度讨论,设计原型和交互。出具《二次开发方案》、《产品原型》、《详细模块及估时表》
商务及合同环节,客户支付预付款项。
设计出图,开发启动。
内部测试及联调。
试上线及用户测试。
用户培训。
用户验收及交付
客户支付尾款。
信创支持
巴别鸟多年来一直积极响应国产化号召,巴别鸟的产品也能运行在大多数信创环境下。特别是针对服务器端,无论是CPU、操作系统还是数据库,巴别鸟都有相应的信创解决方案。
CPU及服务器架构支持。
巴别鸟支持X86和arm指令集的国产CPU,如X86的龙芯、飞腾、麒麟、海光…同时也支持arm架构的国产CPU,如:鲲鹏架构、飞腾arm架构。
操作系统。
巴别鸟使用docker部署,支持一切支持docker的Linux操作系统。如open Euler、银河麒麟、统信UOS
数据库。
巴别鸟推荐使用AliSQL数据库或其他兼容MySQL的数据库如:open Causs (高斯)。
巴别鸟也可以为定制接入其他国产数据库。如:达梦、人大金仓、南大通用…..
客户端。
巴别鸟客户端可以运行在Linux系统上,支持麒麟、统信等国产化系统。
由于Linux系统文件管理界面并没有统一,Linux版本的巴别鸟不支持同步文件夹及映射盘功能。
| 分类 | 分类 | 标准部署系统(非信创) | 巴别鸟信创方案(x86) | 巴别鸟信创方案(arm) | 信创版本不支持的功能 |
|---|---|---|---|---|---|
| 业务服务器 | 操作系统 | Centos、openEuler、Ubuntu | openEuler 、麒麟 | 鲲鹏、麒麟、统信 | 无 |
| 业务服务器 | 巴别鸟版本 | 标准版 | 巴别鸟信创版(X86) | 巴别鸟信创版(arm) | 无 |
| 业务服务器 | 数据库 | MySQL | 高斯、TiDB、aliSql | 高斯arm | 无 |
| 业务服务器 | 组件/中间件 | tomcat | tomcat、TongWeb7 | tomcat | 无 |
| 业务服务器 | 组件/中间件 | pomleo | pomleo(信创) | pomleo(信创) | 无 |
| 业务服务器 | 组件/中间件 | Elastic Search | Elastic Search( 信创) | Elastic Search(arm) | 无 |
| 业务服务器 | 组件/中间件 | Redis | Babel-readis | Babel-readis | 无 |
| 存储服务器 | 存储系统 | minio | minio | minio-arm | 无 |
| 客户端 | 客户端 | 巴别鸟win/mac客户端 | 巴别鸟linux/麒麟/Ubuntu客户端 | 需要二开移植 | linux版本客户端不支持映射盘、同步文件夹功能 |