数据平台笔记-从硬件组装开始


数据没上个PB级别,都不好意思说是大数据,所以我就称之为数据平台吧。这里记录下一些数据平台搭建过程中的笔记。

买了7台服务器,包括6台集群使用的,和一台工作站,工作站用于平时开发和快速计算用,比如GPU的计算。其他6台用于搭建集群,主要是用于存储金融数据和集群计算,还有其他的服务;服务器配置如下:

集群节点

Server Name: PowerEdge R710
CPU型号: Intel(R) Xeon(R) CPU  X5650  @ 2.67GHz
CPU总逻辑数: 24 (2*6*2) 
Mem: 62.7G
Disk: 2.2T
OS: centos 3.10.0-514.16.1.el7.x86_64

工作站节点

Server Name: HP Z840 Workstation
CPU型号: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
CPU总逻辑数: 20 (1*10*2) 
Mem: 62.8G
Disk: 8.7T
GPU: GeForce GTX 1080
OS: 4.10.0-37-generic #41~16.04.1-Ubuntu

工作站的磁盘是已经安装好的,集群的每个节点的磁盘都是重新买的,每个节点2块磁盘,然后一个一个手动安装上去,完了每个节点都从头开始做RAID5,安装操作系统,并且更新centos源和软件,最后在新买的机柜上面插入服务器,接入局域网的千兆路由器;每个节点的IP都已经设定好,不能修改;通电并接入UPS后,正常运行,硬件部分工作完成。