淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)
時(shí)間：2025-04-09 06:00:45 點(diǎn)擊次數(shù)：
中人教儀廠
1建造設(shè)計(jì)目標(biāo)
建造設(shè)計(jì)云實(shí)驗(yàn)平臺(tái)，在該平臺(tái)上完成了編程教學(xué)實(shí)驗(yàn)、數(shù)值庫(kù)實(shí)驗(yàn)以及網(wǎng)盤應(yīng)用系統(tǒng)；該平臺(tái)技術(shù)上應(yīng)用服務(wù)器虛擬化技術(shù)經(jīng)過(guò)云管理平臺(tái)完成了實(shí)驗(yàn)環(huán)境的快速部署；虛擬化平臺(tái)基于磁盤陣列集中存儲(chǔ)，應(yīng)用FC SAN互聯(lián)網(wǎng)架構(gòu)。
現(xiàn)規(guī)劃建造設(shè)計(jì)一個(gè)Hadoop 大數(shù)值實(shí)驗(yàn)室，使用已經(jīng)建造設(shè)計(jì)好的平臺(tái)，經(jīng)過(guò)拓展資源池的方法部署，運(yùn)用現(xiàn)有服務(wù)器虛擬化平臺(tái)虛擬出大量虛擬機(jī)用來(lái)組建Hadoop 集群，主要用來(lái)學(xué)生實(shí)驗(yàn)以及科研用途。假定建造設(shè)計(jì)目標(biāo)和規(guī)模如下：
建造設(shè)計(jì)目標(biāo)：建造設(shè)計(jì)成校級(jí)實(shí)驗(yàn)室，適用學(xué)生做大數(shù)值實(shí)驗(yàn)和教師大數(shù)值科研。
建造設(shè)計(jì)規(guī)模：系統(tǒng)支持100個(gè)左右的虛機(jī)同時(shí)運(yùn)行，功能適用學(xué)生大數(shù)值實(shí)驗(yàn)需求。
拓展性需求：系統(tǒng)需具備良好拓展能力，可以便利拓展系統(tǒng)容量（KV）和功能，以適用更多實(shí)驗(yàn)和科研需求。
2配備方案
本章節(jié)對(duì)組建大數(shù)值實(shí)驗(yàn)室所需要的硬件資源實(shí)行配備，從大數(shù)值實(shí)驗(yàn)資源需求出發(fā)來(lái)解析組建大數(shù)值實(shí)驗(yàn)室需要對(duì)現(xiàn)有物理服務(wù)器、磁盤陣列、FC交換機(jī)、IP互聯(lián)網(wǎng)交換機(jī)的資源做哪些擴(kuò)容。
2.1已有資源
云實(shí)驗(yàn)平臺(tái)已經(jīng)部署了10多臺(tái)2路物理服務(wù)器，經(jīng)過(guò)1臺(tái)FC交換機(jī)與1臺(tái)磁盤陣列連接；現(xiàn)有物理計(jì)算資源可以支撐同時(shí)運(yùn)行200個(gè)虛機(jī)（1個(gè)LCPU、4GB內(nèi)部存儲(chǔ)、30GB虛擬磁盤），現(xiàn)有磁盤陣列的存儲(chǔ)資源主要提供虛機(jī)存儲(chǔ)空間和網(wǎng)盤存儲(chǔ)空間。
2.2擴(kuò)容資源需求
對(duì)資源需求實(shí)行估算是虛擬化系統(tǒng)硬件配備的基礎(chǔ)依據(jù)。在大數(shù)值實(shí)驗(yàn)室中，資源可分為兩大類：一類是運(yùn)行時(shí)系統(tǒng)需要的資源，它決定了系統(tǒng)能支持同時(shí)運(yùn)行多少個(gè)虛機(jī)，該情形主要關(guān)注物理服務(wù)器的CPU 資源、內(nèi)部存儲(chǔ)資源和磁盤陣列的IOPS 資源，磁盤IOPS資源在大數(shù)值實(shí)驗(yàn)中需求相對(duì)較高；另一類是系統(tǒng)可以"放置"多少個(gè)虛機(jī)，這主要關(guān)注磁盤陣列的存儲(chǔ)容量（KV）。
運(yùn)行資源
假定虛機(jī)規(guī)格如下表中所示，該規(guī)格適用大數(shù)值實(shí)驗(yàn)環(huán)境下對(duì)功能的需求；則200個(gè)虛機(jī)同時(shí)運(yùn)行，需提供下表中所需資源。
|
Linux虛機(jī)規(guī)格 |
同時(shí)運(yùn)行虛機(jī)數(shù)量 |
虛擬資源池大小需求 |
|
CPU大小 |
2個(gè)邏輯CPU、2.0GHZ |
100 |
CPU資源 |
200個(gè)邏輯CPU、200GHz |
|
內(nèi)部存儲(chǔ)大小 |
4GB |
內(nèi)部存儲(chǔ)大小 |
400GB |
|
磁盤IOPS |
100 |
磁盤IOPS |
10000 |
當(dāng)然，對(duì)于Hadoop集群中的Master虛機(jī)應(yīng)當(dāng)配備大些內(nèi)部存儲(chǔ)，比如8GB。
存儲(chǔ)容量（KV）
磁盤陣列存儲(chǔ)空間由需要多少個(gè)虛機(jī)和虛機(jī)磁盤大小決定，假定虛機(jī)磁盤規(guī)格如下表所示、需要放置500個(gè)虛機(jī)，總共需要約210TB的存儲(chǔ)空間。
|
Linux虛機(jī)規(guī)格 |
虛機(jī)總數(shù) |
磁盤陣列存儲(chǔ)空間需求 |
|
磁盤1（系統(tǒng)盤）大小 |
15GB |
500 |
磁盤空間 |
107500GB（100TB） |
|
磁盤2（數(shù)值盤）大小 |
200GB |
2.3物理服務(wù)器擴(kuò)容配備
作為虛擬化主機(jī)的物理服務(wù)器，目前可選用的配備主要有2路和4路，綜合考慮CPU運(yùn)用率、互聯(lián)網(wǎng)成本等因素，我們建議選用2路服務(wù)器作為虛擬化主機(jī)，2路較4路將提供更好的性價(jià)比。
首先計(jì)算總共需要多少物理的CPU資源和內(nèi)部存儲(chǔ)資源，計(jì)算以上述"運(yùn)行資源"為基礎(chǔ)依據(jù)，并考慮物理資源的80%用作運(yùn)行虛擬機(jī)。
|
虛擬資源池大小 |
比例 |
物理資源池大小需求 |
|
CPU資源 |
200個(gè)邏輯CPU、200GHz |
80% |
CPU資源 |
250個(gè)邏輯CPU 250GHz |
|
內(nèi)部存儲(chǔ)資源 |
400GB |
內(nèi)部存儲(chǔ)資源 |
500GB |
物理服務(wù)器規(guī)格和所需數(shù)量如下表所示。
|
新增物理資源池大小 |
物理服務(wù)器規(guī)格 |
物理服務(wù)器數(shù)量 |
|
CPU資源 |
250個(gè)邏輯CPU 、250GHz |
CPU |
2路10核、超線程（40個(gè)邏輯CPU）、2.0GHz |
7 |
|
內(nèi)部存儲(chǔ)資源 |
500GB |
內(nèi)部存儲(chǔ) |
128GB |
4 |
|
|
|
|
磁盤 |
1*240GB SSD盤 |
|
|
|
|
網(wǎng)口 |
4*1gb |
|
|
|
|
FC口 |
1*8gb |
按照估算，需要新增7臺(tái)2路物理服務(wù)器即可適用計(jì)算功能需求，本項(xiàng)目中我們實(shí)際配備上述規(guī)格的物理服務(wù)器8臺(tái)。
2.4磁盤陣列擴(kuò)容配備
磁盤陣列作為虛擬化系統(tǒng)后端共享存儲(chǔ)，主要考慮IOPS功能和存儲(chǔ)空間的要求。存儲(chǔ)空間顯然容易配備，而IOPS存在諸多變數(shù)，這是個(gè)無(wú)法準(zhǔn)確估算的指標(biāo)，為了使系統(tǒng)具備良好的功能，我們實(shí)行了仔細(xì)考量。
依據(jù)2.2節(jié)所估算的IOPS功能要求和存儲(chǔ)空間要求，估算系統(tǒng)需要多少塊SAS磁盤。
|
存儲(chǔ)資源需求 |
單塊SAS盤 |
需配備SAS磁盤數(shù)量 |
|
IOPS |
10000 |
IOPS |
200 |
50塊 |
|
存儲(chǔ)容量（KV） |
107500GB |
容量（KV） |
900GB |
120塊 |
同時(shí)適用IOPS功能和容量（KV）需求需要新增約120塊SAS盤，這個(gè)投資顯得過(guò)高。為了降低存儲(chǔ)上的投資，我們采取如下配備和部署的策略：
第1：使用高功能SSD盤集合SAS盤，提供較SAS盤更好的功能；該部分的空間主要用來(lái)虛機(jī)的系統(tǒng)盤。
第2：使用高功能SSD盤集合大容量（KV）SATA盤，主要適用系統(tǒng)容量（KV）的需求，并提供了接近SAS盤的功能；此部分存儲(chǔ)空間主要用來(lái)虛機(jī)的數(shù)值盤。
現(xiàn)有磁盤陣列擴(kuò)容配備配備如下表：
|
磁盤陣列擴(kuò)容配備 |
可提供的規(guī)格、功能 |
|
控制器 |
（雙活冗余控制器） |
IOPS |
大于12000 |
|
緩存 |
（32GB） |
存儲(chǔ)容量（KV） |
120TB裸容量（KV） |
|
SSD盤 |
新增：4*200GB |
SSD緩存 |
支持 |
|
SAS盤 |
新增：12*900GB |
精簡(jiǎn)置備 |
支持 |
|
SSD盤 |
新增：4*400GB |
存儲(chǔ)快照 |
支持 |
|
SATA盤 |
新增：28*4TB |
|
|
|
|
|
|
|
2.5FC SAN互聯(lián)網(wǎng)擴(kuò)容配備
由于新多加了8臺(tái)物理服務(wù)器，F(xiàn)C交換機(jī)需要新多加激活端口和相應(yīng)模型塊，數(shù)量為8個(gè)。
2.6IP互聯(lián)網(wǎng)擴(kuò)容配備
原交換機(jī)為48個(gè)千兆網(wǎng)口，從端口數(shù)量上來(lái)說(shuō)資源是夠的，但是在大數(shù)值實(shí)驗(yàn)環(huán)境中，虛機(jī)之間存在大量的東西向數(shù)值流量，因此我們?cè)O(shè)計(jì)多加一臺(tái)24口的千兆交換機(jī)用來(lái)大數(shù)值集群后端互聯(lián)網(wǎng)流量通道。
2.7擴(kuò)容配備表單
組建適用100個(gè)虛機(jī)同時(shí)運(yùn)行的大數(shù)值實(shí)驗(yàn)平臺(tái)，需要對(duì)現(xiàn)有云實(shí)驗(yàn)平臺(tái)物理資源實(shí)行擴(kuò)容，擴(kuò)容含有概括：新增8臺(tái)物理服務(wù)器、磁盤陣列添加SSD/SAS/SATA盤、FC交換機(jī)多加激活端口、新增1臺(tái)24口IP交換機(jī)，詳細(xì)擴(kuò)容配備表單如下表：
|
序號(hào) |
名稱 |
品牌/型號(hào) |
擴(kuò)容配備描述 |
數(shù)量 |
單位 |
|
一 |
云實(shí)驗(yàn)平臺(tái)硬件擴(kuò)容配備 |
|
1-1 |
虛擬化主機(jī) |
云創(chuàng)cServer |
2U機(jī)架式服務(wù)器帶機(jī)架裝配套件；CPU:2顆Xeon E5-2670 V3，內(nèi)部存儲(chǔ)：128GB;4個(gè)千兆網(wǎng)口；Disk：1塊240GB SSD，板載支持Raid0,1,5 ,FC口：?jiǎn)慰?Gb； |
8 |
臺(tái) |
|
1-3 |
磁盤陣列 |
云創(chuàng)
rStor 7000 |
擴(kuò)容新增：4*200GB SSD，4*400GB SSD，12*900GB SAS盤、28*4TB SATA盤，SSD緩存功能、精簡(jiǎn)配備功能、快照功能 |
0 |
臺(tái) |
|
1-4 |
光纖交換機(jī) |
Brocade 300B |
擴(kuò)容新增：8個(gè)端口激活許可，8個(gè)端口8gb模型塊； |
0 |
臺(tái) |
|
1-5 |
千兆交換機(jī) |
華為 S5700-28C-SI |
24個(gè)10/100/1000Base-T，可插拔交流ACAC電源，交流ACAC供電 |
1 |
臺(tái) |
|
二 |
Hadoop教學(xué)培訓(xùn)服務(wù) |
|
2-1 |
|
|
|
1 |
套 |
|
三 |
其他相關(guān)費(fèi)用 |
|
3-1 |
機(jī)儲(chǔ)物儲(chǔ)物柜 |
|
|
1 |
臺(tái) |
|
3-2 |
定制研發(fā) |
|
|
|
|
|
3-3 |
裝配調(diào)節(jié)測(cè)試 |
|
|
|
|
|
3-4 |
培訓(xùn)服務(wù) |
|
|
|
|
3部署方案
3.1系統(tǒng)架構(gòu)
系統(tǒng)架構(gòu)在擴(kuò)容前后基礎(chǔ)沒有改變，擴(kuò)容后的整個(gè)虛擬化系統(tǒng)部署架構(gòu)如下圖所示。
與原先區(qū)別主要是資源池?cái)U(kuò)充了，新增的物理服務(wù)器包括一個(gè)新的集群，并而且經(jīng)過(guò)新多加一臺(tái)千兆交換機(jī)包括大數(shù)值實(shí)驗(yàn)虛機(jī)后端互聯(lián)網(wǎng)流量通道。
3.2IP互聯(lián)網(wǎng)部署
本項(xiàng)目中對(duì)于IP互聯(lián)網(wǎng)的部署設(shè)計(jì)，除了考慮vSphere環(huán)境下一般性的部署注意事項(xiàng)外，還需要注意由虛機(jī)包括的Hadoop集群對(duì)IP互聯(lián)網(wǎng)的需求。
上圖是一臺(tái)物理服務(wù)器的虛擬互聯(lián)網(wǎng)和物理互聯(lián)網(wǎng)連接示意圖。
每個(gè)虛機(jī)配備2個(gè)虛擬千兆網(wǎng)口，一個(gè)用來(lái)虛機(jī)前端業(yè)務(wù)流量，一個(gè)用來(lái)Hadoop集群后端流量，虛擬交換機(jī)vSwitch1和vSwitch2技術(shù)上可以使用一臺(tái)、可以配備為標(biāo)準(zhǔn)虛擬交換機(jī)或分布式虛擬交換機(jī)，為了清晰和降低難度，建議配備為2個(gè)標(biāo)準(zhǔn)虛擬交換機(jī)；vSwitch0和vSwitch1上行鏈路可以互為備份，vSwitch1和vSwitch2的上行鏈路可以互為備份；物理服務(wù)器4個(gè)網(wǎng)口連接到2臺(tái)堆疊的物理交換機(jī)。這種部署設(shè)計(jì)完成了IP互聯(lián)網(wǎng)全冗余，提供了故障變換和互聯(lián)網(wǎng)負(fù)載均衡功能。
3.3Hadoop集群部署
經(jīng)過(guò)虛機(jī)部署Hadoop集群，當(dāng)然需要評(píng)估虛機(jī)資源的需求，即使評(píng)估有誤也無(wú)關(guān)系，虛擬化的一大好處就在于資源可以靈活調(diào)節(jié)。
在部署和使用虛機(jī)時(shí)，我們可以集合使用虛機(jī)模板、虛機(jī)克隆、虛機(jī)快照等技術(shù)為創(chuàng)建和使用實(shí)驗(yàn)環(huán)境提供便利。
Hadoop集群含有了Master節(jié)點(diǎn)和Slave節(jié)點(diǎn)，可以實(shí)行Hadoop部署實(shí)驗(yàn)、HDFS實(shí)驗(yàn)、MapReduce實(shí)驗(yàn)、HBase實(shí)驗(yàn)、Hive實(shí)驗(yàn)等。下表是節(jié)點(diǎn)虛機(jī)配備參考。
|
Master節(jié)點(diǎn)配備參考 |
Slave節(jié)點(diǎn)配備參考 |
|
CPU |
2*LCPU |
CPU |
1-2*LCPU |
|
MEM |
8-16GB |
MEM |
2-8GB |
|
Disk1（sda） |
15GB |
Disk1（sda） |
15GB |
|
Disk2（sdb） |
20GB |
Disk2（sdb） |
50-200GB |
|
虛擬網(wǎng)卡1 |
千兆 |
虛擬網(wǎng)卡1 |
千兆 |
|
虛擬網(wǎng)卡2 |
千兆 |
虛擬網(wǎng)卡2 |
千兆 |
本項(xiàng)目部署時(shí)，需要注意一個(gè)細(xì)節(jié)點(diǎn)是：我們應(yīng)該盡量將一個(gè)Hadoop集群內(nèi)的全部虛機(jī)運(yùn)行在一臺(tái)物理服務(wù)器上，避免IP流量流出物理服務(wù)器。
3.4部署計(jì)劃
下表給出本項(xiàng)目部署實(shí)施的一些主要任務(wù)和時(shí)間預(yù)估。
|
任務(wù) |
時(shí)間 |
|
IP地址規(guī)劃,VLAN規(guī)劃 |
4H |
|
Fabric Zone規(guī)劃 |
1H |
|
存儲(chǔ)LUN規(guī)劃 |
2H |
|
虛機(jī)資源規(guī)劃 |
1H |
|
設(shè)備上架，完成物理裝配 |
1D |
|
磁盤陣列初始裝配 |
2H |
|
FC交換機(jī)配備 |
2H |
|
IP互聯(lián)網(wǎng)配備（交換機(jī)、路由器） |
2H |
|
存儲(chǔ)完成配備 |
2H |
|
vSphere裝配配備 |
1.5D |
|
虛機(jī)資源規(guī)劃 |
2H |
|
系統(tǒng)ISO導(dǎo)入，虛機(jī)模板創(chuàng)建 |
1H |
|
第一個(gè)大數(shù)值集群建立 |
1D |
|
使用測(cè)量試驗(yàn)，調(diào)節(jié) |
2D |
|
創(chuàng)建其他大數(shù)值集群 |
|
常見問題：
1、如果我要購(gòu)買淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)，是否有安裝、培訓(xùn)服務(wù)呢？
答：我們的設(shè)備如果沒有特別注明“不含安裝”“裸機(jī)價(jià)”“出廠”等字樣的，都是提供安裝、培訓(xùn)服務(wù)的。
2、你們的淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)是否能開增值稅專用發(fā)票？
答：可以的，我們是正規(guī)企業(yè)，并且已經(jīng)升級(jí)到一般納稅人，可以開具增值稅專用發(fā)票，如果您需要開淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)的發(fā)票，您需要提供開票資料。
3、你們的淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)都是自己生產(chǎn)的嗎？都有什么產(chǎn)品資質(zhì)？
答：我們公司是專業(yè)生產(chǎn)教學(xué)設(shè)備的企業(yè)，完全自主生產(chǎn)，并通過(guò)了最新版ISO9001認(rèn)證，擁有多項(xiàng)專利與著作權(quán)。
本文來(lái)自網(wǎng)絡(luò)，不代表本站立場(chǎng)，圖片為參考圖片，轉(zhuǎn)載請(qǐng)注明出處：淺談大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)
