A MySQL replikációs és clusterezési
lehetőségeinek bemutatása (2. rész)
Munkánk során gyakran kerülünk olyan helyzetbe, amikor a normál felhasználási szokásoknál alkalmazott módszerek nem működőképesek, nem nyújtanak megfelelő szolgáltatásokat. Ilyenkor kell sokkal hibatűrőbb, nagyobb rendelkezésre állású rendszereket terveznünk és készítenünk, amelyek egyik fontos építő eleme az adatokat kiszolgáló relációs adatbázis-kezelő. Ma már az ingyenes MySQL is hatékony replikációs és fürtözési technológiákat biztosít a rendszertervezők/fejlesztők felé, jelen cikkünkben ezek közül a fürtözéssel ismertetjük meg olvasóinkat.
MySQL Cluster
Bemutatás
A MySQL-ben használt klaszterezési technológiában három különálló infrastrukturális feladatot ellátó kiszolgálót különböztetünk meg:
- Data node (Linux alatt a mysql-cluster-server-datanode csomag): feladata az adatbázisok tárolása, gondoskodik azok szinkronizációjáról, transzparens módon szolgálja ki az SQL node-okat, terheléselosztás révén gondoskodik a minél hatékonyabb működtetésről, valamint képes a leállást követő újraszinkronizációra.
- SQL node (vagy application node) (Linux alatt a mysql-cluster-server-sqlnode csomag, de ez megfelel a mysql-server csomagnak): Az alkalmazások felől elérhető kiszolgáló(k). Ők kezelik a data node-okról érkező adatfolyamokat és szolgálják ki az egyes eléréseket.
- Management node (Linux alatt a mysql-cluster-server-mgmtnode csomag): Konfigurációs felada-tok és monitorozás céljára szolgáló kiszolgáló(k). A klaszter indítása és leállítása során kiemelt szerepük van, addig nem csatlakoztatható egy gép data node-ként a klaszterbe, amíg legalább egy management node nem indult el.
MySQL-ben cluster csak NDB engine-el használható, amely jelenleg is számos megszorítást tartalmaz a többi népszerű adatbázis engine-hez képest, de ezek száma folyamatosan csökken.
A MySQL cluster lehetővé teszi, hogy a több data node-ból kialakított cluster-eket akár egymásra replikáljuk és az SQL node-ok számára transzparens módon szolgáltassunk a clusterek között váltogatva.
MySQL Cluster létrehozása
- A létrehozandó cluster-ben két data node-lesz:
db0ésdb1. - A load balancer-ként funkcionáló dedikált kiszolgáló:
mysql-proxy. - Mindkét node egyben management funkciókat is el fog látni. (Két management node-al nagyobb rendelkezésre állást tudunk megvalósítani, mivel bármelyik kiesése esetén a cluster továbbra is menedzselhető marad a másik által.)
- Létrehozunk egy MySQL Proxy-n alapuló load balancer eljárást.
- Végezetül felhasználói script-ekkel automatizáljuk a kiszolgálók elindulásának és a cluster felépítésének folyamatát.
Nem túl elterjedt, hogy egy kiszolgálón kerüljön kialakításra a management és a data node is, azonban a fenti konfigurációval (két data node, és mindkettő management is egyben) teljes értékű failover rendszer alakítható ki két kiszolgálóval is.
Előkészületek (ezt mindkét kiszolgálón meg kell tenni):
- hozzunk létre egy új felhasználói csoportot a kiszolgálókat futtató dedikált felhasználók számára:1
groupadd mysql - hozzunk létre egy, a mysql kiszolgálókat futtató felhasználót az előbbi csoportban:1
useradd-g mysql mysql - állítsuk be a megfelelő jogosultságokat a cluster telepítése során beállított adatok tárolását végző jegyzékeken:1
chownmysql:root/opt/oracle/disk/mysql_cluster/mysqld_data - next-next-finish módon csomagból telepítsük fel a MySQL Cluster-t, FONTOS: a telepítés végén ne indítsuk el a mysql-t!
1, Mindkét kiszolgálón módosítsuk a /etc/mysql/my.cnf konfigurációs állományt a következő módon:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | [mysqld] basedir=/usr/local/mysql#az az adatkönyvtár amit a telepítés során megadtunk. datadir=/opt/oracle/disk/mysql_cluster/mysqld_dataevent_scheduler=on#csak ndb engine-el működik a clusterdefault-storage-engine=ndbcluster [ndbcluster] # a management node-ok nevei vagy ip címei felsorolvandb-connectstring=db0,db1 key_buffer = 512Mkey_buffer_size = 512Msort_buffer_size = 512Mtable_cache = 1024read_buffer_size = 512M[mysql_cluster] # a management node-ok nevei vagy ip címei felsorolvandb-connectstring=db0,db1 |
2, Adjunk futási jogosultságot az ndb_mgm eszköznek a db0 kiszolgálón:
1 2 | cd /usr/local/mysqlchmod +x bin/ndb_mgm* |
3, Hozzuk létre a cluster konfigurációs beállításait leíró állományt a db0 kiszolgálón:
1 2 | mkdir /var/lib/mysql-clustervim /var/lib/mysql-cluster/config.ini |
4, Állítsuk be az alábbi paramétereket a 3. lépésben létrehozott fájl-ban:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | [NDBD DEFAULT] NoOfReplicas=2DataDir=/var/lib/mysql-cluster# fontos: induláskor az ndb ezt le is fogja foglalni! DataMemory=8G IndexMemory=4G[MYSQLD DEFAULT] [NDB_MGMD DEFAULT] [TCP DEFAULT] [NDB_MGMD] HostName=db0 # az első management node neve vagy ip címeNodeId=1 # az első management node azonosítója[NDB_MGMD] HostName=db1 # a második management node neve vagy ip címeNodeId=2 # a második management node azonosítója[NDBD] HostName=db0 # az első data node neve vagy ip címeNodeId=3 # az első data node azonosítója[NDBD] HostName=db1 # a második data node neve vagy ip címeNodeId=4 # a második data node azonosítója[MYSQLD] [MYSQLD] |
5, A management node ezzel beállítva, elindítható. FONTOS, hogy első és csak az első indításkor az –initial paraméterrel kell indítani a ndb_mgmd -t a db0 kiszolgálón:
1 2 | ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial --config-dir=/var/lib/mysql-cluster/ |
Ha mindent jól csináltunk, akkor a „MySQL Cluster Management Server verziószám„ üzenetet kell megkapunk.
6, Ismételjük meg a 2.-től 5.-ig lépéseket a db1 kiszolgálón is.
7, Indítsuk le a db0 kiszolgálón a data node-okat is:
1 | /usr/local/mysql/bin/ndbd --initial |
Ha mindent jól csináltunk, az
1 2 | [ndbd] INFO -- Angel connected to 'localhost:1186'[ndbd] INFO -- Angel allocated nodeid: 3 |
üzenetet kell kapnunk.
8, Indítsuk el a db1 kiszolgálón is a data node-ot: ott értelem szerűen a nodeid: 4 üzenettel kell bejelentkeznie a data node-nak.
9, Indítsuk el mindkét kiszolgálón a mysql-t (az sql node-ot):
1 | /etc/init.d/mysql.server start |
10, Ahhoz, hogy a két clusteren külön-külön is tudjunk dolgozni, szükséges, hogy a mysql jogosultságai, felhasználói is NDB adatbázis engine-ben legyenek tárolva. Ehhez hajtsuk végre a következő módosításokat a db0 kiszolgálón:
1 2 3 4 5 6 7 8 | use mysql; ALTER TABLE mysql.user ENGINE=NDBCLUSTER; ALTER TABLE mysql.db ENGINE=NDBCLUSTER; ALTER TABLE mysql.host ENGINE=NDBCLUSTER; ALTER TABLE mysql.tables_priv ENGINE=NDBCLUSTER; ALTER TABLE mysql.columns_priv ENGINE=NDBCLUSTER; ALTER TABLE mysql.procs_priv ENGINE=NDBCLUSTER; ALTER TABLE mysql.proxies_priv ENGINE=NDBCLUSTER; |
11, Még mindig a db0 kiszolgáló MySQL adatbázisában dolgozva állítsuk be az esemény vezérlőt:
1 2 3 4 | SET GLOBAL event_scheduler=1; CREATE EVENT `mysql`.`flush_priv_tables` ON SCHEDULE EVERY 30 secondON COMPLETION PRESERVE DO FLUSH PRIVILEGES; |
12, Mivel a mysql adatbázisban tárolt jogosultságok még nem szinkronizálódtak át a db1-re (nem is tudnak átszinkronizálódni, mivel nincs meg hozzá a megfelelő jogosultságuk), azokat kézzel kell átvinnünk:
1 2 3 4 5 | root@db0~# /etc/init.d/mysql.server stoproot@db1~# /etc/init.d/mysql.server stoproot@db0~# scp -r mysqld_data/ db1:/opt/oracle/disk/mysql_cluster/root@db0~# /etc/init.d/mysql.server startroot@db1~# /etc/init.d/mysql.server start |
13, Ezek után ellenőrizzük le a cluster management-ben, hogy él a kapcsolat a node-ok között:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | root@db0:~# ndb_mgm-- NDB Cluster -- Management Client --ndb_mgm> showConnected to Management Server at: db0:1186Cluster Configuration--------------------- [ndbd(NDB)] 2 node(s) id=3 @ipcím (verzió) id=4 @ipcím (verzió) [ndb_mgmd(MGM)] 2 node(s) id=1 @ipcím (verzió) id=2 @ipcím (verzió) [mysqld(API)] 2 node(s) id=5 @ipcím (verzió) id=6 @ipcím (verzió) |
A MySQL Cluster működésének tesztelése
Hozzunk létre pár adatot a db0-n:
1 2 3 4 5 6 7 | root@db0:~# mysqlWelcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2mysql> use testDatabase changedmysql> CREATE TABLE testdata (i INT) ENGINE=NDBCLUSTER; mysql> INSERT INTO testdata () VALUES (1); |
Ellenőrizzük le a meglétüket a db1-en:
1 2 3 4 5 6 7 8 9 10 11 | root@db1:~# mysqlWelcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 3mysql> use testmysql> SELECT * FROM testdb; +------+| i |+------+| 1 |+------+1 row in set (0.00 sec) |
Látható, hogy a két szerver szinkronizálta az adatokat egymás között.
Nézzük meg mi történik, ha leállítjuk a db0-s data node-ot:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | root@db0:~# /etc/init.d/mysql.server stoproot@db0:~# ndb_mgm-- NDB Cluster -- Management Client --ndb_mgm> showConnected to Management Server at: db0:1186Cluster Configuration--------------------- [ndbd(NDB)] 2 node(s) id=3 @ipcím (verzió) id=4 @ipcím (verzió) [ndb_mgmd(MGM)] 2 node(s) id=1 @ipcím (verzió) id=2 @ipcím (verzió) [mysqld(API)] 2 node(s) id=5 (not connected, accepting connect from any host) id=6 @ipcím (verzió) |
A leállított db0 data node mellett hozzunk létre új adatokat a db1-en:
1 2 3 4 5 6 7 | root@db1:~# mysqlWelcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 4mysql> use test; mysql> INSERT INTO testdb () VALUES (99); mysql> INSERT INTO testdb () VALUES (999); mysql> INSERT INTO testdb () VALUES (100); |
Indítsuk el a db0-n a data node-ot és kérdezzük le az adatokat:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | root@db0:~# /etc/init.d/mysql.server startroot@db0:~# mysqlWelcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2mysql> use test; mysql> SELECT * FROM testdb; +------+| i |+------+| 99 || 999 || 1 || 100 |+------+4 rows in set (0.00 sec) |
Mint látható az indulást követően szinkronizálódtak az adatok a két node között.
Load balancer MySQL Proxy-val
1, Telepítsük fel a MySQL Proxy-t és hozzuk létre a konfigurációs állományát a mysql-proxy kiszolgálón:
1 2 3 4 | root@mysql-proxy:~# apt-get install mysql-proxyroot@mysql-proxy:~# mkdir /etc/mysql-proxyroot@mysql-proxy:~# cd /etc/mysql-proxyroot@mysql-proxy:/etc/mysql-proxy# vim mysql-proxy.conf |
2, Állítsuk be a létrehozott konfigurációs állományban a következőket:
1 2 3 4 5 6 7 | [mysql-proxy] daemon = truekeepalive = true# a proxy elérhetőségeproxy-address = mysql-proxy:3306# master (tehát írható / olvasható) adatbázis(ok) data node-ja(i)proxy-backend-addresses = db0:3306, db1:3306 |
3, Indítsuk el a MySQL Proxy-t:
1 2 | root@mysql-proxy:~# <code>mysql-proxy</code> --defaults-file=/etc/mysql-proxy/mysql-proxy.conf |
Indítás ütemezése, automatizálása
Mivel se az ndbb, se az ndb-mgmd nem indul el automatikusan, ráadásul a cluster data node-jai csak abban az esetben tudnak bejelentkezni a cluster-be, ha legalább egy management node-ot már látnak: szükséges ezek indítását automatizálni. Erre jó megoldás lehet az /etc/init.d/ jegyzékbe létrehozott indító script-ek használata. Fontos, hogy a következő fájl-ok létrehozása után futtatási jogot adjunk rájuk:
1 | chmod +x /etc/init.d/<filename> |
valamint az
1 | update-rc.d <filename> |
paranccsal érvénybe léptessük a változtatásokat.
Az ndbd indítására: /etc/init.d/ndbd
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 | #!/bin/bash# Provides: ndbd# Required-Start: $local_fs $network $syslog $remote_fs# Required-Stop: $local_fs $network $syslog $remote_fs# Short-Description: mysql cluster manager client# Description: mysql cluster manager clientndbd_bin=/usr/local/mysql/bin/ndbdif ! test -x $ndbd_bin; then echo "Can't execute $ndbd_bin"; exit; fistart_ndbd(){ number_of_ndbd_pids=`ps aux|grep -iv "grep"|grep -i "/usr/local/mysql/bin/ndbd"|wc -l` if [ $number_of_ndbd_pids -eq 0 ]; then $ndbd_bin echo "ndbd started." else echo "ndbd is already running." fi}stop_ndbd(){ number_of_ndbd_pids=`ps aux|grep -iv "grep"|grep -i "/usr/local/mysql/bin/ndbd"|wc -l` if [ $number_of_ndbd_pids -ne 0 ]; then ndbd_pids=`pgrep ndbd` for ndbd_pid in $(echo $ndbd_pids); do kill $ndbd_pid 2> /dev/null done number_of_ndbd_pids=`ps aux|grep -iv "grep"|grep -i "/usr/local/mysql/bin/ndbd"|wc -l` if [ $number_of_ndbd_pids -eq 0 ]; then echo "ndbd stopped." else echo "Could not stop ndbd." fi else echo "ndbd is not running." fi}case "$1" in 'start' ) start_ndbd ;; 'stop' ) stop_ndbd ;; 'restart' ) stop_ndbd start_ndbd ;; *) echo "Usage: $0 {start|stop|restart}" >&2 ;; esac |
Az ndb-mgmd indítására: /etc/init.d/ndb-mgmd
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 | #!/bin/bash# Provides: ndb_mgmd# Required-Start: $local_fs $network $syslog $remote_fs# Required-Stop: $local_fs $network $syslog $remote_fs# Short-Description: mysql cluster manager# Description: mysql cluster managerndb_mgmd=/usr/local/mysql/bin/ndb_mgmdconfig_file=/var/lib/mysql-cluster/config.iniconfig_dir=/var/lib/mysql-clusterif ! test -x $ndb_mgmd; then echo "Can't execute $ndb_mgmd" exit;fistart_ndb_mgmd(){ number_of_ndb_mgmd_pids=`ps aux|grep -iv "grep"|grep -i "$ndb_mgmd"|wc -l` if [ $number_of_ndb_mgmd_pids -eq 0 ]; then $ndb_mgmd -f $config_file --config-dir=$config_dir echo "ndb_mgmd started." else echo "ndb_mgmd is already running." fi}stop_ndb_mgmd(){ number_of_ndb_mgmd_pids=`ps aux|grep -iv "grep"|grep -i "$ndb_mgmd"|wc -l` if [ $number_of_ndb_mgmd_pids -ne 0 ]; then ndb_mgmd_pids=`pgrep ndb_mgmd` for ndb_mgmd_pid in $(echo $ndb_mgmd_pids); do kill $ndb_mgmd_pid 2> /dev/null done number_of_ndb_mgmd_pids=`ps aux|grep -iv "grep"|grep -i "$ndb_mgmd"|wc -l` if [ $number_of_ndb_mgmd_pids -eq 0 ]; then echo "ndb_mgmd stopped." else echo "Could not stop ndb_mgmd." fi else echo "ndb_mgmd is not running." fi}case "$1" in 'start' ) start_ndb_mgmd ;; 'stop' ) stop_ndb_mgmd ;; 'restart' ) stop_ndb_mgmd start_ndb_mgmd ;; *) echo "Usage: $0 {start|stop|restart}" >&2 ;;esac |
A mysql-proxy indítására: /etc/init.d/mysql-proxy
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 | #! /bin/bash# Required-Start: $local_fs $network $syslog $remote_fs# Required-Stop: $local_fs $network $syslog $remote_fs# Short-Description: MySQL Proxy# Description: MySQL Proxymysql_proxy=/usr/bin/mysql-proxyconfig_file=/etc/mysql-proxy/mysql-proxy.confif ! test -x $mysql_proxy; then echo "Can't execute $mysql_proxy" exit;fistart_mysql_proxy(){ number_of_mysql_proxy_pids=`ps aux|grep -iv "grep"|grep -i "/usr/bin/mysql-proxy"|wc -l` if [ $number_of_mysql_proxy_pids -eq 0 ]; then $mysql_proxy --defaults-file=$config_file echo "mysql-proxy started." else echo "mysql-proxy is already running." fi}stop_mysql_proxy(){ number_of_mysql_proxy_pids=`ps aux|grep -iv "grep"|grep -i "/usr/bin/mysql-proxy"|wc -l` if [ $number_of_mysql_proxy_pids -ne 0 ]; then mysql_proxy_pids=`pgrep mysql-proxy` for mysql_proxy_pid in $(echo $mysql_proxy_pids); do kill $mysql_proxy_pid 2> /dev/null done number_of_mysql_proxy_pids=`ps aux|grep -iv "grep"|grep -i "/usr/bin/mysql-proxy"|wc -l` if [ $number_of_mysql_proxy_pids -eq 0 ]; then echo "mysql-proxy stopped." else echo "Could not stop mysql-proxy." fi else echo "mysql-proxy is not running." fi}case "$1" in 'start' ) start_mysql_proxy ;; 'stop' ) stop_mysql_proxy ;; 'restart' ) stop_mysql_proxy start_mysql_proxy ;; *) echo "Usage: $0 {start|stop|restart}" >&2 ;;esac |