# TiDB Data Migrationを利用した MySQL からのマイグレーション ## 概要 この演習では、`TiDB Data Migration`ツールを使用して、MySQLからTiDBにデータを移行します。これは、アップストリームMySQLインスタンスからダウンストリームTiDBインスタンスへのフルデータ移行と差分データレプリケーションをサポートするために使用されます。 ### 所要時間 + この演習は約 90 分程度かかります。 ### タスク + `TiDB Data Migration`コンポーネントをインストールします。 + トポロジーファイルを使用して、`TiDB Data Migration`クラスタをデプロイし、開始します。 + `dmctl`ツールをインストールします。 + TiDB Data Migrationのソース設定を作成します。 + MySQLのアップストリームを有効化します。 + TiDB Data Migrationタスクの構成を作成し、マイグレーションタスクを開始します。 + TiDB Data Migrationタスクの結果を確認します。 > [!TIP] > 演習環境を起動するには、**開始**をクリックしてください。 > 環境の準備が整ったら、下部のツールバーで **次のモジュール** を選択して **モジュール 1** に進みます。 > そして、ステップバイステップの演習ガイドに従って、ハンズオン環境に接続し、タスクを開始してください。 ## モジュール 1: MySQL サーバーに接続しソーススキーマを確認する ### 手順 1. リモート Linux に接続する- TiUP 制御マシン + ここをクリック - [ターミナル 1](ssh://monitor1-ssh#1) で、ハンズオン演習用に割り当てられた仮想マシンに接続された新しいターミナルを開きます。 + ログイン後に表示されるバナー： ```output , #_ ~\_ ####_ Amazon Linux 2 ~~ \_#####\ ~~ \###| ~~ \#/ ___ ~~ V~' '-> ~~~ / A newer version of Amazon Linux is available! ~~._. _/ _/ _/ Amazon Linux 2023, GA and supported until 2028-03-15. _/m/' https://aws.amazon.com/linux/amazon-linux-2023/ ``` ### 手順 2. MySQL サーバーインスタンスに接続する + MySQLサーバーノードに接続します。プロンプトが表示されたら`yes`と回答してください。 ```bash ssh -i /home/ec2-user/.ssh/pe-class-key-oregon.pem rocky@${HOST_MYSQL1_PRIVATE_IP} ``` ```output Last login: Thu Aug 1 11:58:47 2024 from 10.90.4.90 [rocky@ip-10-90-1-235 ~]$ ``` + データベースユーザー`root`としてMySQLサーバーに接続します。 ```bash mysql -h localhost -P 3306 -u root -pq1w2e3R4_ --connect-expired-password ``` ```output mysql> ``` ### 手順 3. MySQL から既存のスキーマを確認する + `sbtest`データベースにテーブルとデータがすでに存在することを確認してください。 ```sql SHOW DATABASES; ``` ```output +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | sbtest | | sys | +--------------------+ 5 rows in set (0.01 sec) ``` ```sql SHOW TABLES FROM sbtest; ``` ```output +------------------+ | Tables_in_sbtest | +------------------+ | sbtest1 | | sbtest2 | | sbtest3 | | sbtest4 | | sbtest5 | | sbtest6 | +------------------+ 6 rows in set (0.00 sec) ``` + テーブル`sbtest.sbtest1`のスキーマを確認します。 ```sql DESC sbtest.sbtest1; ``` ```output +-------+-----------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+-----------+------+-----+---------+----------------+ | id | int | NO | PRI | NULL | auto_increment | | k | int | NO | MUL | 0 | | | c | char(120) | NO | | | | | pad | char(60) | NO | | | | +-------+-----------+------+-----+---------+----------------+ 4 rows in set (0.00 sec) ``` + テーブル`sbtest.sbtest1`の行数を確認します。約30秒かかります。（現在MySQLに接続していることに注意してください） ```sql SELECT COUNT(id) FROM sbtest.sbtest1; ``` ```output +-----------+ | COUNT(id) | +-----------+ | 10000000 | +-----------+ 1 row in set (29.75 sec) ``` ### 手順 4. ソース MySQL サーバーのデータボリュームを理解する + データベース`sbtest`に対して`ANALYZE`コマンドを実行します。`sbtest1`の他に、`sbtest2`、`sbtest3`、`sbtest4`、`sbtest5`、`sbtest6`も含まれています。 ```sql ANALYZE TABLE sbtest.sbtest1, sbtest.sbtest2, sbtest.sbtest3, sbtest.sbtest4, sbtest.sbtest5, sbtest.sbtest6; ``` ```output +----------------+---------+----------+----------+ | Table | Op | Msg_type | Msg_text | +----------------+---------+----------+----------+ | sbtest.sbtest1 | analyze | status | OK | | sbtest.sbtest2 | analyze | status | OK | | sbtest.sbtest3 | analyze | status | OK | | sbtest.sbtest4 | analyze | status | OK | | sbtest.sbtest5 | analyze | status | OK | | sbtest.sbtest6 | analyze | status | OK | +----------------+---------+----------+----------+ 6 rows in set (34.08 sec) ``` + `sbtest`データベースのデータボリュームを取得します。それは約`13.43GB`のはずです。 ```sql SELECT CONCAT(ROUND(SUM((data_length + index_length)/1024/1024/1024),2), 'GB') AS data FROM information_schema.tables WHERE table_schema='sbtest'; ``` ```output +---------+ | data | +---------+ | 13.43GB | +---------+ 1 row in set (0.00 sec) ``` + 終了してOSプロンプトに戻ります。 ```sql EXIT ``` ```output bye ``` + MySQLサーバーに接続されたリモートターミナル（`[rocky@`から始まるプロンプトが見えるはずです）を保持して、次の演習に進みます。 ## モジュール 2: サンプルデータベースを MySQL から TiDB にマイグレーションする ### 手順 1. マイグレーション目的のために MySQL にユーザーを作成する + [ターミナル 1](ssh://monitor1-ssh#1)で、MySQLサーバーにプライベートIPアドレスを使用して接続し、マイグレーション目的のためにMySQLに専用ユーザー`dm_user`を作成します。 ```bash X=q1w2e3R4_ mysql -h localhost -P 3306 -uroot -p$X --connect-expired-password << EOF DROP USER IF EXISTS dm_user@'%'; CREATE USER dm_user@'%' IDENTIFIED BY 'q1w2e3R4_'; GRANT ALL PRIVILEGES ON *.* TO dm_user@'%'; EXIT EOF ``` ```output mysql: [Warning] Using a password on the command line interface can be insecure. ``` + 終了してリモートのTiUP制御マシンに戻ります。 ```bash exit ``` ```output logout Connection to 10.90.1.38 closed. ``` ### 手順 2. TiDB クラスタの状態を確認する + TiDBクラスタがすでに稼働中であることを確認してください。TiDBクラスタの状態を確認します。`tidb-demo`TiDBクラスタには1つのTiDBサーバーと3つのTiKVサーバーがあり、`TiProxy`は`Alert Manager`、`Grafana`、`Prometheus`と同じノードにデプロイされていることに注意してください。 ```bash ~/.tiup/bin/tiup cluster display tidb-demo ``` ```output Cluster type: tidb Cluster name: tidb-demo Cluster version: v6.5.9 Deploy user: ec2-user SSH type: builtin Dashboard URL: http://34.221.120.15:2379/dashboard Grafana URL: http://10.90.4.90:3000 ID Role Host Ports OS/Arch Status Data Dir Deploy Dir -- ---- ---- ----- ------- ------ -------- ---------- 10.90.4.90:9093 alertmanager 10.90.4.90 9093/9094 linux/x86_64 Up /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093 10.90.4.90:3000 grafana 10.90.4.90 3000 linux/x86_64 Up - /tidb-deploy/grafana-3000 10.90.2.11:2379 pd 10.90.2.11 2379/2380 linux/x86_64 Up|L /tidb-data/pd-2379 /tidb-deploy/pd-2379 10.90.4.90:9090 prometheus 10.90.4.90 9090/12020 linux/x86_64 Up /tidb-data/prometheus-9090 /tidb-deploy/prometheus-9090 10.90.1.173:4000 tidb 10.90.1.173 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000 10.90.1.233:20160 tikv 10.90.1.233 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 10.90.1.242:20160 tikv 10.90.1.242 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 10.90.1.79:20160 tikv 10.90.1.79 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 10.90.4.90:6000 tiproxy 10.90.4.90 6000/3080 linux/x86_64 Up - /tidb-deploy/tiproxy-6000 Total nodes: 9 ``` ### 手順 3. マイグレーション目的のために TiDB にユーザーを作成する + TiDBに専用ユーザー`dm_user`を作成します。 ```bash mysql -h ${HOST_DB1_PRIVATE_IP} -P 4000 -uroot << 'EOF' DROP USER IF EXISTS dm_user@'%'; CREATE USER dm_user@'%' identified by 'q1w2e3R4_'; GRANT ALL PRIVILEGES ON *.* TO dm_user@'%'; EXIT EOF ``` ### 手順 4. 空のテーブルを持つターゲットデータベース `sbtest` を作成する + カラム`id`はTiDBのホットスポットパフォーマンス問題を避けるためにTiDB固有の機能である`AUTO_RANDOM`に設定されることに注意してください。 `AUTO_RANDOM`についてもっと学ぶには、右下にある`Ask AI`機能を使用してください。 ```bash mysql -h ${HOST_DB1_PRIVATE_IP} -P 4000 -uroot << 'EOF' CREATE DATABASE sbtest; CREATE TABLE `sbtest`.`sbtest1` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; CREATE TABLE `sbtest`.`sbtest2` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; CREATE TABLE `sbtest`.`sbtest3` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; CREATE TABLE `sbtest`.`sbtest4` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; CREATE TABLE `sbtest`.`sbtest5` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; CREATE TABLE `sbtest`.`sbtest6` ( `id` bigint NOT NULL AUTO_RANDOM, `k` int NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), KEY `k_1` (`k`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci; SET GLOBAL allow_auto_random_explicit_insert = true; USE sbtest; SHOW TABLES; EXIT EOF ``` ```output Tables_in_sbtest sbtest1 sbtest2 sbtest3 sbtest4 sbtest5 sbtest6 ``` ### 手順 5. TiDB Data Migration ユーティリティをインストールする ```bash ~/.tiup/bin/tiup install dm dmctl:vtidb_version dm-master:vtidb_version dm-worker:vtidb_version ``` ```bash ~/.tiup/bin/tiup list --verbose | grep dm ``` ```output dm pingcap v1.15.1,v1.16.0 linux/amd64 Data Migration Platform manager dm-master pingcap v8.0.0,vtidb_version linux/amd64 dm-master component of Data Migration Platform. dm-worker pingcap v8.0.0,vtidb_version linux/amd64 dm-worker component of Data Migration Platform. dmctl pingcap v6.5.1,v6.5.9,v7.5.0,vtidb_version linux/amd64 dmctl component of Data Migration Platform. ``` ### 手順 6. TiDB Data Migration クラスタトポロジーを確認する + TiDB Data Migration クラスタトポロジー構成ファイルはすでに用意されています。構成を確認し、変更は不要です。 ```bash cat dm-topology.yaml ``` ```output global: user: "ec2-user" ssh_port: 22 deploy_dir: "/tidb-deploy" data_dir: "/tidb-data" arch: "amd64" master_servers: - host: 10.90.4.191 worker_servers: - host: 10.90.3.49 - host: 10.90.3.71 - host: 10.90.3.135 monitoring_servers: - host: 10.90.1.7 grafana_servers: - host: 10.90.1.7 alertmanager_servers: - host: 10.90.1.7 ``` ### 手順 7. TiDB Data Migration クラスタをデプロイして起動する + TiDB Data Migrationクラスタ - `dm-test`をデプロイ ```bash ~/.tiup/bin/tiup dm deploy dm-test vtidb_version ./dm-topology.yaml \ --user ec2-user \ -i /home/ec2-user/.ssh/pe-class-key-oregon.pem \ --yes ``` ```output Starting component dm: /home/ec2-user/.tiup/components/dm/v1.16.0/tiup-dm deploy dm-test vtidb_version ./dm-topology.yaml --user ec2-user -i /home/ec2-user/.ssh/pe-class-key-oregon.pem --yes + Detect CPU Arch Name - Detecting node 10.90.4.191 Arch info ... Done - Detecting node 10.90.3.49 Arch info ... Done - Detecting node 10.90.3.71 Arch info ... Done - Detecting node 10.90.3.135 Arch info ... Done - Detecting node 10.90.1.7 Arch info ... Done . . . Cluster `dm-test` deployed successfully, you can start it with command: `tiup dm start dm-test` ``` + TiDB Data Migrationクラスタ - `dm-test`を起動します。 ```bash ~/.tiup/bin/tiup dm start dm-test ``` ```output Starting component dm: /home/ec2-user/.tiup/components/dm/v1.16.0/tiup-dm start dm-test Starting cluster dm-test... + [ Serial ] - SSHKeySet: privateKey=/home/ec2-user/.tiup/storage/dm/clusters/dm-test/ssh/id_rsa, publicKey=/home/ec2-user/.tiup/storage/dm/clusters/dm-test/ssh/id_rsa.pub + [Parallel] - UserSSH: user=ec2-user, host=10.90.1.7 + [Parallel] - UserSSH: user=ec2-user, host=10.90.3.71 + [Parallel] - UserSSH: user=ec2-user, host=10.90.1.7 + [Parallel] - UserSSH: user=ec2-user, host=10.90.4.191 + [Parallel] - UserSSH: user=ec2-user, host=10.90.1.7 + [Parallel] - UserSSH: user=ec2-user, host=10.90.3.49 + [Parallel] - UserSSH: user=ec2-user, host=10.90.3.135 + [ Serial ] - StartCluster Starting component dm-master 　Starting instance 10.90.4.191:8261 　Start instance 10.90.4.191:8261 success Starting component dm-worker 　Starting instance 10.90.3.135:8262 　Starting instance 10.90.3.49:8262 　Starting instance 10.90.3.71:8262 　Start instance 10.90.3.135:8262 success 　Start instance 10.90.3.71:8262 success 　Start instance 10.90.3.49:8262 success Starting component prometheus 　Starting instance 10.90.1.7:9090 　Start instance 10.90.1.7:9090 success Starting component grafana 　Starting instance 10.90.1.7:3000 　Start instance 10.90.1.7:3000 success Starting component alertmanager 　Starting instance 10.90.1.7:9093 　Start instance 10.90.1.7:9093 success Started cluster `dm-test` successfully ``` ### 手順 8. TiDB Data Migration クラスタの状態を確認する + TiDB Data Migrationクラスタが稼働中であることを確認します。 ```bash tiup dm display dm-test ``` ```output Starting component dm: /home/ec2-user/.tiup/components/dm/v1.16.0/tiup-dm display dm-test Cluster type: dm Cluster name: dm-test Cluster version: vtidb_version Deploy user: ec2-user SSH type: builtin Grafana URL: http://10.90.3.188:3000 ID Role Host Ports OS/Arch Status Data Dir Deploy Dir -- ---- ---- ----- ------- ------ -------- ---------- 10.90.3.188:9093 alertmanager 10.90.3.188 9093/9094 linux/x86_64 Up /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093 10.90.4.196:8261 dm-master 10.90.4.196 8261/8291 linux/x86_64 Healthy|L /tidb-data/dm-master-8261 /tidb-deploy/dm-master-8261 10.90.4.196:8262 dm-worker 10.90.4.196 8262 linux/x86_64 Free /tidb-data/dm-worker-8262 /tidb-deploy/dm-worker-8262 10.90.3.188:3000 grafana 10.90.3.188 3000 linux/x86_64 Up - /tidb-deploy/grafana-3000 10.90.3.188:9090 prometheus 10.90.3.188 9090 linux/x86_64 Up /tidb-data/prometheus-9090 /tidb-deploy/prometheus-9090 Total nodes: 5 ``` ### 手順 9. マイグレーションタスクソースの構成を設定する ```bash cat << EOF > mysql-source-conf1.yaml source-id: "mysql-replica-01" from: host: "${HOST_MYSQL1_PRIVATE_IP}" port: 3306 user: "dm_user" password: "q1w2e3R4_" EOF cat mysql-source-conf1.yaml ``` ```output source-id: "mysql-replica-01" from: host: "10.90.1.135" port: 3306 user: "dm_user" password: "q1w2e3R4_" ``` ### 手順 10. マイグレーションソースを作成する + MySQLインスタンスをマイグレーションソースとして設定し、TiDB Data Migrationクラスタによってソースが認識されることを確認します。 ```bash ~/.tiup/bin/tiup dmctl:vtidb_version \ --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 operate-source create mysql-source-conf1.yaml ``` ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.66:8261 operate-source create mysql-source-conf1.yaml { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "source": "mysql-replica-01", "worker": "dm-10.90.3.187-8262" } ] } ``` ### 手順 11. マイグレーションソース構成を確認する ```bash ~/.tiup/bin/tiup dmctl:vtidb_version \ --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 get-config source mysql-replica-01 ``` ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.66:8261 get-config source mysql-replica-01 { "result": true, "msg": "", "cfg": "enable: true\nenable-gtid: false\nauto-fix-gtid: false\nrelay-dir: relay-dir\nmeta-dir: \"\"\nflavor: mysql\ncharset: \"\"\nenable-relay: false\nrelay-binlog-name: \"\"\nrelay-binlog-gtid: \"\"\nsource-id: mysql-replica-01\nfrom:\n host: 10.90.1.135\n port: 3306\n user: dm_user\n password: '******'\n max-allowed-packet: null\n session: {}\n security: null\npurge:\n interval: 3600\n expires: 0\n remain-space: 15\nchecker:\n check-enable: true\n backoff-rollback: 5m0s\n backoff-max: 5m0s\n check-interval: 5s\n backoff-min: 1s\n backoff-jitter: true\n backoff-factor: 2\nserver-id: 429530419\ntracer: {}\ncase-sensitive: false\nfilters: []\n" } ``` ### 手順 12. マイグレーションソースの状態を確認する ```bash ~/.tiup/bin/tiup dmctl:vtidb_version \ --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 operate-source show ``` ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.66:8261 operate-source show { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "source": "mysql-replica-01", "worker": "dm-10.90.3.187-8262" } ] } ``` ### 手順 13. マイグレーションタスクの作成 + マイグレーションタスク構成を生成します。 ```bash cat << EOF > dm-task.yaml name: "dm-task" task-mode: all ignore-checking-items: ["auto_increment_ID"] target-database: host: "${HOST_DB1_PRIVATE_IP}" port: 4000 user: "dm_user" password: "q1w2e3R4_" mysql-instances: - source-id: "mysql-replica-01" route-rules: ["instance-1-user-schema-rule"] block-allow-list: "rule_1" mydumper-config-name: "global" loader-config-name: "global" routes: instance-1-user-schema-rule: schema-pattern: "sbtest" target-schema: "sbtest" block-allow-list: rule_1: do-dbs: ["sbtest"] mydumpers: global: threads: 32 chunk-filesize: 64 loaders: global: pool-size: 8 import-mode: "physical" pd-addr: "${HOST_PD1_PRIVATE_IP}:2379" EOF cat dm-task.yaml ``` ```output name: "dm-task" task-mode: all ignore-checking-items: ["auto_increment_ID"] . . . loaders: global: pool-size: 32 import-mode: "physical" ``` + マイグレーションタスクの事前確認を実行します。メッセージは`pre-check is passed`であるはずです。 ```bash ~/.tiup/bin/tiup dmctl:vtidb_version --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 check-task ./dm-task.yaml ``` ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.235:8261 check-task ./dm-task.yaml { "result": true, "msg": "pre-check is passed. " } ``` ### 手順 14. マイグレーションタスクを開始する + 構成に従って、マイグレーションタスクには3つのサブタスクユニットがあります：`Dump`、`Load`、`Sync`。マイグレーションタスクを開始します。 ```bash ~/.tiup/bin/tiup dmctl:vtidb_version \ --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 start-task ./dm-task.yaml ``` ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.66:8261 start-task ./dm-task.yaml { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "source": "mysql-replica-01", "worker": "dm-10.90.3.187-8262" } ], "checkResult": "pre-check is passed. " } ``` ### 手順 15. `query-status` アクションを使用してマイグレーションの進行状況を確認する + `subTaskStatus`の中の`stage`、`unit`、および`progress`の属性に注意してください。 + `watch`コマンドを使用してマイグレーション全体の進行状況を監視します。演習環境の構成に基づく（これはPoCではないため、ハンズオン演習ではローエンドのサーバーを使用します）、MySQLとTiDBが同期されるまで約8分かかる場合があります。（Dump: 4分、Load: 4分）。コーヒーブレイクをして、以下の追加情報を読み、画面上のマイグレーションの進行を観察してください。 ```bash watch -n 1 -d ./.tiup/bin/tiup dmctl:vtidb_version --master-addr=${HOST_MONITOR1_PRIVATE_IP}:8261 query-status ./dm-task.yaml ``` + ユニット`Dump`、ステージ`Running`: ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.235:8261 query-status ./dm-task.yaml { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "sourceStatus": { "source": "mysql-replica-01", "worker": "dm-10.90.1.147-8262", "result": null, "relayStatus": null }, "subTaskStatus": [ { "name": "dm-task", "stage": "Running", "unit": "Dump", "result": null, "unresolvedDDLLockID": "", "dump": { "totalTables": "6", "completedTables": 3, "finishedBytes": 7949200595, "finishedRows": 39359277, "estimateTotalRows": 59224808, "bps": "57472325", "progress": "64.63 %" }, "validation": null } ] } ] } ``` + ユニット`Load`、ステージ`Running`: ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.196:8261 query-status ./dm-task.yaml { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "sourceStatus": { "source": "mysql-replica-01", "worker": "dm-10.90.4.196-8262", "result": null, "relayStatus": null }, "subTaskStatus": [ { "name": "dm-task", "stage": "Running", "unit": "Load", "result": null, "unresolvedDDLLockID": "", "load": { "finishedBytes": "5307344924", "totalBytes": "8161057816", "progress": "65.03 %", "metaBinlog": "(binlog.000008, 157240317)", "metaBinlogGTID": "", "bps": "62882221" }, "validation": null } ] } ] } ``` + ユニット`Sync`、ステージ`Running`。ターゲットのTiDBとソースのMySQLが同期されたことがわかります。 ```output Starting component dmctl: /home/ec2-user/.tiup/components/dmctl/vtidb_version/dmctl/dmctl --master-addr=10.90.4.196:8261 query-status ./dm-task.yaml { "result": true, "msg": "", "sources": [ { "result": true, "msg": "", "sourceStatus": { "source": "mysql-replica-01", "worker": "dm-10.90.4.196-8262", "result": null, "relayStatus": null }, "subTaskStatus": [ { "name": "dm-task", "stage": "Running", "unit": "Sync", "result": null, "unresolvedDDLLockID": "", "sync": { "totalEvents": "19767046", "totalTps": "21118", "recentTps": "0", "masterBinlog": "(binlog.000011, 706201359)", "masterBinlogGtid": "", "syncerBinlog": "(binlog.000011, 706201359)", "syncerBinlogGtid": "00000000-0000-0000-0000-000000000000:0", "blockingDDLs": [ ], "unresolvedGroups": [ ], "synced": true, "binlogType": "remote", "secondsBehindMaster": "0", "blockDDLOwner": "", "conflictMsg": "", "totalRows": "19767046", "totalRps": "21118", "recentRps": "0" }, "validation": null } ] } ] } ``` + マイグレーションタスクが`"stage": "Running" and "unit": "Sync"`の状態に達したことを確認してください。`watch`コマンドを実行したまま次の練習に進みます。 ## モジュール 3: ソース MySQL からのいくつかの変更を行う ### 手順 1. TiUP 制御マシンに接続し、次に MySQL サーバーに接続する + 新しいローカルターミナル - [ターミナル 2](ssh://monitor1-ssh#2)を開き、その後MySQLサーバーに接続します。 ```output Last login: Thu Aug 1 11:58:37 2024 from xxxxxxxxxx , #_ ~\_ ####_ Amazon Linux 2 ~~ \_#####\ ~~ \###| AL2 End of Life is 2025-06-30. ~~ \#/ ___ ~~ V~' '-> ~~~ / A newer version of Amazon Linux is available! ~~._. _/ _/ _/ Amazon Linux 2023, GA and supported until 2028-03-15. _/m/' https://aws.amazon.com/linux/amazon-linux-2023/ ``` + MySQLサーバーノードに接続します。 ```bash ssh -i /home/ec2-user/.ssh/pe-class-key-oregon.pem rocky@${HOST_MYSQL1_PRIVATE_IP} ``` ```output Last login: Thu Aug 1 11:58:47 2024 from 10.90.4.90 [rocky@ip-10-90-1-235 ~]$ ``` + データベースセッションを持つMySQLサーバーに接続します。 ```bash mysql -h localhost -P 3306 -u root -pq1w2e3R4_ --connect-expired-password ``` ```output mysql> ``` ### 手順 2. MySQL から UPDATE を実行する + [ターミナル 2](ssh://monitor1-ssh#2)（MySQL側）で、特定の行に対するカラム`c`を`Changed on MySQL`に設定します。 ```sql SELECT * FROM sbtest.sbtest1 WHERE id=1; UPDATE sbtest.sbtest1 SET c='Changed on MySQL' WHERE id=1; SELECT * FROM sbtest.sbtest1 WHERE id=1; ``` ```output mysql> SELECT * FROM sbtest.sbtest1 WHERE id=1; +---+---------+-----------------------------------------------------------------------------------------------+-------------------------------------------------------------+ | id | k | c | pad | +---+---------+-----------------------------------------------------------------------------------------------+-------------------------------------------------------------+ | 1 | 5014614 | 68487932199-96439406143-93774651418-41631865787-96406072701-20604855487-25459966574-28203206787-41238978918-19503783441 | 22195207048-70116052123-74140395089-76317954521-98694025897 | +---+---------+-----------------------------------------------------------------------------------------------+-------------------------------------------------------------+ 1 row in set (0.00 sec) mysql> UPDATE sbtest.sbtest1 SET c='Changed on MySQL' WHERE id=1; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> SELECT * FROM sbtest.sbtest1 WHERE id=1; +---+---------+------------------+-------------------------------------------------------------+ | id | k | c | pad | +---+---------+------------------+-------------------------------------------------------------+ | 1 | 5014614 | Changed on MySQL | 22195207048-70116052123-74140395089-76317954521-98694025897 | +---+---------+------------------+-------------------------------------------------------------+ 1 row in set (0.00 sec) ``` ### 手順 3: TiUP 制御マシンに接続し、次に TiDB インスタンスに接続する + 新しいターミナル、[ターミナル 3](ssh://monitor1-ssh#3)を開き、その後TiDBクラスタに接続します。 ```output Last login: Thu Aug 1 11:58:37 2024 from xxxxxxxxxx , #_ ~\_ ####_ Amazon Linux 2 ~~ \_#####\ ~~ \###| AL2 End of Life is 2025-06-30. ~~ \#/ ___ ~~ V~' '-> ~~~ / A newer version of Amazon Linux is available! ~~._. _/ _/ _/ Amazon Linux 2023, GA and supported until 2028-03-15. _/m/' https://aws.amazon.com/linux/amazon-linux-2023/ ``` + TiDBクラスタに接続します。 ```bash export MYSQL_PS1="tidb:db1> " mysql -h ${HOST_DB1_PRIVATE_IP} -P 4000 -u root ``` ```output tidb:db1> ``` ### 手順 4. TiDB からの UPDATE操作の結果を観察する + [ターミナル 3](ssh://monitor1-ssh#3)（TiDB側）で、MySQLから同期された変更をTiDB側から確認します。 ```sql SELECT * FROM sbtest.sbtest1 WHERE id=1; ``` ```output tidb:db1> SELECT * FROM sbtest.sbtest1 WHERE id=1; +---+---------+------------------+-------------------------------------------------------------+ | id | k | c | pad | +---+---------+------------------+-------------------------------------------------------------+ | 1 | 5014614 | Changed on MySQL | 22195207048-70116052123-74140395089-76317954521-98694025897 | +---+---------+------------------+-------------------------------------------------------------+ 1 row in set (0.01 sec) ``` ### 手順 5. MySQL で INSERT 操作を実行する + [ターミナル 2](ssh://monitor1-ssh#2)（MySQL側）で、新しい行を挿入します。 ```sql INSERT INTO sbtest.sbtest1 (k, c, pad) VALUES (102, 'Insert on MySQL', 'Insert on MySQL'); SELECT * FROM sbtest.sbtest1 WHERE k=102; ``` ```output mysql> INSERT INTO sbtest.sbtest1 (k, c, pad) VALUES (102, 'Insert on MySQL', 'Insert on MySQL'); Query OK, 1 row affected (0.00 sec) mysql> SELECT * FROM sbtest.sbtest1 WHERE k=102; +----------+---+-----------------+-----------------+ | id | k | c | pad | +----------+---+-----------------+-----------------+ | 10000002 | 102 | Insert on MySQL | Insert on MySQL | +----------+---+-----------------+-----------------+ 1 row in set (0.00 sec) ``` ### 手順 6. TiDB からの INSERT 操作の結果を観察する + [ターミナル 3](ssh://monitor1-ssh#3)（TiDB側）で、MySQLから同期された変更をTiDB側から確認します。 ```sql SELECT * FROM sbtest.sbtest1 WHERE k=102; ``` ```output tidb:db1> SELECT * from sbtest.sbtest1 where k=102; +----------+---+-----------------+-----------------+ | id | k | c | pad | +----------+---+-----------------+-----------------+ | 10000002 | 102 | Insert on MySQL | Insert on MySQL | +----------+---+-----------------+-----------------+ 1 row in set (0.00 sec) ``` + 時間が許すなら、MySQL側からさらに変更を試し、TiDB側から結果を観察します。 ## 結論 TiDBのツールスイートの中で、TiDB Data Migration (DM)はデータ移行タスクを簡素化することにおいて重要な役割を果たします。単なるユーティリティを超えて、TiDB DMはMySQL互換のデータベース（MySQL、MariaDB、Amazon Auroraを含む）からTiDBへのフルデータ移行と差分データレプリケーションを処理するために設計された統合プラットフォームです。 TiDB DMは、複数のMySQLシャードを単一のTiDBデータベースに統合して移行することもサポートしています。これにより、異なるストレージシステムにまたがる大量の移行されたデータに対処する組織にとって理想的な選択肢となり、データ管理の複雑さを効果的に軽減します。中央管理機能を備えたTiDB DMは、クラスター内の何千ものノードに対処し、多数の移行タスクを同時に管理できるため、大規模な操作を処理する能力を強調しています。さらに、その高可用性により、移行タスクがノードの障害に耐性があり、データ操作に対して安定した信頼性のあるプラットフォームを提供しています。 ```hbsptform { "ui": { "titleLevel": 3 }, "portalId": "4466002", "formId": "62bfb32a-a60a-4f9d-b2dc-1107a93db568", "region": "na1", "sfdcCampaignId": "701RC00000NdFlAYAV" } ```