## モジュール 2: レプリケーションタスクの作成 ### 手順 1. `SSH` で PD1 に接続 ```bash ./ssh-to-pd1.sh ``` ```output ... Last login: Sun Oct 15 21:44:34 2023 ... ``` ### 手順 2. PD1 上で MySQL サーバーを起動 ```bash sudo service mysqld start ``` ### 手順 3. MySQL にログイン + ポート3306でMySQLサーバーに`root@'localhost'`として、パスワード`q1w2e3R4_`でログインします。 ```bash mysql -u root -p -h 127.0.0.1 -P 3306 -pq1w2e3R4_ ``` ### 手順 4. データ変更捕捉タスクのためのユーザーを作成 ```sql CREATE USER cdc_user@'%' IDENTIFIED BY 'q1w2e3R4_'; ``` ```output mysql> CREATE USER cdc_user@'%' IDENTIFIED BY 'q1w2e3R4_'; Query OK, 0 rows affected (0.00 sec) ``` ```sql GRANT ALL PRIVILEGES on *.* to cdc_user@'%'; ``` ```output mysql> GRANT ALL PRIVILEGES on *.* to cdc_user@'%'; Query OK, 0 rows affected (0.00 sec) ``` ```sql EXIT; ``` ```output mysql> EXIT; ``` ### 手順 5. 上流の MySQL データベースにタイムゾーンをロード ```bash mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql -u root mysql -pq1w2e3R4_ ``` ```output mysql: [Warning] Using a password on the command line interface can be insecure. Warning: Unable to load '/usr/share/zoneinfo/iso3166.tab' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/leapseconds' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/tzdata.zi' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/zone.tab' as time zone. Skipping it. Warning: Unable to load '/usr/share/zoneinfo/zone1970.tab' as time zone. Skipping it. ``` ### 手順 6. 下流の MySQL のスキーマを作成 + ポート3306で下流のデータベースに接続し、新しいデータベース`test`と、テーブル`T1`を作成します。`T1`テーブルにはプライマリキー`id`カラムと`VARCHAR(20)`カラム`name`が必要です。mysqlクライアントを終了してください。 ```bash mysql -u root -h 127.0.0.1 -P 3306 -pq1w2e3R4_ ``` ```sql DROP DATABASE IF EXISTS test; CREATE DATABASE test; CREATE TABLE test.T1(id INT PRIMARY KEY, name VARCHAR(20)); SELECT * FROM test.T1; ``` ```sql EXIT; ``` ### 手順 7. 2番目のターミナル（ターミナル2)を開き、TiDB 上にスキーマを作成 + ここをクリック - [ターミナル 2](ssh://monitor1-ssh#2) で、ハンズオン演習用に割り当てられた仮想マシンに接続された新しいターミナルを開きます。 ```bash mysql -h${HOST_DB1_PRIVATE_IP} -P4000 -uroot ``` ```sql DROP DATABASE IF EXISTS test; CREATE DATABASE test; CREATE TABLE test.T1(id INT PRIMARY KEY, name VARCHAR(20)); SELECT * FROM test.T1; EXIT; ``` ### 手順 8. ターミナル2で、レプリケーションタスクを作成 + [ターミナル 2](ssh://monitor1-ssh#2)の`monitor1`上で、`cdc:v${LAB:TIDB_VERSION} cli`コマンドを実行してレプリケーションタスクを作成します。`cdc:v${LAB:TIDB_VERSION}`のバージョンに注意してください。バージョンタグを省略すると、最新のバージョンは我々のTiDBクラスタと互換性がないかもしれません。プライマリキーやnot-nullユニークキーがないためにレプリケートに不適格なテーブルがあるという警告メッセージが表示されるかもしれません。それらは前の演習から残されたテーブルです。簡単に選択し`Y`を選択してそのテーブルを無視してください。 + コマンドの詳細な説明です。 + `--pd=http://${HOST_PD1_PRIVATE_IP}:2379`: PDノードの1つのIPアドレス。 + `--sink-uri="mysql://cdc_user:q1w2e3R4_@${HOST_PD1_PRIVATE_IP}:3306/"`: レプリケーションタスクの下流のアドレス: ${HOST_PD1_PRIVATE_IP}, ポート: 3306 + `--changefeed-id="replication-task-1" --sort-engine="unified"`: レプリケーションタスクのID。 ```bash tiup cdc:v${LAB:TIDB_VERSION} cli changefeed create --pd=http://${HOST_PD1_PRIVATE_IP}:2379 \ --sink-uri="mysql://cdc_user:q1w2e3R4_@${HOST_PD1_PRIVATE_IP}:3306/" \ --changefeed-id="replication-task-1" --sort-engine="unified" ``` ```output tiup cdc:v${LAB:TIDB_VERSION} cli changefeed create --pd=http://${HOST_PD1_PRIVATE_IP}:2379 \ > --sink-uri="mysql://cdc_user:q1w2e3R4_@${HOST_PD1_PRIVATE_IP}:3306/" \ > --changefeed-id="replication-task-1" --sort-engine="unified" Starting component `cdc`: /home/ec2-user/.tiup/components/cdc/v${LAB:TIDB_VERSION}/cdc cli changefeed create --pd=http://10.80.0.224:2379 --sink-uri=mysql://cdc_user:q1w2e3R4_@10.80.0.224:3306/ --changefeed-id=replication-task-1 --sort-engine=unified Create changefeed successfully! ID: replication-task-1 Info: {"upstream-id":0,"sink-uri":"mysql://cdc_user:q1w2e3R4_@10.80.0.224:3306/","opts":{},"create-time":"2023-02-13T12:54:53.673149259Z","start-ts":439430124303286275,"target-ts":0,"admin-job-type":0,"sort-engine":"unified","sort-dir":"","config":{"case-sensitive":true,"enable-old-value":true,"force-replicate":false,"check-gc-safe-point":true,"filter":{"rules":["*.*"],"ignore-txn-start-ts":null},"mounter":{"worker-num":16},"sink":{"dispatchers":null,"protocol":"","column-selectors":null,"schema-registry":""},"cyclic-replication":{"enable":false,"replica-id":0,"filter-replica-ids":null,"id-buckets":0,"sync-ddl":false},"consistent":{"level":"none","max-log-size":64,"flush-interval":1000,"storage":""}},"state":"normal","error":null,"sync-point-enabled":false,"sync-point-interval":600000000000,"creator-version":"v6.1.0"} ``` ### 手順 9. ターミナル2でレプリケーションタスクリストをクエリー ```bash tiup cdc:v${LAB:TIDB_VERSION} cli changefeed list --pd=http://${HOST_PD1_PRIVATE_IP}:2379 ``` ```output Starting component `cdc`: /home/ec2-user/.tiup/components/cdc/v${LAB:TIDB_VERSION}/cdc cli changefeed list --pd=http://10.80.0.224:2379 [ { "id": "replication-task-1", "summary": { "state": "normal", "tso": 439430205069852673, "checkpoint": "2023-02-13 13:00:01.713", "error": null } } ] ``` ### 手順 10. ターミナル2で特定のレプリケーションタスクをクエリー ```bash tiup cdc:v${LAB:TIDB_VERSION} cli changefeed query --pd=http://${HOST_PD3_PRIVATE_IP}:2379 --changefeed-id=replication-task-1 ``` ```output Starting component `cdc`: /home/ec2-user/.tiup/components/cdc/v${LAB:TIDB_VERSION}/cdc cli changefeed query --pd=http://10.80.0.12:2379 --changefeed-id=replication-task-1 { "upstream_id": 7231813390813770262, "namespace": "default", "id": "replication-task-1", "sink_uri": "mysql://cdc_user:xxxxx@10.90.3.188:3306/", "config": { "memory_quota": 1073741824, "case_sensitive": true, "enable_old_value": true, "force_replicate": false, "ignore_ineligible_table": false, "check_gc_safe_point": true, "enable_sync_point": false, "bdr_mode": false, "sync_point_interval": 600000000000, "sync_point_retention": 86400000000000, "filter": { "rules": [ "*.*" ], "event_filters": null }, "mounter": { "worker_num": 16 }, "sink": { "protocol": "", "schema_registry": "", "csv": { "delimiter": ",", "quote": "\"", "null": "\\N", "include_commit_ts": false }, "column_selectors": null, "transaction_atomicity": "", "encoder_concurrency": 16, "terminator": "\r\n", "date_separator": "none", "enable_partition_separator": false }, "consistent": { "level": "none", "max_log_size": 64, "flush_interval": 2000, "storage": "" } }, "create_time": "2023-05-11 07:09:04.259", "start_ts": 441395168967655437, "resolved_ts": 441395195247853571, "target_ts": 0, "checkpoint_tso": 441395195247853571, "checkpoint_time": "2023-05-11 07:10:44.372", "sort_engine": "unified", "state": "normal", "error": null, "error_history": null, "creator_version": "", "task_status": [ { "capture_id": "4399c858-e811-4d9e-9b08-fb5690c097ec", "table_ids": [], "table_operations": null }, { "capture_id": "5982fa7d-c755-409a-88d5-03527c8a0fcd", "table_ids": [], "table_operations": null }, { "capture_id": "1c15e075-1435-464c-af66-92ba0286a7fe", "table_ids": [ 80 ], "table_operations": null } ] } ``` ### 手順 11. ターミナル2で、上流の TiDB にデータを挿入 ```bash mysql -h${HOST_DB1_PRIVATE_IP} -P4000 -uroot ``` ```sql SELECT * FROM test.T1; ``` ```output mysql> SELECT * FROM test.T1; Empty set (0.01 sec) ``` ```sql INSERT INTO test.T1 VALUES(1, 'Tom'); ``` ```output mysql> INSERT INTO test.T1 VALUES(1, 'Tom'); Query OK, 1 row affected (0.00 sec) ``` ```sql SELECT * FROM test.T1; ``` ```output mysql> SELECT * FROM test.T1; +----+------+ | id | name | +----+------+ | 1 | Tom | +----+------+ 1 row in set (0.00 sec) ``` ```sql EXIT; ``` ### 手順 12. 下流の MySQL で結果を確認 - [ターミナル1](ssh://monitor1-ssh#2)で、次のコマンドを実行します。 ```bash mysql -u cdc_user -h 127.0.0.1 -P 3306 -pq1w2e3R4_ ``` ```sql SELECT * FROM test.T1; ``` ```output mysql> SELECT * FROM test.T1; +----+------+ | id | name | +----+------+ | 1 | Tom | +----+------+ 1 row in set (0.00 sec) ``` ```sql EXIT; ``` ```output mysql> EXIT; ``` + PD1 からログアウトし、コントロールマシンに戻ります。 ```bash exit ```