## モジュール 2: 並列での TiDB へのデータインポート + この演習では、`TiDB Lightning` を使用して複数のテーブルを並列で TiDB にインポートします。以下の図は、`TiDB Lightning` を使用してシャードデータベースとテーブルを並列で TiDB にインポートする方法を示しています。私たちの例では、`my_table_1` は奇数のID番号を持つすべてのレコードを含み、`my_table_2` は偶数のID番号を持つすべてのレコードを含んでいます。 ![60%](https://lab-static.pingcap.com/quick-demo/TiDBLightningLabToplogy_aa_003_20220725.png) ### 手順 1. データファイルディレクトリの内容の一覧表示 ```bash ls ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_1 ``` ```output metadata my_db.my_table_1.000000000.sql my_db.my_table_1-schema.sql my_db-schema-create.sql ``` ### 手順 2. データソースファイルの確認 + `my_db-schema-create.sql`、`my_db.my_table_1-schema.sql`、`my_db.my_table_1.000000000.sql` ファイルを表示して、その構造を学びましょう。 ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_1/my_db-schema-create.sql ``` ```output /*!40101 SET NAMES binary*/; CREATE DATABASE `my_db` /*!40100 DEFAULT CHARACTER SET latin1 */; ``` ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_1/my_db.my_table_1-schema.sql ``` ```output /*!40101 SET NAMES binary*/; CREATE TABLE `my_table_1` ( `id` int(11) NOT NULL, `name` varchar(32) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; ``` ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_1/my_db.my_table_1.000000000.sql ``` ```output /*!40101 SET NAMES binary*/; > INSERT INTO `my_table_1` VALUES (1,'tom'), (3,'frank'); ... ``` ### 手順 3. 新しいターミナル (ターミナル2) を開く + ここをクリック - [ターミナル 2](ssh://monitor1-ssh#2) で、ハンズオン演習用に割り当てられた仮想マシンに接続された新しいターミナルを開きます。 ### 手順 4. ターミナル2で `PD1` にログイン ```bash ./ssh-to-pd1.sh ``` ```output ... ... ``` ### 手順 5. ターミナル2でデータの展開 ```bash unzip -u stage/tidb-admin-dataset-v2.zip -d stage/ ``` ```bash ls ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_2 ``` ```output metadata my_db.my_table_2.000000000.sql my_db.my_table_2-schema.sql my_db-schema-create.sql ``` ### 手順 6. ターミナル2でデータファイルの確認 ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_2/my_db-schema-create.sql ``` ```output /*!40101 SET NAMES binary*/; CREATE DATABASE `my_db` /*!40100 DEFAULT CHARACTER SET latin1 */; ``` ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_2/my_db.my_table_2-schema.sql ``` ```output /*!40101 SET NAMES binary*/; CREATE TABLE `my_table_2` ( `id` int(11) NOT NULL, `name` varchar(32) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1; ``` ```bash cat ~/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_2/my_db.my_table_2.000000000.sql ``` ```output /*!40101 SET NAMES binary*/; INSERT INTO `my_table_2` VALUES (2,'jack'), (4,'tony'); ... ``` ### 手順 7. ターミナル1で `solution-lightning-p1.toml` を表示 + [ターミナル1](ssh://monitor1-ssh#1) で作業します。以下に表示されるIPアドレスはあなたの環境と異なる場合があります。 ```bash cat solution-lightning-p1.toml ``` ```output [lightning] # The concurrency number of data. It is set to the number of logical CPU # cores by default. When deploying together with other components, you can # set it to 75% of the size of logical CPU cores to limit the CPU usage. # region-concurrency = 1 # Logging level = "info" file = "tidb-lightning-p1.log" [tikv-importer] # Whether to allow importing data to tables with data. The default value is `false`. # When you use parallel import mode, you must set it to `true`, because multiple TiDB Lightning instances are importing the same table at the same time. incremental-import = true # Sets the backend to the "local" mode. backend = "local" # Sets the directory of temporary local storage. sorted-kv-dir = "/tmp/sorted-kv-dir" [mydumper] # Local source data directory data-source-dir = "/home/ec2-user/stage/TiDB-Administration-exercise-data-v2/exercise-lightning/Importing-Data-into-TiDB-in-Parallel/my_table_1" # Only import tables if these wildcard rules are matched. See the corresponding section for details. filter = ['*.*', '!mysql.*', '!sys.*', '!INFORMATION_SCHEMA.*', '!PERFORMANCE_SCHEMA.*', '!METRICS_SCHEMA.*', '!INSPECTION_SCHEMA.*'] [[routes]] schema-pattern = "my_db" table-pattern = "my_table_*" target-schema = "my_db" target-table = "my_table" [tidb] # Configuration of any TiDB server from the cluster. host = "" port = 4000 user = "ltask" password = "q1w2e3R4_" # Table schema information is fetched from TiDB via this status-port. status-port = 10080 # Address of any PD server from the cluster. pd-addr = "10.90.2.84:2379" ``` ### 手順 8. ターミナル2で、`TiUP` と `Lightning` をインストールします - [ターミナル2](ssh://monitor1-ssh#2) に切り替え、以下のコマンドを実行します。 ```bash ./01-install-tiup.sh ``` ```bash source .bash_profile ``` ```bash tiup mirror set tidb-community-server-7.5.1-linux-amd64 tiup install tidb-lightning ``` ### 手順 9. ターミナル1で、ファイル `solution-lightning-p2.toml` を `PD1` にコピーします - [ターミナル1](ssh://monitor1-ssh#1) に切り替え、以下のコマンドを実行します。 ```bash scp -i ~/.ssh/pe-class-key-${LAB:REGION_NAME}.pem solution-lightning-p2.toml ec2-user@${HOST_PD1_PRIVATE_IP}:/home/ec2-user/ ``` ```output solution-lightning-p2.toml 100% 720 678.5KB/s 00:00 ``` ### 手順 10. ターミナル1で、TiDB に接続し、`my_db` データベースを削除します ```bash mysql -h ${HOST_DB1_PRIVATE_IP} --port 4000 -u root ``` ```bash DROP DATABASE IF EXISTS my_db; ``` ```output mysql> DROP DATABASE IF EXISTS my_db; ``` ```bash EXIT ``` ```output mysql> EXIT; Bye ``` ### 手順 11. ターミナル1で、Lightning を使用してデータをインポートします + `nohup` コマンドを使用して `tidb-lightning` プロセスを開始します（Enterを押して `tidb-lighting` をバックグラウンドで動作させます）。 + ステップ11とステップ12をほぼ同時に実行してください ```bash nohup tiup tidb-lightning -config solution-lightning-p1.toml > nohup.out & ``` ```output [1] 4256 # nohup: ignoring input and redirecting stderr to stdout ... [1]+ Done nohup tidb-lightning -config solution-lightning-p1.toml > nohup ``` ### 手順 12. ターミナル2で、Lightning を使用してデータをインポートします - [ターミナル2](ssh://monitor1-ssh#2) に切り替え、以下のコマンドを実行します。 ```bash nohup .tiup/bin/tiup tidb-lightning -config solution-lightning-p2.toml > nohup.out & ``` ```output [1] 4256 # nohup: ignoring input and redirecting stderr to stdout ... [1]+ Done nohup tidb-lightning -config solution-lightning-p2.toml > nohup ``` ### 手順 13. 両方のターミナルで、Lightning の出力を確認します + [ターミナル 1](ssh://monitor1-ssh#1) で、`nohup.out` ファイルの内容を確認して `TiDB Lightning` が正常に終了したことを確認し、`:q!` を入力してターミナルを終了します： ```bash cat nohup.out ``` ```output +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | # | CHECK ITEM | TYPE | PASSED | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 1 | Source csv files size is proper | performance | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 2 | checkpoints are valid | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 3 | table schemas are valid | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 4 | Cluster is available | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 5 | Lightning has the correct storage permission | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 6 |sorted-kv-dir:/tmp/sorted-kv-dir and data-source-dir:/home/ec2-user/sample/sql/my_table_1 are in the same disk, may slow down performance | performance | false | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 7 | local disk resources are rich, estimate sorted data size 85B, local available is 5.149GiB | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 8 | Cluster available is rich, available is 54.46GiB, we need 255B | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 9 | Cluster doesn't have too many empty regions | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 10 | Cluster region distribution is balanced | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ tidb lightning exit successfully ``` + エラーが発生した場合、`tidb-lightning-p1.log` ファイルの内容を表示してエラーの原因を確認します。 ```bash cat tidb-lightning-p1.log ``` + データを再度インポートする前に、ライトニングのチェックポイントを削除する必要があるかもしれません。次のコマンドは、チェックポイントが`/tmp/`に保存されていると仮定しています。 ```bash rm /tmp/tidb_lightning_checkpoint.pb ``` + [ターミナル 2](ssh://monitor1-ssh#2) で、`nohup.out` ファイルの内容を確認して `TiDB Lightning` が正常に終了したことを確認します。 ```bash cat nohup.out ``` ```output Verbose debug logs will be written to tidb-lightning-p2.log +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | # | CHECK ITEM | TYPE | PASSED | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 1 | Source csv files size is proper | performance | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 2 | checkpoints are valid | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 3 | table schemas are valid | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 4 | Cluster is available | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 5 | Lightning has the correct storage permission | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 6 |sorted-kv-dir:/tmp/sorted-kv-dir and data-source-dir:/home/ec2-user/sample/sql/my_table_2 are in the same disk, may slow down performance | performance | false | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 7 | local disk resources are rich, estimate sorted data size 85B, local available is 7.173GiB | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 8 | Cluster available is rich, available is 54.46GiB, we need 255B | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 9 | Cluster doesn't have too many empty regions | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ | 10 | Cluster region distribution is balanced | critical | true | +----+----------------------------------------------------------------------------------------------------------------------------------+-------------+--------+ tidb lightning exit successfully ``` ### 手順 14. ターミナル1で、TiDB に接続して `emp.sal` テーブルをクエリします ```bash mysql -h ${HOST_DB1_PRIVATE_IP} --port 4000 -u root ``` ```bash SELECT COUNT(*) FROM my_db.my_table; ``` ```output mysql> SELECT COUNT(*) FROM my_db.my_table; +----------+ | COUNT(*) | +----------+ | 40156 | +----------+ 1 row in set (0.01 sec) ```