## 模块 1: 快速创建大量数据库和表 SaaS 应用通常为不同租户提供独立的数据库或表。TiDB 的可扩展性和高效的元数据管理使其能够快速创建数千个数据库和表，同时保持性能和稳定性。 在本模块中，我们将尝试创建 1,000 个数据库，每个数据库包含 10 个表，总共 10,000 个表。 在生产环境中，你可以轻松扩展到百万级表。由于今天时间有限，我们将生成限制在 10k 个表。 ### 步骤 1. 连接到 TiUP 控制机节点 + 点击这里 - [终端 1](ssh://monitor1-ssh#1) 打开一个新的终端，连接到为你的实践实验分配的虚拟机。 ### 步骤 2. 查看 TiDB 集群状态 + 获取集群状态。 ```bash tiup cluster display tidb-demo ``` ```output Cluster type: tidb Cluster name: tidb-demo Cluster version: v${LAB:TIDB_VERSION} Deploy user: ec2-user SSH type: builtin Dashboard URL: http://54.188.180.4:2379/dashboard Grafana URL: http://10.90.4.196:3000 ID Role Host Ports OS/Arch Status Data Dir Deploy Dir -- ---- ---- ----- ------- ------ -------- ---------- 10.90.4.196:9093 alertmanager 10.90.4.196 9093/9094 linux/x86_64 Up /tidb-data/alertmanager-9093 /tidb-deploy/alertmanager-9093 10.90.4.196:3000 grafana 10.90.4.196 3000 linux/x86_64 Up - /tidb-deploy/grafana-3000 10.90.2.26:2379 pd 10.90.2.26 2379/2380 linux/x86_64 Up|L /tidb-data/pd-2379 /tidb-deploy/pd-2379 10.90.4.196:9090 prometheus 10.90.4.196 9090/12020 linux/x86_64 Up /tidb-data/prometheus-9090 /tidb-deploy/prometheus-9090 10.90.1.149:4000 tidb 10.90.1.149 4000/10080 linux/x86_64 Up - /tidb-deploy/tidb-4000 10.90.3.216:20160 tikv 10.90.3.216 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 10.90.3.225:20160 tikv 10.90.3.225 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 10.90.3.95:20160 tikv 10.90.3.95 20160/20180 linux/x86_64 Up /tidb-data/tikv-20160 /tidb-deploy/tikv-20160 Total nodes: 8 ``` ### 步骤 3. 修改2个必要的 TiDB 系统变量 + 以数据库用户 `root` 身份连接到 TiDB 服务器实例。 ```bash mysql --prompt="mysql [\d] > " -h ${HOST_DB1_PRIVATE_IP} -P 4000 -u root ``` ```output mysql [(none)] > ``` + 检查表创建加速变量 `tidb_enable_fast_create_table`。从 `v8.5` 开始默认值为 `ON`。对于从 v8.4.0 或更早版本升级的集群，默认值保持为 `OFF`。 ```sql show variables like 'tidb_enable_fast_create_table'; ``` ```output +-------------------------------+-------+ | Variable_name | Value | +-------------------------------+-------+ | tidb_enable_fast_create_table | ON | +-------------------------------+-------+ 1 row in set (0.00 sec) ``` + 检查 schema 缓存大小变量 `tidb_schema_cache_size`。当单个集群中的表数量超过 100k 时，通过监控 Infoschema v2 Cache Operation 指标并调整缓存大小值(默认 512MB)来保持缓存命中率大于 85%。你可以通过路径 `TiDB` -> `Schema Load` -> `Infoschema v2 Cache Operation` & `Infoschema v2 Cache Size` 在 grafana 中找到这些指标。 ```sql show variables like 'tidb_schema_cache_size'; ``` ```output +------------------------+-----------+ | Variable_name | Value | +------------------------+-----------+ | tidb_schema_cache_size | 536870912 | +------------------------+-----------+ 1 row in set (0.00 sec) ``` ```sql EXIT; ``` ```output mysql> EXIT; ``` ### 步骤 4. 准备 sysbench 配置 + 获取 sysbench 工具。在本模块中我们将使用 sysbench 并行创建数据库和表。 ```bash git clone https://github.com/lilinghai/sysbench/ ``` ```output Cloning into 'sysbench'... remote: Enumerating objects: 10789, done. remote: Counting objects: 100% (271/271), done. remote: Compressing objects: 100% (172/172), done. remote: Total 10789 (delta 119), reused 107 (delta 94), pack-reused 10518 (from 4) Receiving objects: 100% (10789/10789), 5.37 MiB | 29.74 MiB/s, done. Resolving deltas: 100% (7534/7534), done. ``` + 设置 `sysbench` 配置。我们将在本动手实验中使用 64 个线程。 ```bash cat << EOF > sysbench_config mysql-host=${HOST_DB1_PRIVATE_IP} mysql-port=4000 mysql-user=root mysql-password= mysql-db=test time=60 threads=64 report-interval=1 EOF cat sysbench_config ``` ```output mysql-host=10.90.1.125 mysql-port=4000 mysql-user=root mysql-password= mysql-db=test time=60 threads=64 report-interval=1 ``` ### 步骤 5. 使用 sysbench 创建 10,000 个表 + 创建 1000 个数据库，每个数据库 10 个表，每个表有 100 行种子数据。这用于模拟 SaaS 应用初始化时的场景。它将创建许多数据库和表，每个数据库本质上代表一个租户。这将花费你大约 2 分钟，请记住我们使用的是微型虚拟机实例的来创建的实验 TiDB 集群，这不是生产级环境。 + 在真实的生产环境中，您可以以相同的速度创建数百万个表。 ```bash cd ~/sysbench/workloads/many_db_tables/ sysbench oltp_read_write preparedb \ --config-file=/home/ec2-user/sysbench_config --db_prefix=sbtest --dbs=1000 --tables=10 --table_size=100 sysbench oltp_read_write preparetable \ --config-file=/home/ec2-user/sysbench_config --db_prefix=sbtest --dbs=1000 --tables=10 --table_size=100 sysbench oltp_read_write preparedata \ --config-file=/home/ec2-user/sysbench_config --db_prefix=sbtest --dbs=1000 --tables=10 --table_size=100 cd ~ ``` ```output sysbench 1.0.17 (using bundled LuaJIT 2.1.0-beta2) Initializing worker threads... ... Creating database 'sbtest15'... Creating database 'sbtest3'... Creating database 'sbtest10'... Creating database 'sbtest5'... ... Creating table sbtest2.sbtest2 ... Creating table sbtest6.sbtest2 ... Creating table sbtest7.sbtest2 ... Creating table sbtest5.sbtest2 ... Creating table sbtest1.sbtest2 ... Creating table sbtest2.sbtest1 ... Creating table sbtest8.sbtest1 ... Creating table sbtest1.sbtest1 ... Creating table sbtest6.sbtest1 ... Creating table sbtest7.sbtest1 ... Creating table sbtest4.sbtest2 ... ... Inserting 100 records into 'sbtest1.sbtest2' Inserting 100 records into 'sbtest1.sbtest1' Inserting 100 records into 'sbtest1.sbtest7' Inserting 100 records into 'sbtest1.sbtest3' Inserting 100 records into 'sbtest1.sbtest6' ... ``` ### 步骤 6. 验证创建的数据库 + 以数据库用户 `root` 身份连接到 TiDB 服务器实例。 ```bash mysql --prompt="mysql [\d] > " -h ${HOST_DB1_PRIVATE_IP} -P 4000 -u root ``` ```output mysql [(none)] > ``` + 验证数据库。 ```sql SHOW DATABASES; ``` ```output +--------------------+ | Database | +--------------------+ | INFORMATION_SCHEMA | | METRICS_SCHEMA | | PERFORMANCE_SCHEMA | | mysql | | sbtest1 | | sbtest10 | ... | sbtest987 | | sbtest988 | | sbtest989 | | sbtest99 | | sbtest990 | | sbtest991 | | sbtest992 | | sbtest993 | | sbtest994 | | sbtest995 | | sbtest996 | | sbtest997 | | sbtest998 | | sbtest999 | | sys | | test | +--------------------+ 1006 rows in set (0.00 sec) ``` + 验证表并检查 `sbtest1000` 数据库中一个随机表的行数。 ```sql USE sbtest1000; SHOW TABLES; SELECT COUNT(1) FROM sbtest10; ``` ```output Database changed +----------------------+ | Tables_in_sbtest1000 | +----------------------+ | sbtest1 | | sbtest10 | | sbtest2 | | sbtest3 | | sbtest4 | | sbtest5 | | sbtest6 | | sbtest7 | | sbtest8 | | sbtest9 | +----------------------+ 10 rows in set (0.00 sec) ... +----------+ | count(1) | +----------+ | 100 | +----------+ 1 row in set (0.00 sec) ``` + 当新租户订阅 SaaS 应用时，TiDB 中的元数据创建和种子数据填充非常快。 + 保持 mysql 客户端和 TiDB 的链接，请继续下一个模块。