RELATIONAL DATASET REPOSITORYのデータセットをPostgreSQLに取り込む

Relational Dataset Repositoryで、リレーショナルデータベース用のデータセットが公開されている。データセットによっては100万件ちかくのデータが入っているので、クエリ最適化などの練習に使えそう。

下記のデータセットをPostgresSQLに取り込んでみることにした。

やること

データは公開されたMySQLのサーバーに入っていて、そこから適宜dumpしてね、という形で配布されている。このため、MySQLに保存されているデータをどうにかしてPostgreSQLに取り込む必要がある。

下記の手順でデータを取り込む。

配布元のサーバーはmariadbで動いているので、互換性の問題が起きにくいようにmariadbをインストールする。

sudo apt install mariadb-client-10.3

MySQLのサーバーからPostgreSQLのサーバーに直接データを取り込むツール、pgloader をインストールする。

sudo apt install pgloader

最近のpostgresは、デフォルトで暗号化方式がscram-sha-256になっているが、pgloaderは対応していない。md5で暗号化するように設定して認証できるようにする。

createdb financial
createuser dump

superuserなユーザーでpsqlを起動

ALTER ROLE dump WITH PASSWORD 'dump';

pgloader mysql://guest:relational@relational.fit.cvut.cz/financial postgresql://dump:dump@localhost/financial

参考資料