DBサイズについて

[梅太郎]

お世話になっております。
度々の質問で申し訳ありません。

Windows 11（64bit）、PostgreSQL 16 の環境にてフルセットアップ（ほぼ全データ導入）を行った場合、
データベース容量は おおよそどの程度 になるでしょうか。
作者様はフルデータを導入されているのではないかと思い、お伺いした次第です。
実は3日ほど前から、まっさらなDBに対してフルセットアップを実行しておりました。
当初はドライブの空き容量が200GB以上あったため問題ないと判断し、そのまま放置していたところ、
ディスク容量が上限に達してしまい、その後のデータ更新がすべて失敗する状態になってしまいました(^^;
もし MySQL をご利用でしたら、そちらでのDB容量でも構いませんので、
ご参考までにお聞かせいただけないでしょうか。
フルセットアップで相当な容量になることは承知しておりますが、
事前におおよその目安が分かればSSDを追加したい と考えております。
DB容量が200GBを超えるという点について、
もしかすると当方の環境設定に問題があるのではないかとも感じております。
お忙しいところ大変恐縮ですが、何卒よろしくお願いいたします。

[梅太郎]

すみません、容量上限時のＤＢは１１０ＧＢでした申し訳ありません。
フルセットアップ後のおおよそのＤＢサイズ教えて頂けたら幸いです

[Keough]

梅太郎さん

返信遅れましてすみません．
全データの登録は私もやっていないので容量は分かりませんが，時系列データや3連単，CK等も含めるとかなりの容量になるのではないでしょうか．
(JV-Dataの仕様書のバイト数×レコード数で概ね算出できるかとは思いますが，結構大変ですね・・)

私自身は仲間内のPOGで運用するのに必要なデータだけ登録していますのでセットアップデータ含めて5GBぐらいですね．
アクセスする必要最小限のデータを登録することをお勧めします．
それでも全データ登録したいのであれば，SSDの容量増やすしかないかと．．

よろしくお願いします．

Keough

[梅太郎]

ご回答ありがとうございます。TARGETのフルセットアップが大した事なかったので甘く見てました。
とりあえず１Ｔ増設したのでフルセットアップでどのくらい容量かかるかみてみます。無事フルセットアップ
終わりましたらおおよその時間とＤＢ容量参考までにお知らせしますね。ありがとうございました

[Keough]

梅太郎さん

有難うございます．
全項目フルセットアップでどのぐらいの容量になるか興味あるので(他人事で済みません)，また状況教えて下さい．

今後ともよろしくお願いいたします．

Keough

[梅太郎]

こんにちはお疲れさまです。フルセット終了しました笑
特別出走馬、時系列データー以外は全て取得。先ずはPCスペックから

Windows11pro 64bit Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz (2.90 GHz)
MEM32.0 GB SSD NVMe Gen3 1TB PostgreSQL 18と16の最終バージョン
回線速度はほぼ200Mbps以上出る光回線

この構成でフルセットアップ仕様時間およそ4日半です

table_name | row_count | table_size | index_size | total_size
—————————–+———–+————+————+————
hyosu6_sanrentan | 164504048 | 23 GB | 6370 MB | 29 GB
odds6_sanrentan | 164472976 | 27 GB | 6371 MB | 33 GB
odds5_sanrenpuku | 34233068 | 5698 MB | 1326 MB | 7023 MB
hyosu1_sanrenpuku | 34222068 | 4868 MB | 1325 MB | 6194 MB
hyosu1_umatan | 15711872 | 2235 MB | 608 MB | 2843 MB
odds4_umatan | 15711309 | 2615 MB | 608 MB | 3224 MB
hanro_chokyo | 11573459 | 1561 MB | 755 MB | 2315 MB
hyosu1_umaren | 10690388 | 1520 MB | 414 MB | 1934 MB
odds2_umaren | 10309515 | 1716 MB | 399 MB | 2115 MB
hyosu1_wide | 8656303 | 1231 MB | 335 MB | 1566 MB
odds3_wide | 8655786 | 1441 MB | 335 MB | 1776 MB
hyosu1_wakuren | 4471333 | 603 MB | 173 MB | 775 MB
odds1_wakuren | 3712672 | 500 MB | 143 MB | 644 MB
umagoto_race_joho | 2840562 | 1294 MB | 166 MB | 1460 MB
hyosu1_tansho | 1836907 | 248 MB | 71 MB | 319 MB
hyosu1_fukusho | 1836874 | 248 MB | 71 MB | 319 MB
odds1_tansho | 1553608 | 199 MB | 60 MB | 259 MB
odds1_fukusho | 1553595 | 209 MB | 60 MB | 270 MB
shussobetsu_kishu | 1082936 | 4283 MB | 51 MB | 4334 MB
shussobetsu_keibajo | 1082924 | 940 MB | 51 MB | 992 MB
shussobetsu_banushi | 1082921 | 367 MB | 51 MB | 418 MB
shussobetsu_seisansha2 | 1082919 | 365 MB | 51 MB | 417 MB
shussobetsu_kyori | 1082919 | 651 MB | 51 MB | 702 MB
shussobetsu_baba | 1082917 | 769 MB | 51 MB | 821 MB
shussobetsu_chokyoshi | 1082912 | 4282 MB | 51 MB | 4334 MB
kyosoba_jogai_joho | 798050 | 129 MB | 38 MB | 167 MB
woodchip_chokyo | 671317 | 131 MB | 44 MB | 176 MB
sanku_master2 | 419177 | 121 MB | 14 MB | 136 MB
race_shosai | 237726 | 238 MB | 12 MB | 249 MB
kyosoba_master2 | 211252 | 333 MB | 6928 kB | 340 MB
hanshokuba_master2 | 160398 | 31 MB | 6104 kB | 37 MB
hyosu1 | 137216 | 54 MB | 5456 kB | 59 MB
haraimodoshi | 137144 | 134 MB | 5456 kB | 139 MB
odds1 | 112517 | 20 MB | 4488 kB | 24 MB
data_mining_time | 82720 | 38 MB | 3304 kB | 41 MB
hyosu6 | 64814 | 12 MB | 2592 kB | 15 MB
data_mining_taisen | 52342 | 14 MB | 2096 kB | 16 MB
seisansha_master2 | 10646 | 3752 kB | 344 kB | 4096 kB
banushi_master | 8637 | 3352 kB | 256 kB | 3608 kB
bamei_imi_yurai | 7596 | 1200 kB | 328 kB | 1528 kB
kyosoba_torihiki_kakaku2 | 7469 | 1704 kB | 480 kB | 2184 kB
record_master | 2116 | 752 kB | 192 kB | 944 kB
kishu_master | 1558 | 16 MB | 64 kB | 16 MB
chokyoshi_master | 1469 | 12 MB | 56 kB | 12 MB
kaisai_schedule | 865 | 328 kB | 48 kB | 376 kB
win5 | 842 | 328 kB | 48 kB | 376 kB
win5_haraimodoshi | 835 | 144 kB | 56 kB | 200 kB
kaisaibi | 323 | 72 kB | 32 kB | 104 kB
course_joho | 119 | 280 kB | 16 kB | 296 kB
keibajo_code | 107 | 48 kB | 16 kB | 64 kB
kyoso_joken_code | 105 | 40 kB | 16 kB | 56 kB
keito_joho2 | 92 | 240 kB | 16 kB | 256 kB
kyoso_kigo_code | 88 | 40 kB | 16 kB | 56 kB
track_code | 30 | 40 kB | 16 kB | 56 kB
umakigo_code | 29 | 40 kB | 16 kB | 56 kB
chakusa_code | 25 | 40 kB | 16 kB | 56 kB
bataiju | 20 | 72 kB | 16 kB | 88 kB
moshoku_code | 12 | 40 kB | 16 kB | 56 kB
kyoso_shubetsu_code | 11 | 40 kB | 16 kB | 56 kB
grade_code | 10 | 40 kB | 16 kB | 56 kB
hinshu_code | 9 | 40 kB | 16 kB | 56 kB
yobi_code | 9 | 40 kB | 16 kB | 56 kB
ijo_kubun_code | 8 | 40 kB | 16 kB | 56 kB
tenko_code | 7 | 40 kB | 16 kB | 56 kB
kishu_minarai_code | 6 | 40 kB | 16 kB | 56 kB
juryo_shubetsu_code | 5 | 40 kB | 16 kB | 56 kB
babajotai_code | 5 | 40 kB | 16 kB | 56 kB
tenko_baba_jotai | 5 | 40 kB | 16 kB | 56 kB
tozai_shozoku_code | 5 | 40 kB | 16 kB | 56 kB
seibetsu_code | 4 | 40 kB | 16 kB | 56 kB
kijo_shikaku_code | 4 | 40 kB | 16 kB | 56 kB
hassojikoku_henko | 1 | 40 kB | 16 kB | 56 kB
shobufuku | 0 | 8192 bytes | 8192 bytes | 16 kB
odds1_wakuren_jikeiretsu | 0 | 0 bytes | 8192 bytes | 8192 bytes
odds1_fukusho_jikeiretsu | 0 | 0 bytes | 8192 bytes | 8192 bytes
odds1_tansho_jikeiretsu | 0 | 0 bytes | 8192 bytes | 8192 bytes
odds1_jikeiretsu | 0 | 0 bytes | 8192 bytes | 8192 bytes
tokubetsu_torokubagoto_joho | 0 | 0 bytes | 8192 bytes | 8192 bytes
tokubetsu_torokuba | 0 | 8192 bytes | 8192 bytes | 16 kB
shussotorikeshi_kyosojogai | 0 | 0 bytes | 8192 bytes | 8192 bytes
kishu_henko | 0 | 0 bytes | 8192 bytes | 8192 bytes
course_henko | 0 | 0 bytes | 8192 bytes | 8192 bytes
odds2_umaren_jikeiretsu | 0 | 0 bytes | 8192 bytes | 8192 bytes
(83 行)

DISK使用量は　約110GB 今回は18と16、両方同時にフルセットアップしましたので220GB
テーブルの件数比較しても18と16に差異は無しです。

kaisai_nen | race_count
————+————
1954 | 4
1955 | 10
1956 | 7
1959 | 3
1960 | 8
1961 | 2
1962 | 4
1963 | 3
1964 | 8
1965 | 8
1967 | 8
1968 | 10
1969 | 9
1975 | 3
1976 | 17
1977 | 14
1978 | 1
1982 | 3
1983 | 9
1984 | 9
1985 | 16
1986 | 3294
1987 | 3322
1988 | 3322
1989 | 3335
1990 | 3383
1991 | 3621
1992 | 3990
1993 | 4534
1994 | 4865
1995 | 5110
1996 | 5443
1997 | 6215
1998 | 6927
1999 | 7295
2000 | 5940
2001 | 6242
2002 | 6957
2003 | 7715
2004 | 7517
2005 | 6989
2006 | 7093
2007 | 7146
2008 | 7755
2009 | 7557
2010 | 7304
2011 | 7033
2012 | 6861
2013 | 6393
2014 | 6381
2015 | 6645
2016 | 6393
2017 | 6438
2018 | 6317
2019 | 6396
2020 | 6297
2021 | 6199
2022 | 6472
2023 | 6237
2024 | 5956
2025 | 4681
(61 行)

1954年のレースもあるとは笑
race_date | keibajo_code | race_bango | kyosomei_hondai | kyori | track_code
———–+————–+————+————————–+——-+————
19541023 | 06 | 05 | | 1000 | 17
19541107 | 06 | 08 | 三歳馬優勝競走 | 1100 | 17
19541204 | 06 | 02 | | 1100 | 17
19541212 | 06 | 10 | 朝日盃三歳ステークス競走 | 1100 | 17
(4 行)

2025年の件数が少ないのは
category | race_count
—————————+————
JRA (Central) | 3468
NAR/Overseas (Local/Intl) | 1213
(2 行)

地方競馬データーがまだ本年度入っていないからですね。

JV-LINKって確かActiveXで32bitですよね。この4日以上という時間はおそらくそれがボトルネックかと思います。
mykeibadb.exe自体の処理は高速でしょうから。
JRA-VAN側がREST APIとかなら爆速かもですが今更これをやる意味はJRA-VAN側には無いでしょうからこの時間が
限界でしょう。REST APIなんかやったらJRA-VAN側のサーバーや回線がパンクしますね笑
ちなみに18と16同時にmykeibadb動かしてもCPU、メモリは使用量３０％は超えません。configで調整はしましたが。
よってこれ以上高性能のPCでもセットアップ時間短縮は無理かと思われます（DISKの書き込み爆速にすればやや速いかも）

以上ご参考までに

何れにしろこのようなソフトウェア提供して頂いて非常に感謝しております。
これで回収率90％の競馬予測AI作ります笑　　長々と失礼しました。

[梅太郎]

追記　上記はフルセットアップ後　VACUME ANALYZE　した結果です

[Keough]

梅太郎さん

ご報告有難うございます．
mykeibadbの方も少しでも速くできないか検討してみます．
ぜひ素晴らしい予測ソフトを作ってください．

Keough

[投稿者]

投稿