fix entity_redirection_dump dataset

binh-vu · Sep 8, 2023 · ab99955 · ab99955
1 parent 35b084e
commit ab99955
Show file tree

Hide file tree

Showing 2 changed files with 25 additions and 24 deletions.
diff --git a/kgdata/wikidata/datasets/entity_redirection_dump.py b/kgdata/wikidata/datasets/entity_redirection_dump.py
@@ -17,6 +17,7 @@ def entity_redirection_dump() -> Dataset[str]:
     ds = Dataset.string(
         cfg.entity_redirection_dump / "*.gz",
         name=f"entity-redirection-dump/{dump_date}",
+        dependencies=[],
     )
 
     if not ds.has_complete_data():
@@ -28,7 +29,7 @@ def entity_redirection_dump() -> Dataset[str]:
             n_writers=8,
             override=False,
         )
-        ds.sign(ds.get_name(), [])
+        ds.sign(ds.get_name(), ds.get_dependencies())
 
     return ds
 

diff --git a/scripts/build.sh b/scripts/build.sh
@@ -44,24 +44,30 @@ function wikidata_db {
 # ======================================================================
 # WIKIDATA Datasets
 
-# wikidata_dataset class_count
-# wikidata_dataset classes
-# wikidata_dataset cross_wiki_mapping
-# wikidata_dataset entities
-# wikidata_dataset entity_all_types
-# wikidata_dataset entity_degrees
-# wikidata_dataset entity_ids
+# uncomment to sign the dump files to avoid re-processing dump file
+# export KGDATA_FORCE_DISABLE_CHECK_SIGNATURE=1
+# python -m kgdata.wikidata.datasets -d entity_dump --sign
+# python -m kgdata.wikidata.datasets -d entity_redirection_dump --sign
+# python -m kgdata.wikidata.datasets -d page_dump --sign
+
+wikidata_dataset class_count
+wikidata_dataset classes
+wikidata_dataset cross_wiki_mapping
+wikidata_dataset entities
+wikidata_dataset entity_all_types
+wikidata_dataset entity_degrees
+wikidata_dataset entity_ids
 wikidata_dataset entity_labels
-# wikidata_dataset entity_metadata
-# wikidata_dataset entity_pagerank
-# wikidata_dataset entity_redirections
-# wikidata_dataset entity_types_and_degrees
-# wikidata_dataset entity_types
-# wikidata_dataset page_ids
-# wikidata_dataset properties
-# wikidata_dataset property_count
-# wikidata_dataset property_domains
-# wikidata_dataset property_ranges
+wikidata_dataset entity_metadata
+wikidata_dataset entity_pagerank
+wikidata_dataset entity_redirections
+wikidata_dataset entity_types_and_degrees
+wikidata_dataset entity_types
+wikidata_dataset page_ids
+wikidata_dataset properties
+wikidata_dataset property_count
+wikidata_dataset property_domains
+wikidata_dataset property_ranges
 
 # ======================================================================
 # WIKIPEDIA Datasets
@@ -87,9 +93,3 @@ wikidata_db entity_labels
 wikidata_db entity_pagerank
 wikidata_db entity_redirections
 wikidata_db wp2wd
-
-# python -m kgdata.wikidata entity_labels -d data/wikidata/20211213 -o data/databases/20211213_v2 -c -l en
-# python -m kgdata.wikidata classes -d data/wikidata/20211213 -o data/databases/20211213_v2 -c -l en
-# python -m kgdata.wikidata properties -d data/wikidata/20211213 -o data/databases/20211213_v2 -c -l en
-# python -m kgdata.wikidata wp2wd -d data/wikidata/20211213 -o data/databases/20211213_v2 -c -l en
-# python -m kgdata.wikidata entity_redirections -d data/wikidata/20211213 -o data/databases/20211213_v2 -c