diff --git a/create_submission.py b/create_submission.py index 612fbff03fc6cc91e8f6c6e803a8dc2f8ea3996c..0ecb9b3cd222fb01e30e0db8ae2040dd776ebc19 100644 --- a/create_submission.py +++ b/create_submission.py @@ -30,7 +30,7 @@ def dummy_model(X): # Divided by a magic number return X[:, :, 4:].mean(dim=2) / 26 # This is (B, T) -def create_submission(model, transform, device, rootDir): +def create_submission(model, transform, device, rootDir, logdir): step_days = 10 batch_size = 1024 # We make chunks of num_days consecutive samples; As our dummy predictor @@ -57,7 +57,7 @@ def create_submission(model, transform, device, rootDir): num_days_test = test_loader.dataset.ntimes logging.info("= Filling in the submission file") - with open(rootDir + "submission.csv", "w") as fh_submission: + with open(logdir + "submission.csv", "w") as fh_submission: fh_submission.write("Id,Predicted\n") submission_offset = 0 diff --git a/logs/RNN_13/best_model.pt b/logs/RNN_13/best_model.pt index 6880a8a10f215b6db736b88ab182db54219ae469..46fccfaa11e6ab05caaa8f8a0eadbbf8db18deee 100644 Binary files a/logs/RNN_13/best_model.pt and b/logs/RNN_13/best_model.pt differ diff --git a/logs/RNN_14/best_model.pt b/logs/RNN_14/best_model.pt index 795a0bfd0ec72f57fb83627e0fe2f3e7808691b5..b69ff01c91bd59207cda55c61b311d2940e99848 100644 Binary files a/logs/RNN_14/best_model.pt and b/logs/RNN_14/best_model.pt differ diff --git a/logs/RNN_15/best_model.pt b/logs/RNN_15/best_model.pt index 4a84e84260ad9429e6a7e8e59e6fbf0961b84202..e241d2c69a40615e3c7e64eece045a3748e33492 100644 Binary files a/logs/RNN_15/best_model.pt and b/logs/RNN_15/best_model.pt differ diff --git a/logs/RNN_16/best_model.pt b/logs/RNN_16/best_model.pt index 8b77c8cb583be1259b6cf4e7e46b40ecba4e6ab8..25bde8ea91e12434ab22f917160a4c8d7edad06a 100644 Binary files a/logs/RNN_16/best_model.pt and b/logs/RNN_16/best_model.pt differ diff --git a/logs/main_unit_test.log b/logs/main_unit_test.log index d1cf5e00dd0017b7a06b29e743576ac9722406d8..a7a232f06da859ee49e317a53e7b790daa01c3d7 100644 --- a/logs/main_unit_test.log +++ b/logs/main_unit_test.log @@ -1360,3 +1360,94 @@ INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx INFO:root: - The train fold has 541837 samples INFO:root: - The valid fold has 135323 samples +INFO:root:Building the dataloader +INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 365 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2017-testing.nc.bin_index.idx +INFO:root:I loaded 112860 values in the test set +INFO:root:= Filling in the submission file +INFO:root:= Dataloaders for mean and standard deviation +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - Loaded a dataset with 677160 samples +INFO:root: - Splitting the data in training and validation sets +INFO:root:Generating the subset files from 677160 samples +INFO:root: - Subset dataset +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - The train fold has 541516 samples +INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - Loaded a dataset with 677160 samples +INFO:root: - Splitting the data in training and validation sets +INFO:root:Generating the subset files from 677160 samples +ubset files from 677160 samples +INFO:root: - Subset dataset +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - The train fold has 541582 samples +���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - Loaded a dataset with 677160 samples +INFO:root: - Splitting the data in training and validation sets +INFO:root:Generating the subset files from 677160 samples +INFO:root: - Subset dataset +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - The train fold has 541377 samples +INFO:root: - The valid fold has 135783 samples +INFO:root:= Dataloaders for mean and standard deviation +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - Loaded a dataset with 677160 samples +INFO:root: - Splitting the data in training and validation sets +INFO:root:Generating the subset files from 677160 samples +INFO:root: - Subset dataset +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - The train fold has 541839 samples +����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - Loaded a dataset with 677160 samples +INFO:root: - Splitting the data in training and validation sets +INFO:root:Generating the subset files from 677160 samples +INFO:root: - Subset dataset +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 2222 time points +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2010-2016-training.nc.bin_index.idx +INFO:root: - The train fold has 541269 samples +INFO:root: - The valid fold has 135891 samples +INFO:root:Building the dataloader +INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 365 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2017-testing.nc.bin_index.idx +INFO:root:I loaded 112860 values in the test set +INFO:root:= Filling in the submission file +INFO:root:Building the dataloader +INFO:root:= Dataloaders +INFO:root: - Dataset creation +INFO:root:The loaded dataset contains 25 latitudes, 37 longitudes, 28 depths and 365 time points +INFO:root:Generating the index +INFO:root:Loading the index from sub_2CMEMS-MEDSEA-2017-testing.nc.bin_index.idx +INFO:root:I loaded 112860 values in the test set +INFO:root:= Filling in the submission file diff --git a/main.py b/main.py index 029e3796d27f5785f40a248cb6c8d69dcd0ee2a4..dd2773a83d0802c5bcf2b4015b0a3baa3153c088 100644 --- a/main.py +++ b/main.py @@ -132,4 +132,4 @@ if __name__ == "__main__": wandb.log({"val_loss": val_loss}) - create_submission.create_submission(network, dataloader.composite_transform(dataloader.transform_remove_space_time(), dataloader.transform_min_max_scaling(MIN, MAX)), device, rootDir) + create_submission.create_submission(network, dataloader.composite_transform(dataloader.transform_remove_space_time(), dataloader.transform_min_max_scaling(MIN, MAX)), device, rootDir, logdir) diff --git a/model.py b/model.py index a6a74dff54e617489b222b50383af2c049a2f1ce..f3860b6515fffe682592cdb8db547d06fa89fe4c 100644 --- a/model.py +++ b/model.py @@ -56,11 +56,11 @@ class RNN(nn.Module): self.fc.add_module( f"linear_{layer}", nn.Linear(self.hidden_size, self.hidden_size) ) - self.ffn.add_module( + self.fc.add_module( f"relu_{layer}", nn.ReLU() ) - self.ffn.add_module( + self.fc.add_module( f"dropout_{layer}", nn.Dropout(p=0.2) )