Comment augmenter le stockage de Google Colab
Je travaille sur un ensemble de données de 70 Go
Plus tôt en utilisant df -BG commande
On me montrait
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 359G 6G 335G 2% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/root 2G 1G 1G 44% /opt/bin
tmpfs 7G 1G 7G 4% /usr/lib64-nvidia
/dev/sda1 365G 8G 358G 3% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
Soudain, il est devenu
Filesystem 1G-blocks Used Available Use% Mounted on
overlay 40G 5G 33G 14% /
tmpfs 7G 0G 7G 0% /dev
tmpfs 7G 0G 7G 0% /sys/fs/cgroup
/dev/sda1 46G 40G 6G 88% /etc/hosts
shm 1G 0G 1G 0% /dev/shm
tmpfs 7G 0G 7G 0% /sys/firmware
Quelqu'un peut-il suggérer un moyen possible de créer un nouveau bloc-notes avec plus de 300 Go disponibles ou tout moyen possible de revenir à l'état précédent.
J'ai eu le même problème. Je ne suis pas sûr que ce soit une solution car je ne l'ai pas testé à fond, mais il semble que les runtimes [Python 2/No GPU] et [Python 3/No GPU] ne disposent que de 40 Go de stockage, alors que [Python 3/GPU] runtime a 359 Go de stockage.
Essayez de changer le type d'exécution de votre ordinateur portable en [Python 3/GPU] en allant dans "Runtime"> "Changer le type d'exécution". J'espère que ça aide!
Si vous payez pour du stockage supplémentaire dans Google Drive, vous pouvez monter le lecteur dans/content/drive/folder
comme suit
from google.colab import drive
drive.mount('/content/drive')
> Then it will ask you for auth code
Vous pouvez même l'utiliser pour décompresser des jeux de données (Mon scénario était que j'avais assez d'espace sur Colab pour télécharger 18G de Coco Dataset mais pas assez d'espace pour le décompresser)
!unzip /content/train2017.Zip -d /content/drive/My\ Drive/COCO/train_2017
L'utilisation de Google Drive ne fonctionnera pas, si les fichiers se trouvent sur Google Drive, il ne pourra pas lire l'intégralité du répertoire en raison d'un trop grand nombre de fichiers. De tous mes tests, je ne peux pas le faire fonctionner avec un répertoire contenant plus de 15k fichiers. Vous devrez avoir suffisamment d'espace pour télécharger l'ensemble de données sur la machine virtuelle.
*** Mise à jour: ça marche !!!
Hé les gars, j'ai compris comment obtenir l'ensemble de données COCO-2017 dans Colab avec Google Drive. Fondamentalement, j'ai décomposé train2017 et test2017 en sous-répertoires avec un maximum de 5000 fichiers (j'ai remarqué que Colab ne pouvait lire que quelque 15 000 fichiers dans un répertoire, donc 5000 semblait une valeur sûre). Voici le code pour cela: https://github.com/sawyermade/detectron2_pkgs/tree/master/dataset_download
Ensuite, j'ai utilisé rclone pour télécharger l'intégralité de l'ensemble de données sur Google Drive et déchiqueter avec toute personne disposant d'un lien peut voir: https://drive.google.com/drive/folders/1EVsLBRwT2njNWOrmBAhDHvvB8qrd9pXT?usp=sharing
Une fois que vous avez le partage dans votre Google Drive, créez un raccourci pour qu'il soit accessible par Colab. Ensuite, je crée simplement 118287 pour le train et 40670 pour les liens symboliques de test dans le répertoire local. Jusqu'à présent, cela fonctionne comme un charme. J'ai même enregistré toutes mes sorties sur Google Drive pour qu'elles puissent être reprises après le coup de pied de 12 heures. Voici le bloc-notes pour cela: https://colab.research.google.com/drive/1OVStblo4Q3rz49Pe9-CJcUGkkCDLcMqP
J'entraîne un masque rcnn maintenant, je rapporterai les résultats une fois terminé mais ça a l'air vraiment bon jusqu'à présent.