免费GPU——Colab平台使用
一、简介
colab是google提供的一个免费GPU的Jupyter云服务平台,可以应用各种流行库,如深度学习的pytorch,tensorflow和keras等。
二、colab使用
1,访问colab
https://colab.research.google.com/notebooks/welcome.ipynb
(注:访问google需要tz,这就需要科学上网才能注册、使用,有需要可以私我)
2,使用GPU
使用colab需要的项目是放在google的云端硬盘里的,下面是链接:https://drive.google.com/drive/my-drive。登录进去就可以新建colaboratory了
新建后更改运行时类型选择GPU
使用以下代码检查是否分配到GPU,点击左边运行或者Ctrl+shift都可。一般来说免费的会分配到Tesla K80。(这里需要说明一下因为colab为我们提供的是一个ubuntu虚拟机,所以终端命令前需要带 “!”)
!nvidia-smi
3,运行代码
3.1 挂载云端硬盘
colab运行原理实际上是分配给我们一台远程带GPU的主机,所以原始路径不是我们的云端硬盘,所以第一步我们必须先把谷歌云盘挂载到那台远程主机上。
点击“装载google云端硬盘”出现以下代码,出来一个框需要输入验证码,按提示点击链接复制输入即可。
from google.colab import drive
drive.mount('/content/drive')
3.2 目录
查看当前脚本目录,!pwd
修改目录cd +"复制的路径"
(路径可以到左边导航栏右键点击路径目录进行复制)
cd /content/drive/MyDrive/Colab Notebooks/drive
3.3 运行程序
!python XXX.py
3.4 下面是几条常用命令
(1)上传文件
from google.colab import files
files.upload()
(2)解压文件
!unzip "压缩包路径" -d"解压路径"
(3)从github上拷贝项目,如下
!git clone https://github.com/tensorflow/tensorflow.git
(4)复制路径下文件
1)复制文件夹
import shutil
shutil.copytree("复制的文件夹", "目标路径——新文件夹名")
2)复制单个文件
import shutil
shutil.copy("复制的文件夹", "目标路径——新文件夹名")
三、扩存云端硬盘
云端硬盘中我的云端硬盘只有15G,刚上传没几个文件空间就不够用了,开colab pro需要$9.9,而且还需要开通visa信用卡,对于学生来说实在不方便,所以在此推荐一个共享云端硬盘使用方法(每个共享云盘150G存储空间)。
开启共享云盘步骤:
点击链接https://td.msgsuite.workers.dev/,按照要求填写共享云盘名称google邮箱、选择机构,再进行验证就可以了。
四、避免colab训练过程中掉线
colab理论上最多可以连续工作12小时(实际达不到),之后便会重新分配资源,但在此期间也会因网络原因或过就没有交互而导致disconnect情况,因此下面提供几行代码解决这一问题,若训练时间超过12小时断开,那就不适用了。
按F12进入console,输入以下代码enter一下就可以实现一分钟点击一次。
function ConnectButton(){
console.log("Connect pushed");
document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click()
}
setInterval(ConnectButton,60000);
分享就到这里,有什么问题大家再互相补充、讨论。
今天的文章Colab使用_colab怎么读取本地文件分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/72318.html