工具推荐-Colab介绍与使用方法

工具推荐-Colab介绍与使用方法工具推荐-Colab介绍与使用方法之所以能够接触到Colab,是由一位好朋友的推荐,首先得先感谢他安利了这么好的一个东西,哈哈哈!我先浅聊一下我目前对这个Colab的理解吧,我认为它就相当于一台云主机,由Google云端硬盘作为存储地,所以首先得要有Google云端硬盘,它可以在Google硬盘上面搭建起来,然后可以在文件夹下新建像Jupyter里面那样的notebook文件,关联Colab,可以运行代码了。为什么说它好呐?对于我来说,我的Anaconda安装在了C盘,学习深度学习等方面的东西时,C

工具推荐-Colab介绍与使用方法

之所以能够接触到Colab,是由一位好朋友的推荐,首先得先感谢他安利了这么好的一个东西,哈哈哈!我先浅聊一下我目前对这个Colab的理解吧,我认为它就相当于一台云主机,由Google 云端硬盘作为存储地,所以首先得要有Google 云端硬盘,它可以在Google硬盘上面搭建起来,然后可以在文件夹下新建像Jupyter里面那样的notebook文件,关联Colab,可以运行代码了。

为什么说它好呐?对于我来说,我的Anaconda安装在了C盘,学习深度学习等方面的东西时,C盘存储空间在不断地减少,而且下载一些库文件和安装包,都必须在C盘,这样本就不富裕的家庭又雪上加霜,哈哈哈哈!而用这个Colab,我就不用把文件都存储在本机了,感觉可以跟Anaconda说拜拜了。同时这个玩意儿还有一个听起来很厉害的东西,就是可以将代码运行设置为GPU模式(硬盘会分配很厉害的GPU),运行数据集会相当的快!之前我训练数据集,本机上运行的特别慢,每次都要等,这玩意我刚入门,我试了试安装tensorflow,真的运行很快啊!一些强大的功能目前还没有机会尝试,安装完就来写这篇文章了,以后如果遇到什么问题,会再更新这方面的内容。

我忙活了了一下午加一晚上,总算初步入门,同时走了一些弯路,想记录下来以帮助更多的朋友!

Colab是什么?

  1. Google Colab 是一个免费的云服务并支持免费的 GPU
  2. Colab 是Google的且服务器在国外

只需要在 Google Drive 上,安装 colab 即可使用。如果需要上传数据,可以上传到 Google Drive 上,并在 colab 中挂载,就可以直接访问。

显卡:V100、P100、T4 等训练主流显卡,显存 16 G。

磁盘存储:15 G,可使用 Google Drive 扩容。

时间限制:每次 12 个小时。

但是它有明显的问题,需要梯子,毕竟是 Google 的产品。

Colab的基本配置

1、搜索谷歌云硬盘(https://www.google.com/intl/zh-CN/drive/),点击“转至Google云端硬盘”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MtfNYXU8-1646314231750)(笔记图片/image-20220303200906638.png)]

2、使用谷歌账号登陆(没有账号的可以自行注册)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kqcCas8J-1646314231751)(笔记图片/image-20220303201227335.png)]

3、安装Colab

按下图右击->更多->关联更多应用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PkA94ydU-1646314231751)(笔记图片/image-20220303201525886.png)]

4、搜索Colab,并添加(按下图步骤安装)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-18rcUeic-1646314231752)(笔记图片/image-20220303201800286.png)]

5、安装成功后(右击->更多)发现有一个Colaboratory

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1yOdz6e5-1646314231752)(笔记图片/image-20220303201851406.png)]

6、使用Colab

在 Google Drive 上创建文件夹,这是我的文件夹目录,创建分级文件夹就是为了更好的管理你的代码文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eBoloxIu-1646314231752)(../唐宇迪-python数据分析与机器学习实战/学习随笔/06线性回归算法&梯度下降策略&逻辑回归算法/笔记图片/image-20220303202003382.png)]

7、初步测试代码

点击进入你想放代码的文件夹里面,右击页面的空白处,点击More->Google ColaBoratory,接下来就会看到你熟悉的界面了

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RWzCnepT-1646314231753)(笔记图片/image-20220303202335081.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M2rhgqqC-1646314231754)(笔记图片/image-20220303202456698.png)]

然后可以笔记本设置(设置为GPU)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IFAklFLi-1646314231755)(笔记图片/image-20220303202805764.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FqhvNRHR-1646314231755)(笔记图片/image-20220303202826937.png)]

8、装载谷歌云

​ 点击左侧文件夹(查看目录),等待右侧连接状态为已连接,最后点击装载谷歌云硬盘

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-88KlGF7s-1646314231757)(笔记图片/image-20220303203230588.png)]

装载完成之后(继续点击左侧文件夹),会发现多了一个drive目录(drive/My Drive/Colab)其中的Colab就是我们刚刚创建的文件夹,Colab文件夹下的是我们的项目文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HuIOU5wK-1646314231757)(笔记图片/image-20220303203348880.png)]

我不太清楚装载云端硬盘是什么意思,也不清楚为什么这么做,我在网上搜索说的是,谷歌硬盘和colab是分开的,我们需要将硬盘挂载到colab上面,优点:在colab中就可以直接读写google drive的目录,模型可以直接保存在dirve上非常方便。还是不太懂。。。。不过应该是有好处的吧。。。

9、使用Colab

查看当前脚本目录(!ls)点击运行

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mhAzYhU0-1646314231758)(笔记图片/image-20220303203545730.png)]

进入项目

import os
path = "/content/drive/My Drive/Colab/Notebooks/17.yoloV3"
os.chdir(path)

测试我项目里的数据集,至于我是如何把数据集上传到Google 云端硬盘的,请接着看看下去!

from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord
import os

发现可以运行成功

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ct9U4B5d-1646314231758)(笔记图片/image-20220303204601818.png)]

实际上我喜欢直接在项目的当下目录,新建一个Colab关联的文件,也就是那个写代码的文件,然后运行以下代码

# 加载盘
from google.colab import drive
drive.mount('/content/drive/')
# 指定当前的工作文件夹
import os
# 此处为google drive中的文件路径,drive为之前指定的工作根目录,要加上
os.chdir("/content/drive/My Drive/Colab/Notebooks/17.yoloV3") 

安装一些库的命令行,例如安装pytorch

Colab 一般情况下已经自带了pytorch环境了。若没有可以进行相应的安装:

!pip install torch torchvision  # 在Colab中执行操作语句时,感叹号不能漏

安装tensorflow也是类似的。

到此基本上算是入门Colab了, 明天我就可以用它运行我的代码了,再也不用本机的Jupyter,哈哈哈!

遇到的麻烦解决

解决colab上传数据集慢的问题

前面别看似我挺顺利的,实际上我下午加晚上大部分时间都浪费在这上面了,从本地上传到Google 云端硬盘太慢了,不建议直接上传,同时建议先把上传到文件夹打成压缩包的形式,接下来我将讲一讲怎么上传比较快。

1、将文件先上传到OneDrive上

不建议用网页版的OneDrive,光是上传文件就贼慢贼慢(估计是文件上传和同步一起来),直接用电脑自带的OneDrive

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VsAOlpy6-1646314231759)(笔记图片/image-20220303210334889.png)]

将压缩文件复制到文档这个文件夹下面,我的这个压缩包有1个G,复制的速度很快,接下来就是同步,建议找个网速快的地方,学校的校园网我发现是真滴慢,我用流量同步的,心疼1个G的流量。。。。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0MUloIvJ-1646314231760)(笔记图片/image-20220303210437601.png)]

接下来这个OneDrive小窗口,就会显示让你同步,耗费流量的。。。速度也还行!

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kzfcYiYT-1646314231760)(笔记图片/image-20220303210631827.png)]

最后利用MultCloud拓展程序,将文件从OneDrive上传到Google 云端硬盘上,直接加到Google浏览器的拓展程序就好,在应用商店下载

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OuF6I30l-1646314231761)(笔记图片/image-20220303211320001.png)]

进去之后界面是这样的,点击Add Cloud

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RweN0b2X-1646314231761)(笔记图片/image-20220303211421088.png)]

将Google Drive和OneDrive都添加进来,然后点击Cloud Transfer,左边是OneDrive的文件目录,右边是Google Drive文件目录

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3KBzEXnx-1646314231761)(笔记图片/image-20220303211518284.png)]

最后点击Transfer Now ,这个速度非常地块,大功造成!

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4xTM63KS-1646314231761)(笔记图片/image-20220303211715831.png)]

然后就可以在你的Google 云端硬盘的目录下看到你的文件了,不过别高兴太早,这还只是压缩包,还没解压类,解压也弄的我差点自闭。。。。

解压:首先挂载好谷歌云盘,我就是这一步没做,然后运行别人写的解压命令,一直都是找不到本地目录,真的要自闭了。。。因为他们的解压代码文件路径都有/content/drive/My Drive开头,我没有挂载是肯定没有这个drive文件目录。。。。所以一直会报错!

import os
from google.colab import drive
drive.mount('/content/drive')

path = "/content/drive/My Drive"

os.chdir(path)
os.listdir(path)

然后运行下面的代码,文件目录和输出目录都按照你自己的就好了,最后显示成功运行

!pip install pyunpack
!pip install patool
from pyunpack import Archive
Archive('/content/drive/My Drive/Colab/Notebooks/yoloV3.rar').extractall('/content/drive/My Drive/Colab/Notebooks')

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tYQm1I90-1646314231762)(笔记图片/image-20220303212337984.png)]

我的云端硬盘里也有了这个文件夹,最后的压缩包没用给删了。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-udGClTsK-1646314231763)(笔记图片/image-20220303212411463.png)]

google云端硬盘无法连接到代码执行程序。

这个是我设置计算机为GPU模式的时候一直遇到的,不知道为啥,可能是不想让我用吧,我一般都默默的换成None。。。。

参考文章

我看了很多的博客文章,最终终于完成了Colab的入门,希望我写的文章能对您有所帮助,如果对我写的东西还不太理解,可以康康这些参考文章!看到这里了,不妨来个赞吧,哈哈哈哈!

https://mp.weixin.qq.com/s/zYU3RY6dgH4pCWyW-WCRwQ 教白嫖gpu服务器

https://zhuanlan.zhihu.com/p/54389036 苦逼学生党的Google Colab使用心得
https://blog.csdn.net/qq_36890370/article/details/106160805 Colab使用教程
https://www.cnblogs.com/zgqcn/p/11186406.html colab实用教程
https://www.freesion.com/article/42081149133/ 解决colab上传数据集慢的问题

如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包https://www.uud.me/qiwenzalun/colab-unzip-unrar.html
Colab如何解压rar和zip文件https://blog.csdn.net/weixin_42870380/article/details/114731820

最后google云端硬盘无法连接到代码执行程序。

今天的文章工具推荐-Colab介绍与使用方法分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/24466.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注