machinelearningmastery.ru

Машинное обучение, нейронные сети, искусственный интеллект
Header decor

Home

Краткое руководство по запуску ваших скриптов Python в Google Colab Laboratory

Дата публикации Jan 26, 2019

фотоКристофер ГауэрнаUnsplash

Если вы ищете интерактивный способ запуска скрипта Python, скажем, вы хотите запустить проект машинного обучения с парой друзей, не смотрите дальше -Google Colabлучшее решение для вас. Вы можете работать в Интернете и сохранять свой код на локальном диске Google, и это позволяет вам

  • Запустите ваши скрипты с бесплатными графическими процессорами (и TPU!)
  • Используйте предустановленные библиотеки Python и функции Jupyter Notebook
  • Работайте где угодно, на облаках
  • Делитесь кодами и сотрудничайте с коллегами

Короче,

Google Colab = Jupyter Notebook + бесплатные графические процессоры

с возможно более чистым интерфейсом, чем большинство (если не все) альтернативы. Я придумал несколько фрагментов кода для вас, чтобы освоить Google Colab. Я надеюсь, что эта статья станет продолжением, когда вам понадобятся готовые коды для решения типичных проблем в Colab.

Оглавление

Первоначально опубликовано в моем блогеedenau.github.io,


основы

Включение ускорения GPU / TPU

Перейти к«Время выполнения»> «Изменить тип среды выполнения»> «Аппаратный ускоритель»и выберите «GPU» или «TPU». Вы можете проверить, включен ли графический процессор

import tensorflow as tf
device_name = tf.test.gpu_device_name()
if device_name != '/device:GPU:0':
raise SystemError('GPU device not found')

Ошибка будет возникать, если графический процессор не включен. Обратите внимание, что вы можете запускать сеанс непрерывно не более 12 часов, и среда не сохраняется между сеансами.

Запуск ячейки

SHIFT + ВВОД

Выполнение команд Bash

Просто добавьте!до, например:

!ls '/content/gdrive/My Drive/Colab Notebooks/'

Давайте проверим информацию об ОС, процессорах и оперативной памяти, которые они используют:

!cat /proc/version
!cat /proc/cpuinfo
!cat /proc/meminfo

Linux, не удивительно.


файлы

Доступ к файлам на Google Диске

Используйте следующий скрипт:

from google.colab import drive
drive.mount('/content/gdrive')

Затем вам будет предложено войти в свою учетную запись Google и скопировать код авторизации.Нажмите на ссылку, скопируйте код, вставьте код.

Go to this URL in a browser: https://accounts.google.com/signin/oauth/...
Enter your authorization code:
··········
Mounted at /content/gdrive

Загрузка файлов

Вы можете просто загрузить файлы вручную на свой Google Drive и получить к ним доступ, используя приведенные выше коды. В качестве альтернативы вы можете использовать следующий код:

from google.colab import files
uploaded = files.upload()

Запуск исполняемого файла

Скопируйте исполняемый файл в/usr/local/binи дайте себе разрешение на его выполнение.

!cp /content/gdrive/My\ Drive/Colab\ Notebooks/<FILE> /usr/local/bin
!chmod 755 /usr/local/bin/<FILE>

Библиотеки

Установка библиотек

использованиеpipв команде bash:

!pip install <PACKAGE_NAME>

илиconda:

!wget -c https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
!chmod +x Anaconda3-5.1.0-Linux-x86_64.sh
!bash ./Anaconda3-5.1.0-Linux-x86_64.sh -b -f -p /usr/local
!conda install -q -y --prefix /usr/local -c conda-forge <PACKAGE_NAME>import sys
sys.path.append('/usr/local/lib/python3.6/site-packages/')

Машинное обучение

Tensorboard

использованиеngrok:

# Run Tensorboard in the background
LOGDIR = '/tmp/log'
get_ipython().system_raw(
'tensorboard --logdir {} --host 0.0.0.0 --port 6006 &'
.format(LOGDIR)
)# Use ngrok to tunnel traffic to localhost
! wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
! unzip ngrok-stable-linux-amd64.zip
get_ipython().system_raw('./ngrok http 6006 &')# Retrieve public url
! curl -s http://localhost:4040/api/tunnels | python3 -c \
"import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

и вы получите гиперссылку вот так:

https://d5b842b9.ngrok.io

Вы можете получить доступ к своему Tensorboard по ссылке!


замечания

Многие из моих проектов были разработаны с использованием Google Colab. Проверьте следующие статьи для больше.

Вы выжили бы на Титанике?

Путешествие по непотопляемому - чему ИИ может научиться после катастрофы

hackernoon.com

Визуализация мобильности велосипедов в Лондоне с использованием интерактивных карт и анимации

Изучение инструментов визуализации данных в Python

towardsdatascience.com

Обработка файлов NetCDF с использованием XArray для начинающих

Изучение инструментов манипулирования данными, связанными с климатом, в Python

towardsdatascience.com

Спасибо за чтение!

Первоначально опубликовано в моем блогеedenau.github.io,

Оригинальная статья

Footer decor

© machinelearningmastery.ru | Ссылки на оригиналы и авторов сохранены. | map