Aktionen

KI Workaround installieren

Aus exmediawiki

Version vom 7. Mai 2020, 22:05 Uhr von C.heck (Diskussion | Beiträge) (→‎test if GPU is available)
(Unterschied) ← Nächstältere Version | Aktuelle Version (Unterschied) | Nächstjüngere Version → (Unterschied)

notes:

aktuelle Installationsanleitung für GPU on Ubuntu 18.04:
https://medium.com/analytics-vidhya/how-to-set-up-tensorflow-gpu-on-ubuntu-18-04-lts-7a09ffd5f30f#ea17

Anaconda

Anaconda ist eine Freemium-Open-Source-Distribution für die Programmiersprachen Python und R, die unter anderem die Entwicklungsumgebung Spyder, den Kommandozeileninterpreter IPython, und ein webbasiertes Frontend für Jupyter enthält. Der Fokus liegt vor allem auf der Verarbeitung von großen Datenmengen, Vorhersageanalyse und wissenschaftlichem Rechnen. Das Ziel der Distribution ist die Vereinfachung von Paketmanagement und Softwareverteilung. Paketversionen werden von der Paketverwaltung conda verwaltet.

Jupyter Notebooks

Was ist Jupyter Notebook?

Jupyter Notebook ist eine Client-Server-Anwendung der Non-Profit-Organisation Project Jupyter, die 2015 veröffentlicht wurde. Sie ermöglicht die Kreation und das Teilen von Webdokumenten im JSON-Format, die einem versionierten Schema und einer geordneten Liste von Input-/Output-Zellen folgen. Diese Zellen bieten u. a. Platz für Code, Markdown-Text, mathematische Formeln und Gleichungen oder Medieninhalte (Rich Media). Die Bearbeitung funktioniert dabei über die webbasierte Client-Anwendung, die sich mit handelsüblichen Browsern starten lässt. Voraussetzung ist, dass auf dem System auch der Jupyter-Notebook-Server installiert ist und ausgeführt wird. Die erstellten Jupyter-Dokumente lassen sich u. a. als HTML-, PDF-, Markdown- oder Python-Dokumente exportieren oder alternativ per E-Mail, Dropbox, GitHub oder den hauseigenen Jupyter Notebook Viewer mit anderen Nutzern teilen.

Download & install latest Anaconda Version

Installationsanleitung


on Ubuntu:
after installing type:

source ~/.bashrc

that you can execute conda etc from out of terminal directly


Create Environement

GPU Support

open conda and type:

conda create --name tf_gpu tensorflow-gpu 

or in 3 steps:

conda create --name tf_gpu
activate tf_gpu
conda install tensorflow-gpu

Diese Kommandos kreieren ein Environment mit dem Namen ‘tf_gpu’ und installiert alle Packeages die für ein lauffähigens GPU-Tensorflow_Environment notwendig sind (inklusive die jeweiligen kompatiblen Versionen von cuda and cuDNN.

CPU only

open conda and type:

conda create --name tf_cpu tensorflow

or in 3 steps:

conda create --name tf_cpu
activate tf_cpu
conda install tensorflow

de-activate Environement

nachsehen welche Environements eingerichtet sind:

conda info --envs

Environement aktivieren (z.b. tf_cpu):

conda activate tf_cpu

Environement deaktivierten

conda deactivate

deactivate conda-environement in startup-flag

type in terminal:

conda config --set auto_activate_base false

open jupyter notebook

eine gut übersichtliche Anleitung siehe auch hier: https://coessing.files.wordpress.com/2019/08/jupyternotebook_tutorial_bypaige.pdf


type Jupyter-button on your Desktop or

or type in Terminal:

jupyter-notebook


Content jupyternotebook1.gif


how to use...?

Content jupyternotebook3b.gif


Content jupyternotebook7.gif


test if GPU is available

type:

import tensorflow as tf
tf.test.is_gpu_available()
tf.test.gpu_device_name()


in your environement 'tf_gpu' open jupyter-notebook and run following python code (siehe oben):

from tensorflow.python.client import device_lib
print(device_lib.list_local_devices())

see also:

test if it works

https://stackoverflow.com/questions/38009682/how-to-tell-if-tensorflow-is-using-gpu-acceleration-from-inside-python-shell

type:

import tensorflow as tf
with tf.device('/gpu:0'):
   a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
   b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
   c = tf.matmul(a, b)

with tf.Session() as sess:
   print (sess.run(c))

wenn der prozess auf der GPU ausgeführt wurde kommt folgender output:

[[22. 28.]
[49. 64.]]

falls er über cpu läuft kommt eine meldung wie folgt o.ä.:

Cannot assign a device to node 'MatMul': Could not satisfy explicit device specification '/device:GPU:0' because no devices matching that 
specification are registered in this process




Module nachinstallieren

open conda and type (um beispielsweise das Natural Language Toolkit NLTK zu installieren):

conda install nltk

oder

conda install -c anaconda nltk