Aktionen

KI Workaround installieren: Unterschied zwischen den Versionen

Aus exmediawiki
 
(55 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
−
__TOC__
+
=Installationsanleitung für Ubuntu 18.04=
 +
angepasste Schritte aus: https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/
  
 +
Setup Hardware:
 +
* Grafikkarte: GeForce RTX 2080 Ti/PCIe/SSE2
 +
* Prozessor: Intel® Xeon(R) Gold 6134 CPU @ 3.20GHz × 16
 +
 +
Software:
 +
* Ubuntu 18.04.5 LTS
 +
* Nvidia drivers + CUDA
 +
* Anaconda Python
 +
* Tensorflow v2 (2.1.0) GPU version
 +
 +
==CUDA & NVIDIA-Treiber installieren==
 +
see also: https://www.tensorflow.org/install/gpu
 +
----
 +
===NVIDIA package repositories hinzufügen===
 +
<code>
 +
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
 +
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub
 +
sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb
 +
sudo apt-get update
 +
wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
 +
sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb
 +
sudo apt-get update
 +
</code>
 +
 +
----
 +
===NVIDIA Treiber installieren===
 +
<code>
 +
sudo apt-get install --no-install-recommends nvidia-driver-450
 +
</code>
 +
 +
 +
besser grafisch: https://www.linuxbabe.com/ubuntu/install-nvidia-driver-ubuntu-18-04
 +
 +
----
 +
 +
Type in Terminal:
 +
<code>Reboot</code>
 +
 +
----
 +
 +
danach nachsehen ob die GPU's sichtbar sind mit:
 +
<code>nvidia-smi</code>
 +
 +
----
 +
===Installieren der development and runtime libraries===
 +
<code>
 +
sudo apt-get install --no-install-recommends cuda-10-1 libcudnn7=7.6.5.32-1+cuda10.1 libcudnn7-dev=7.6.5.32-1+cuda10.1
 +
</code>
 +
 +
siehe auch: https://github.com/tensorflow/docs/pull/1599
 +
 +
----
 +
===Installieren von TensorRT===
 +
 +
<code>
 +
sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 libnvinfer-dev=6.0.1-1+cuda10.1 libnvinfer-plugin6=6.0.1-1+cuda10.1
 +
</code>
 +
 +
==CUDA einfrieren (Wichtig!)==
 +
 +
<code>
 +
sudo apt-mark hold cuda-10.1
 +
sudo apt-mark hold cuda
 +
sudo apt-mark showhold
 +
</code>
 +
 +
----
 +
 +
...exportieren in die bashrc:
 +
<code>export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64</code>
 +
 +
----
 +
 +
Type in Terminal:
 +
<code>Reboot</code>
 +
 +
----
 +
==NVidia Stack verifizieren==
 +
'''Type in Terminal:'''
 +
<code>nvidia-smi</code>
 +
Fri Aug 28 14:09:30 2020     
 +
+-----------------------------------------------------------------------------+
 +
| NVIDIA-SMI 440.100      Driver Version: 440.100      CUDA Version: 10.2    |
 +
|-------------------------------+----------------------+----------------------+
 +
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
 +
| Fan  Temp  Perf  Pwr:Usage/Cap|        Memory-Usage | GPU-Util  Compute M. |
 +
|===============================+======================+======================|
 +
|  0  GeForce RTX 208...  Off  | 00000000:02:00.0  On |                  N/A |
 +
|  0%  49C    P8    18W / 250W |    531MiB / 11016MiB |      1%      Default |
 +
+-------------------------------+----------------------+----------------------+
 +
                                                                             
 +
+-----------------------------------------------------------------------------+
 +
| Processes:                                                      GPU Memory |
 +
|  GPU      PID  Type  Process name                            Usage      |
 +
|=============================================================================|
 +
|    0      1858      G  /usr/lib/xorg/Xorg                            24MiB |
 +
|    0      2318      G  /usr/bin/gnome-shell                          57MiB |
 +
|    0      2514      G  /usr/lib/xorg/Xorg                          216MiB |
 +
|    0      2664      G  /usr/bin/gnome-shell                        100MiB |
 +
|    0      2869      G  /usr/bin/nextcloud                            6MiB |
 +
|    0      2888      G  ...gnome-initial-setup/gnome-initial-setup    6MiB |
 +
|    0      3498      G  ...AAAAAAAAAAAACAAAAAAAAAA= --shared-files    89MiB |
 +
|    0      4159      G  ...AAAAAAAAAAAACAAAAAAAAAA= --shared-files    24MiB |
 +
+-----------------------------------------------------------------------------+
 +
 +
 +
'''Type in Terminal:'''
 +
<code>nvcc --version</code>
 +
nvcc: NVIDIA (R) Cuda compiler driver
 +
Copyright (c) 2005-2017 NVIDIA Corporation
 +
Built on Fri_Nov__3_21:07:56_CDT_2017
 +
Cuda compilation tools, release 9.1, V9.1.85
 +
 +
 +
'''Type in Terminal:'''
 +
<code>cat /proc/driver/nvidia/version</code>
 +
NVRM version: NVIDIA UNIX x86_64 Kernel Module  440.100  Fri May 29 08:45:51 UTC 2020
 +
GCC version:  gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)
 +
 +
 +
'''Type in Terminal:'''
 +
<code>/usr/local/cuda/extras/demo_suite/deviceQuery</code>
 +
/usr/local/cuda/extras/demo_suite/deviceQuery Starting...
 +
 +
CUDA Device Query (Runtime API) version (CUDART static linking)
 +
 +
Detected 1 CUDA Capable device(s)
 +
 +
Device 0: "GeForce RTX 2080 Ti"
 +
  CUDA Driver Version / Runtime Version          10.2 / 10.1
 +
  CUDA Capability Major/Minor version number:    7.5
 +
  Total amount of global memory:                11016 MBytes (11551440896 bytes)
 +
  (68) Multiprocessors, ( 64) CUDA Cores/MP:    4352 CUDA Cores
 +
  GPU Max Clock rate:                            1545 MHz (1.54 GHz)
 +
  Memory Clock rate:                            7000 Mhz
 +
  Memory Bus Width:                              352-bit
 +
  L2 Cache Size:                                5767168 bytes
 +
  Maximum Texture Dimension Size (x,y,z)        1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
 +
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
 +
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
 +
  Total amount of constant memory:              65536 bytes
 +
  Total amount of shared memory per block:      49152 bytes
 +
  Total number of registers available per block: 65536
 +
  Warp size:                                    32
 +
  Maximum number of threads per multiprocessor:  1024
 +
  Maximum number of threads per block:          1024
 +
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
 +
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
 +
  Maximum memory pitch:                          2147483647 bytes
 +
  Texture alignment:                            512 bytes
 +
  Concurrent copy and kernel execution:          Yes with 3 copy engine(s)
 +
  Run time limit on kernels:                    Yes
 +
  Integrated GPU sharing Host Memory:            No
 +
  Support host page-locked memory mapping:      Yes
 +
  Alignment requirement for Surfaces:            Yes
 +
  Device has ECC support:                        Disabled
 +
  Device supports Unified Addressing (UVA):      Yes
 +
  Device supports Compute Preemption:            Yes
 +
  Supports Cooperative Kernel Launch:            Yes
 +
  Supports MultiDevice Co-op Kernel Launch:      Yes
 +
  Device PCI Domain ID / Bus ID / location ID:  0 / 2 / 0
 +
  Compute Mode:
 +
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
 +
 +
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.1, NumDevs = 1, Device0 = GeForce RTX 2080 Ti
 +
Result = PASS
 +
 +
----
 +
==Anaconda==
 +
Anaconda ist eine Freemium-Open-Source-Distribution für die Programmiersprachen Python und R, die unter anderem die Entwicklungsumgebung Spyder, den Kommandozeileninterpreter IPython, und ein webbasiertes Frontend für Jupyter enthält. Der Fokus liegt vor allem auf der Verarbeitung von großen Datenmengen, Vorhersageanalyse und wissenschaftlichem Rechnen. Das Ziel der Distribution ist die Vereinfachung von Paketmanagement und Softwareverteilung. Paketversionen werden von der Paketverwaltung conda verwaltet.
 +
===installieren===
 +
nach dieser Anleitung:
 +
 +
https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/
 +
 +
----
 +
===Environement erstellen===
 +
 +
open conda and type:
 +
 +
conda create --name tf_gpu
 +
 +
activate tf_gpu
 +
 +
conda install tensorflow-gpu
 +
 +
Diese Kommandos kreieren ein Environment mit dem Namen ‘tf_gpu’ und installiert alle Packeages die für ein lauffähigens GPU-Tensorflow_Environment notwendig sind (inklusive die jeweiligen kompatiblen Versionen von cuda and cuDNN.
 +
 +
 +
----
 +
===erste (notwendige) Pakete installieren===
 +
 +
sicherstellen dass man im richtigen Environment sich bfindet:
 +
conda activate tf-gpu
 +
 +
Installieren der basic ML toolkits
 +
conda install -y numpy pandas matplotlib seaborn scikit-learn scipy jupyterlab
 +
 +
Installieren des Tensorflow-GPU Packets:
 +
conda install -y tensorflow-gpu
 +
 +
 +
----
 +
===erster Testdurchlauf===
 +
...kurzer Test ob GPU läuft:
 +
 +
start python
 +
python
 +
 +
dach in Prompt tippen:
 +
>>> import tensorflow as tf
 +
 +
>>> tf.__version__
 +
'2.2.0'
 +
 +
>>> tf.config.experimental.list_physical_devices('GPU')
 +
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
 +
 +
----
 +
===zweiter Testdurchlauf===
 +
 +
vollständiger Test
 +
 +
In diesem Test werden wir ein neuronales Netzwerk trainieren.
 +
Wir werden ein einfaches LeNet Convolutional Network ausführen, um handgeschriebene MNIST-Ziffern zu identifizieren.
 +
Hier ist das Python-Skript.
 +
 +
Python-Code downloaden:
 +
wget https://raw.githubusercontent.com/elephantscale/es-public/master/tf-gpu/cnn-mnist- 1 -train-gpu-minimal.py
 +
 +
 +
Code ausführen:
 +
python cnn-mnist- 1 -train-gpu-minimal.py
 +
 +
 +
während der Trainingsphase sollte folgendes erscheinen:
 +
15:22, 28. Aug. 2020 (CEST) training starting ...
 +
Train on 48000 samples, validate on 12000 samples
 +
Epoch 1/10
 +
48000/48000 [==============================] - 7s 152us/sample - loss: 0.1667 - accuracy: 0.9490 - val_loss: 0.0715 - val_accuracy: 0.9789
 +
Epoch 2/10
 +
48000/48000 [==============================] - 4s 91us/sample - loss: 0.0482 - accuracy: 0.9843 - val_loss: 0.0514 - val_accuracy: 0.9842
 +
...
 +
Epoch 10/10
 +
48000/48000 [==============================] - 4s 76us/sample - loss: 0.0079 - accuracy: 0.9975 - val_loss: 0.0380 - val_accuracy: 0.9910
 +
15:22, 28. Aug. 2020 (CEST) trained on 60,000 images in 42,436.38 ms
 +
 +
die einzelnen Trainingsphasen sollten nicht länger als jeweils 4 Sekunden dauern.
 +
 +
Alternativ kann hierzu in einem neuen Terminalfenser <code>nvidia-smi</code> ausgeführt werden um zu sehen wie hoch die GPU belastet ist
 +
 +
 +
----
 +
 +
===Testdurchlauf im jupyter notebook===
 +
weiter bei step 8: https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/
 +
 +
----
 +
----
 +
----
 +
----
 +
 +
=Anaconda=
 +
Anaconda ist eine Freemium-Open-Source-Distribution für die Programmiersprachen Python und R, die unter anderem die Entwicklungsumgebung Spyder, den Kommandozeileninterpreter IPython, und ein webbasiertes Frontend für Jupyter enthält. Der Fokus liegt vor allem auf der Verarbeitung von großen Datenmengen, Vorhersageanalyse und wissenschaftlichem Rechnen. Das Ziel der Distribution ist die Vereinfachung von Paketmanagement und Softwareverteilung. Paketversionen werden von der Paketverwaltung conda verwaltet.
 +
 +
=Jupyter Notebooks=
 +
Was ist Jupyter Notebook?
 +
 +
Jupyter Notebook ist eine Client-Server-Anwendung der Non-Profit-Organisation Project Jupyter, die 2015 veröffentlicht wurde. Sie ermöglicht die Kreation und das Teilen von Webdokumenten im JSON-Format, die einem versionierten Schema und einer geordneten Liste von Input-/Output-Zellen folgen. Diese Zellen bieten u. a. Platz für Code, Markdown-Text, mathematische Formeln und Gleichungen oder Medieninhalte (Rich Media). Die Bearbeitung funktioniert dabei über die webbasierte Client-Anwendung, die sich mit handelsüblichen Browsern starten lässt. Voraussetzung ist, dass auf dem System auch der Jupyter-Notebook-Server installiert ist und ausgeführt wird. Die erstellten Jupyter-Dokumente lassen sich u. a. als HTML-, PDF-, Markdown- oder Python-Dokumente exportieren oder alternativ per E-Mail, Dropbox, GitHub oder den hauseigenen Jupyter Notebook Viewer mit anderen Nutzern teilen.
 +
 +
* kleines jupyter cheatcheet http://python.hs-augsburg.de:8888/notebooks/DuR/Hinweise%20und%20Anmerkungen%20zu%20Jupyter%20Notebooks.ipynb hab da aber ja auch noch andere...
 +
 +
==Download & install latest Anaconda Version==
 +
 +
'''1. Lade die für dein Betriebssystem zutreffende Version von Anaconda herunter: https://www.anaconda.com/products/individual'''
 +
 +
'''...oder downloade direct:'''
 +
 +
* für Mac (64-Bit Graphical Installer): https://repo.anaconda.com/archive/Anaconda3-2020.11-MacOSX-x86_64.pkg (435MB)
 +
** dazugehöriger ''installer file hash'': https://docs.anaconda.com/anaconda/install/hashes/Anaconda3-2020.11-MacOSX-x86_64.pkg-hash/
 +
 +
* für Windows (64-Bit Graphical Installer): https://repo.anaconda.com/archive/Anaconda3-2020.11-Windows-x86_64.exe (457Mb)
 +
** dazugehöriger ''installer file hash'': https://docs.anaconda.com/anaconda/install/hashes/Anaconda3-2020.11-Windows-x86_64.exe-hash/
 +
 +
* für Linux (64-Bit (x86) Installer): https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.sh (529Mb)
 +
** dazugehöriger ''installer file hash'': https://docs.anaconda.com/anaconda/install/hashes/Anaconda3-2020.11-Linux-x86_64.sh-hash/
 +
 +
 +
'''2. Verifiziere deinen Download mit ''sha256'' (Secure Hash Algorithm)'''
 +
 +
* für Mac
 +
**  In iTerm or a terminal window enter <code>shasum -a 256 filename</code>
 +
 +
für Windows
 +
** Öffne die PowerShell-Console (> V4) und tippe: <code>Get-FileHash filename -Algorithm SHA256</code>
 +
 +
* für Linux
 +
** type in Terminal:  <code>sha256sum filename</code>
 +
** um die 2 Hashes zu vergleichen type: <code><nowiki>if [[ "hash" == "hash-von-Webseite" ]]; then echo match; fi</nowiki></code>
 +
 +
 +
 +
'''3. Folge der jeweiligen Installationsanleitung: https://docs.anaconda.com/anaconda/install/
 +
'''
 +
----
 +
on Ubuntu:<br>
 +
nach dem installieren type in Terminal:
 +
source ~/.bashrc
 +
hiermit kannst du ''conda'' und alle weiteren Tools direkt aus dem Terminal starten
 +
----
 +
 +
==Create Environement==
 +
see also conda-cheatsheet: https://docs.conda.io/projects/conda/en/latest/_downloads/843d9e0198f2a193a3484886fa28163c/conda-cheatsheet.pdf
 +
===GPU Support===
 +
open conda and type:
 +
conda create --name tf_gpu tensorflow-gpu
 +
 +
or in 3 steps:
 +
conda create --name tf_gpu
 +
 +
activate tf_gpu
 +
 +
conda install tensorflow-gpu
 +
 +
Diese Kommandos kreieren ein Environment mit dem Namen ‘tf_gpu’ und installiert alle Packeages die für ein lauffähigens GPU-Tensorflow_Environment notwendig sind (inklusive die jeweiligen kompatiblen Versionen von cuda and cuDNN.
 +
 +
===CPU only===
 +
open conda and type:
 +
conda create --name tf_cpu tensorflow
 +
 +
or in 3 steps:
 +
conda create --name tf_cpu
 +
 +
activate tf_cpu
 +
 +
conda install tensorflow
 +
 +
----
 +
 +
==de-activate Environement==
 +
nachsehen welche Environements eingerichtet sind:
 +
conda info --envs
 +
 +
Environement aktivieren (z.b. tf_cpu):
 +
conda activate tf_cpu
 +
 +
Environement deaktivierten
 +
conda deactivate
 +
 +
----
 +
==deactivate conda-environement in startup-flag==
 +
 +
type in terminal:
 +
conda config --set auto_activate_base false
 +
 +
----
 +
 +
==open jupyter notebook==
 +
 +
eine gut übersichtliche Anleitung siehe auch hier: https://coessing.files.wordpress.com/2019/08/jupyternotebook_tutorial_bypaige.pdf
 +
----
 +
type Jupyter-button on your Desktop or
 +
 +
or type in Terminal:
 +
jupyter-notebook
 +
<br>
 +
[[Datei:Content_jupyternotebook1.gif]]
 +
----
 +
'''how to use...?'''
 +
 +
[[Datei:Content_jupyternotebook3b.gif]]
 +
----
 +
[[Datei:Content_jupyternotebook7.gif]]
 +
----
 +
 +
==test if GPU is available==
 +
type:
 +
import tensorflow as tf
 +
tf.test.is_gpu_available()
 +
tf.test.gpu_device_name()
 +
 +
 +
in your environement 'tf_gpu' open jupyter-notebook and run following python code (siehe oben):
 +
from tensorflow.python.client import device_lib
 +
 +
print(device_lib.list_local_devices())
 +
 +
see also:
 +
* https://www.tensorflow.org/guide/using_gpu
 +
 +
==test if it works==
 +
https://stackoverflow.com/questions/38009682/how-to-tell-if-tensorflow-is-using-gpu-acceleration-from-inside-python-shell
 +
 +
type:
 +
import tensorflow as tf
 +
with tf.device('/gpu:0'):
 +
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
 +
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
 +
    c = tf.matmul(a, b)
 +
 +
with tf.Session() as sess:
 +
    print (sess.run(c))
 +
 +
wenn der prozess auf der GPU ausgeführt wurde kommt folgender output:
 +
 +
[[22. 28.]
 +
[49. 64.]]
 +
 +
falls er über cpu läuft kommt eine meldung wie folgt o.ä.:
 +
 +
Cannot assign a device to node 'MatMul': Could not satisfy explicit device specification '/device:GPU:0' because no devices matching that
 +
specification are registered in this process
 +
 +
 +
 +
 +
 +
----
 +
 +
==Module nachinstallieren==
 +
open conda and type (um beispielsweise das Natural Language Toolkit NLTK zu installieren):
 +
conda install nltk
 +
oder
 +
conda install -c anaconda nltk
 +
 +
 +
<!--
 
=Install Jupyter & Tensorflow on Ubuntu=
 
=Install Jupyter & Tensorflow on Ubuntu=
  
Zeile 117: Zeile 545:
  
 
  jupyter notebook
 
  jupyter notebook
−
 
+
-->
 
[[Category:HowTo]]
 
[[Category:HowTo]]
 
[[Category:KI]]
 
[[Category:KI]]
 
[[Category: deep learning]]
 
[[Category: deep learning]]
−
[[Category:Programmierung]]
+
[[Category:Command Line]]
 
[[Category:Jupyter Notebook]]
 
[[Category:Jupyter Notebook]]
 
[[Category:Tensorflow]]
 
[[Category:Tensorflow]]
 
[[Category:Keras]]
 
[[Category:Keras]]
 
[[Category:GPU]]
 
[[Category:GPU]]

Aktuelle Version vom 22. Dezember 2020, 08:55 Uhr

Installationsanleitung für Ubuntu 18.04

angepasste Schritte aus: https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/

Setup Hardware:

  • Grafikkarte: GeForce RTX 2080 Ti/PCIe/SSE2
  • Prozessor: Intel® Xeon(R) Gold 6134 CPU @ 3.20GHz × 16

Software:

  • Ubuntu 18.04.5 LTS
  • Nvidia drivers + CUDA
  • Anaconda Python
  • Tensorflow v2 (2.1.0) GPU version

CUDA & NVIDIA-Treiber installieren

see also: https://www.tensorflow.org/install/gpu

NVIDIA package repositories hinzufügen

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb sudo apt-get update wget http://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64/nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb sudo apt install ./nvidia-machine-learning-repo-ubuntu1804_1.0.0-1_amd64.deb sudo apt-get update

NVIDIA Treiber installieren

sudo apt-get install --no-install-recommends nvidia-driver-450


besser grafisch: https://www.linuxbabe.com/ubuntu/install-nvidia-driver-ubuntu-18-04

Type in Terminal: Reboot

danach nachsehen ob die GPU's sichtbar sind mit: nvidia-smi

Installieren der development and runtime libraries

sudo apt-get install --no-install-recommends cuda-10-1 libcudnn7=7.6.5.32-1+cuda10.1 libcudnn7-dev=7.6.5.32-1+cuda10.1

siehe auch: https://github.com/tensorflow/docs/pull/1599

Installieren von TensorRT

sudo apt-get install -y --no-install-recommends libnvinfer6=6.0.1-1+cuda10.1 libnvinfer-dev=6.0.1-1+cuda10.1 libnvinfer-plugin6=6.0.1-1+cuda10.1

CUDA einfrieren (Wichtig!)

sudo apt-mark hold cuda-10.1 sudo apt-mark hold cuda sudo apt-mark showhold

...exportieren in die bashrc: export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/extras/CUPTI/lib64

Type in Terminal: Reboot

NVidia Stack verifizieren

Type in Terminal: nvidia-smi 

Fri Aug 28 14:09:30 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 440.100      Driver Version: 440.100      CUDA Version: 10.2     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce RTX 208...  Off  | 00000000:02:00.0  On |                  N/A |
|  0%   49C    P8    18W / 250W |    531MiB / 11016MiB |      1%      Default |
+-------------------------------+----------------------+----------------------+
                                                                              
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|    0      1858      G   /usr/lib/xorg/Xorg                            24MiB |
|    0      2318      G   /usr/bin/gnome-shell                          57MiB |
|    0      2514      G   /usr/lib/xorg/Xorg                           216MiB |
|    0      2664      G   /usr/bin/gnome-shell                         100MiB |
|    0      2869      G   /usr/bin/nextcloud                             6MiB |
|    0      2888      G   ...gnome-initial-setup/gnome-initial-setup     6MiB |
|    0      3498      G   ...AAAAAAAAAAAACAAAAAAAAAA= --shared-files    89MiB |
|    0      4159      G   ...AAAAAAAAAAAACAAAAAAAAAA= --shared-files    24MiB |
+-----------------------------------------------------------------------------+


Type in Terminal: nvcc --version 

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Nov__3_21:07:56_CDT_2017
Cuda compilation tools, release 9.1, V9.1.85


Type in Terminal: cat /proc/driver/nvidia/version 

NVRM version: NVIDIA UNIX x86_64 Kernel Module  440.100  Fri May 29 08:45:51 UTC 2020
GCC version:  gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)


Type in Terminal: /usr/local/cuda/extras/demo_suite/deviceQuery 

/usr/local/cuda/extras/demo_suite/deviceQuery Starting...

CUDA Device Query (Runtime API) version (CUDART static linking)

Detected 1 CUDA Capable device(s)

Device 0: "GeForce RTX 2080 Ti"
 CUDA Driver Version / Runtime Version          10.2 / 10.1
 CUDA Capability Major/Minor version number:    7.5
 Total amount of global memory:                 11016 MBytes (11551440896 bytes)
 (68) Multiprocessors, ( 64) CUDA Cores/MP:     4352 CUDA Cores
 GPU Max Clock rate:                            1545 MHz (1.54 GHz)
 Memory Clock rate:                             7000 Mhz
 Memory Bus Width:                              352-bit
 L2 Cache Size:                                 5767168 bytes
 Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
 Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
 Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
 Total amount of constant memory:               65536 bytes
 Total amount of shared memory per block:       49152 bytes
 Total number of registers available per block: 65536
 Warp size:                                     32
 Maximum number of threads per multiprocessor:  1024
 Maximum number of threads per block:           1024
 Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
 Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
 Maximum memory pitch:                          2147483647 bytes
 Texture alignment:                             512 bytes
 Concurrent copy and kernel execution:          Yes with 3 copy engine(s)
 Run time limit on kernels:                     Yes
 Integrated GPU sharing Host Memory:            No
 Support host page-locked memory mapping:       Yes
 Alignment requirement for Surfaces:            Yes
 Device has ECC support:                        Disabled
 Device supports Unified Addressing (UVA):      Yes
 Device supports Compute Preemption:            Yes
 Supports Cooperative Kernel Launch:            Yes
 Supports MultiDevice Co-op Kernel Launch:      Yes
 Device PCI Domain ID / Bus ID / location ID:   0 / 2 / 0
 Compute Mode:
    < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 10.2, CUDA Runtime Version = 10.1, NumDevs = 1, Device0 = GeForce RTX 2080 Ti
Result = PASS

Anaconda

Anaconda ist eine Freemium-Open-Source-Distribution für die Programmiersprachen Python und R, die unter anderem die Entwicklungsumgebung Spyder, den Kommandozeileninterpreter IPython, und ein webbasiertes Frontend für Jupyter enthält. Der Fokus liegt vor allem auf der Verarbeitung von großen Datenmengen, Vorhersageanalyse und wissenschaftlichem Rechnen. Das Ziel der Distribution ist die Vereinfachung von Paketmanagement und Softwareverteilung. Paketversionen werden von der Paketverwaltung conda verwaltet.

installieren

nach dieser Anleitung:

https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/

Environement erstellen

open conda and type: 

conda create --name tf_gpu

activate tf_gpu

conda install tensorflow-gpu

Diese Kommandos kreieren ein Environment mit dem Namen ‘tf_gpu’ und installiert alle Packeages die für ein lauffähigens GPU-Tensorflow_Environment notwendig sind (inklusive die jeweiligen kompatiblen Versionen von cuda and cuDNN.


erste (notwendige) Pakete installieren

sicherstellen dass man im richtigen Environment sich bfindet: 

conda activate tf-gpu

Installieren der basic ML toolkits 

conda install -y numpy pandas matplotlib seaborn scikit-learn scipy jupyterlab

Installieren des Tensorflow-GPU Packets: 

conda install -y tensorflow-gpu


erster Testdurchlauf

...kurzer Test ob GPU läuft:

start python 

python

dach in Prompt tippen: 

>>> import tensorflow as tf

>>> tf.__version__
'2.2.0'

>>> tf.config.experimental.list_physical_devices('GPU')
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

zweiter Testdurchlauf

vollständiger Test

In diesem Test werden wir ein neuronales Netzwerk trainieren. Wir werden ein einfaches LeNet Convolutional Network ausführen, um handgeschriebene MNIST-Ziffern zu identifizieren. Hier ist das Python-Skript.

Python-Code downloaden: 

wget https://raw.githubusercontent.com/elephantscale/es-public/master/tf-gpu/cnn-mnist- 1 -train-gpu-minimal.py


Code ausführen: 

python cnn-mnist- 1 -train-gpu-minimal.py


während der Trainingsphase sollte folgendes erscheinen: 

15:22, 28. Aug. 2020 (CEST) training starting ...
Train on 48000 samples, validate on 12000 samples
Epoch 1/10
48000/48000 [==============================] - 7s 152us/sample - loss: 0.1667 - accuracy: 0.9490 - val_loss: 0.0715 - val_accuracy: 0.9789
Epoch 2/10
48000/48000 [==============================] - 4s 91us/sample - loss: 0.0482 - accuracy: 0.9843 - val_loss: 0.0514 - val_accuracy: 0.9842
...
Epoch 10/10
48000/48000 [==============================] - 4s 76us/sample - loss: 0.0079 - accuracy: 0.9975 - val_loss: 0.0380 - val_accuracy: 0.9910
15:22, 28. Aug. 2020 (CEST) trained on 60,000 images in 42,436.38 ms

die einzelnen Trainingsphasen sollten nicht länger als jeweils 4 Sekunden dauern.

Alternativ kann hierzu in einem neuen Terminalfenser nvidia-smi ausgeführt werden um zu sehen wie hoch die GPU belastet ist


Testdurchlauf im jupyter notebook

weiter bei step 8: https://elephantscale.com/tutorials/tensorflow2-gpu-nvidia-ubuntu-18-04-anaconda-jupyter-setup-guide/

Anaconda

Anaconda ist eine Freemium-Open-Source-Distribution für die Programmiersprachen Python und R, die unter anderem die Entwicklungsumgebung Spyder, den Kommandozeileninterpreter IPython, und ein webbasiertes Frontend für Jupyter enthält. Der Fokus liegt vor allem auf der Verarbeitung von großen Datenmengen, Vorhersageanalyse und wissenschaftlichem Rechnen. Das Ziel der Distribution ist die Vereinfachung von Paketmanagement und Softwareverteilung. Paketversionen werden von der Paketverwaltung conda verwaltet.

Jupyter Notebooks

Was ist Jupyter Notebook?

Jupyter Notebook ist eine Client-Server-Anwendung der Non-Profit-Organisation Project Jupyter, die 2015 veröffentlicht wurde. Sie ermöglicht die Kreation und das Teilen von Webdokumenten im JSON-Format, die einem versionierten Schema und einer geordneten Liste von Input-/Output-Zellen folgen. Diese Zellen bieten u. a. Platz für Code, Markdown-Text, mathematische Formeln und Gleichungen oder Medieninhalte (Rich Media). Die Bearbeitung funktioniert dabei über die webbasierte Client-Anwendung, die sich mit handelsüblichen Browsern starten lässt. Voraussetzung ist, dass auf dem System auch der Jupyter-Notebook-Server installiert ist und ausgeführt wird. Die erstellten Jupyter-Dokumente lassen sich u. a. als HTML-, PDF-, Markdown- oder Python-Dokumente exportieren oder alternativ per E-Mail, Dropbox, GitHub oder den hauseigenen Jupyter Notebook Viewer mit anderen Nutzern teilen.

Download & install latest Anaconda Version

1. Lade die für dein Betriebssystem zutreffende Version von Anaconda herunter: https://www.anaconda.com/products/individual

...oder downloade direct:


2. Verifiziere deinen Download mit sha256 (Secure Hash Algorithm)

  • für Mac
    • In iTerm or a terminal window enter shasum -a 256 filename

für Windows

    • Öffne die PowerShell-Console (> V4) und tippe: Get-FileHash filename -Algorithm SHA256
  • für Linux
    • type in Terminal: sha256sum filename
    • um die 2 Hashes zu vergleichen type: if [[ "hash" == "hash-von-Webseite" ]]; then echo match; fi


3. Folge der jeweiligen Installationsanleitung: https://docs.anaconda.com/anaconda/install/

on Ubuntu:
nach dem installieren type in Terminal: 

source ~/.bashrc

hiermit kannst du conda und alle weiteren Tools direkt aus dem Terminal starten

Create Environement

see also conda-cheatsheet: https://docs.conda.io/projects/conda/en/latest/_downloads/843d9e0198f2a193a3484886fa28163c/conda-cheatsheet.pdf

GPU Support

open conda and type: 

conda create --name tf_gpu tensorflow-gpu

or in 3 steps: 

conda create --name tf_gpu

activate tf_gpu

conda install tensorflow-gpu

Diese Kommandos kreieren ein Environment mit dem Namen ‘tf_gpu’ und installiert alle Packeages die für ein lauffähigens GPU-Tensorflow_Environment notwendig sind (inklusive die jeweiligen kompatiblen Versionen von cuda and cuDNN.

CPU only

open conda and type: 

conda create --name tf_cpu tensorflow

or in 3 steps: 

conda create --name tf_cpu

activate tf_cpu

conda install tensorflow

de-activate Environement

nachsehen welche Environements eingerichtet sind: 

conda info --envs

Environement aktivieren (z.b. tf_cpu): 

conda activate tf_cpu

Environement deaktivierten 

conda deactivate

deactivate conda-environement in startup-flag

type in terminal: 

conda config --set auto_activate_base false

open jupyter notebook

eine gut übersichtliche Anleitung siehe auch hier: https://coessing.files.wordpress.com/2019/08/jupyternotebook_tutorial_bypaige.pdf

type Jupyter-button on your Desktop or

or type in Terminal: 

jupyter-notebook


Content jupyternotebook1.gif

how to use...?

Content jupyternotebook3b.gif

Content jupyternotebook7.gif

test if GPU is available

type: 

import tensorflow as tf
tf.test.is_gpu_available()
tf.test.gpu_device_name()


in your environement 'tf_gpu' open jupyter-notebook and run following python code (siehe oben): 

from tensorflow.python.client import device_lib

print(device_lib.list_local_devices())

see also:

test if it works

https://stackoverflow.com/questions/38009682/how-to-tell-if-tensorflow-is-using-gpu-acceleration-from-inside-python-shell

type: 

import tensorflow as tf
with tf.device('/gpu:0'):
   a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
   b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')
   c = tf.matmul(a, b)

with tf.Session() as sess:
   print (sess.run(c))

wenn der prozess auf der GPU ausgeführt wurde kommt folgender output: 

[[22. 28.]
[49. 64.]]

falls er über cpu läuft kommt eine meldung wie folgt o.ä.: 

Cannot assign a device to node 'MatMul': Could not satisfy explicit device specification '/device:GPU:0' because no devices matching that 
specification are registered in this process



Module nachinstallieren

open conda and type (um beispielsweise das Natural Language Toolkit NLTK zu installieren): 

conda install nltk

oder 

conda install -c anaconda nltk
Abgerufen von „https://exmediawiki.khm.de/index.php?title=KI_Workaround_installieren&oldid=6429“