
`pyproject.toml`の中の

```
[tool.poetry.dependencies]
python = "^3.10"
```

を

```
[tool.poetry.dependencies]
python = ">=3.10,<3.11"
```

と変更し、

```
$ poetry add tensorflow-macos
```

を実行したらエラーなくインストールできました。


M2 Mac / Poetry / Python3.10でtensorflow-macosをインストール


Apple Silicon の M2 Mac で Poetry で PyTorch を入れようと、

```
poetry add torch torchvision
```

を実行しようとすると、

```
Installing nvidia-cuda-nvrtc-cu11 (11.7.99): Failed
```

というエラーが出てしまった。

ググったところ、以下の GitHub issues に行き当たった。

[https://github.com/python-poetry/poetry/issues/6409](https://github.com/python-poetry/poetry/issues/6409)

<br />
以下から自分の OS、Python バージョンに当てはまるものを探す。

`https://download.pytorch.org/whl/torch_stable.html`

pyproject.toml の[tool.poetry.dependencies]の中に以下を追記する。

```
torch = { url = "https://download.pytorch.org/whl/cpu/torch-1.13.0-cp310-none-macosx_11_0_arm64.whl"}
torchaudio = { url = "https://download.pytorch.org/whl/cpu/torchaudio-0.12.0-cp310-cp310-macosx_11_0_arm64.whl"}
torchvision = { url = "https://download.pytorch.org/whl/cpu/torchvision-0.13.0-cp310-cp310-macosx_11_0_arm64.whl"}
```


M1/M2 Macで、PoetryでPyTorchを入れるときにInstalling nvidia-cuda-nvrtc-cu11 (11.7.99) Failedエラーが出てしまうとき

【M1/2 Mac】PoetryでPyTorchを入れるときにInstalling nvidia-cuda-nvrtc-cu11 (11.7.99) Failedエラーが出てしまうとき


# 結果

- M2 Mac: 224.94 秒
- CPU: 258.22 秒
- GPU: 44.70 秒

ということで、GPU は M2 Mac, CPU の 5 倍も速かったです。また、M2 Mac が第 10 世代の Core i5（以下参照）よりも 10%ほど速い結果となりました。

スペックの詳細

- CPU: Intel(R) Core(TM) i5-10400 CPU @ 2.90GHz
- GPU: NVIDIA GeForce RTX 3090

## M2 MacBook Air 13 inch

```
train epoch: 1, loss: 0.1405, accuracy: 95.81
test epoch: 1, loss: 0.05, accuracy: 98.22
Epoch 1 in 22.32 sec
train epoch: 2, loss: 0.0502, accuracy: 98.44
test epoch: 2, loss: 0.04, accuracy: 98.66
Epoch 2 in 21.22 sec
train epoch: 3, loss: 0.0343, accuracy: 98.94
test epoch: 3, loss: 0.03, accuracy: 98.97
Epoch 3 in 21.59 sec
train epoch: 4, loss: 0.0259, accuracy: 99.16
test epoch: 4, loss: 0.04, accuracy: 99.00
Epoch 4 in 21.94 sec
train epoch: 5, loss: 0.0198, accuracy: 99.42
test epoch: 5, loss: 0.04, accuracy: 98.93
Epoch 5 in 22.07 sec
train epoch: 6, loss: 0.0180, accuracy: 99.42
test epoch: 6, loss: 0.05, accuracy: 98.48
Epoch 6 in 21.78 sec
train epoch: 7, loss: 0.0153, accuracy: 99.53
test epoch: 7, loss: 0.05, accuracy: 98.60
Epoch 7 in 21.23 sec
train epoch: 8, loss: 0.0133, accuracy: 99.59
test epoch: 8, loss: 0.05, accuracy: 98.93
Epoch 8 in 21.77 sec
train epoch: 9, loss: 0.0108, accuracy: 99.65
test epoch: 9, loss: 0.05, accuracy: 99.00
Epoch 9 in 21.39 sec
train epoch: 10, loss: 0.0112, accuracy: 99.66
test epoch: 10, loss: 0.04, accuracy: 99.16
Epoch 10 in 21.76 sec
Total in 224.94 sec
```

## CPU on Ubuntu

```
train epoch: 1, loss: 0.1424, accuracy: 95.62
test epoch: 1, loss: 0.06, accuracy: 98.24
Epoch 1 in 26.10 sec
train epoch: 2, loss: 0.0485, accuracy: 98.51
test epoch: 2, loss: 0.05, accuracy: 98.53
Epoch 2 in 24.67 sec
train epoch: 3, loss: 0.0362, accuracy: 98.88
test epoch: 3, loss: 0.03, accuracy: 99.10
Epoch 3 in 24.72 sec
train epoch: 4, loss: 0.0253, accuracy: 99.21
test epoch: 4, loss: 0.04, accuracy: 98.99
Epoch 4 in 24.70 sec
train epoch: 5, loss: 0.0230, accuracy: 99.31
test epoch: 5, loss: 0.03, accuracy: 99.15
Epoch 5 in 24.69 sec
train epoch: 6, loss: 0.0169, accuracy: 99.50
test epoch: 6, loss: 0.04, accuracy: 98.81
Epoch 6 in 24.65 sec
train epoch: 7, loss: 0.0149, accuracy: 99.53
test epoch: 7, loss: 0.03, accuracy: 99.09
Epoch 7 in 24.68 sec
train epoch: 8, loss: 0.0130, accuracy: 99.59
test epoch: 8, loss: 0.05, accuracy: 98.63
Epoch 8 in 24.73 sec
train epoch: 9, loss: 0.0118, accuracy: 99.63
test epoch: 9, loss: 0.05, accuracy: 98.93
Epoch 9 in 24.71 sec
train epoch: 10, loss: 0.0101, accuracy: 99.69
test epoch: 10, loss: 0.04, accuracy: 99.14
Epoch 10 in 24.71 sec
Total in 258.22 sec
```

## GPU

```
train epoch: 1, loss: 0.0107, accuracy: 99.67
test epoch: 1, loss: 0.03, accuracy: 98.99
Epoch 1 in 4.53 sec
train epoch: 2, loss: 0.0075, accuracy: 99.79
test epoch: 2, loss: 0.04, accuracy: 98.98
Epoch 2 in 4.49 sec
train epoch: 3, loss: 0.0108, accuracy: 99.67
test epoch: 3, loss: 0.04, accuracy: 98.99
Epoch 3 in 4.38 sec
train epoch: 4, loss: 0.0101, accuracy: 99.69
test epoch: 4, loss: 0.05, accuracy: 98.97
Epoch 4 in 4.44 sec
train epoch: 5, loss: 0.0101, accuracy: 99.69
test epoch: 5, loss: 0.05, accuracy: 99.00
Epoch 5 in 4.47 sec
train epoch: 6, loss: 0.0114, accuracy: 99.69
test epoch: 6, loss: 0.04, accuracy: 99.05
Epoch 6 in 4.48 sec
train epoch: 7, loss: 0.0060, accuracy: 99.82
test epoch: 7, loss: 0.05, accuracy: 99.04
Epoch 7 in 4.46 sec
train epoch: 8, loss: 0.0095, accuracy: 99.74
test epoch: 8, loss: 0.04, accuracy: 98.93
Epoch 8 in 4.42 sec
train epoch: 9, loss: 0.0068, accuracy: 99.81
test epoch: 9, loss: 0.04, accuracy: 99.16
Epoch 9 in 4.39 sec
train epoch: 10, loss: 0.0089, accuracy: 99.76
test epoch: 10, loss: 0.05, accuracy: 99.06
Epoch 10 in 4.48 sec
Total in 44.70 sec
```


JAX/Flaxの実行速度をM2 Mac、CPU on Linux、GPU on Linuxで調べてみた

JAX/Flaxの実行速度 [M2 Mac, CPU, GPU]


# インストール

[https://developer.nvidia.com/cuda-toolkit-archive](https://developer.nvidia.com/cuda-toolkit-archive)　からインストールしたいバージョンを探す。私の場合は cuda11.7, Ubuntu22.04 を選択した。

```bash
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.7.1/local_installers/cuda-repo-ubuntu2204-11-7-local_11.7.1-515.65.01-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-11-7-local_11.7.1-515.65.01-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-11-7-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
```

## （必要があれば）libcudnn8 をインストール

[JAX](https://jax.readthedocs.io/en/latest/index.html) を使うときになぜか以下のようなエラーが出たため、追加で必要だった。

```
Could not load dynamic library 'libcudnn.so.8
(省略)
jaxlib.xla_extension.XlaRuntimeError: UNIMPLEMENTED: DNN library is not found.
```

以下の一覧で`libcudnn8`で検索をかけた。

[https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/](https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/)

Ubuntu20.04 を使っている場合は、上記リンクの"ubuntu2204"を"ubuntu2004"に変更すればいい。Ubuntu18.04 などの場合も同様。

先ほど `cuda11.7` を入れたので、`libcudnn88.5.0.96-1+cuda11.7amd64.deb` を選ぶことにする。

```
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/libcudnn8_8.5.0.96-1+cuda11.7_amd64.deb
sudo dpkg -i libcudnn8_8.5.0.96-1+cuda11.7_amd64.deb
```

以上がエラーなく終わったら、再起動する

`sudo reboot`

## バージョン確認方法

Ubuntu のバージョンは以下コマンド

`cat /etc/issue`

> Ubuntu 22.04.1 LTS \n \l

x86_64 か arm かは以下コマンド

`uname -m`

> x86_64

<br />

# 完全にアンインストール

cuda toolkit を削除

`sudo apt-get --purge remove "_cublas_" "cuda*" "nsight*"`

Nvidia driver を削除

`sudo apt-get --purge remove "_nvidia_"`

ソースファイルがある場合（デフォルトでは/usr/local にある）、削除

`sudo rm -rf /usr/local/cuda*`

念の為、apt list も削除

`sudo rm -rf /var/lib/apt/lists/*`

不要なパッケージを削除

`sudo apt autoremove`


JAX/FlaxをNVIDIA GPUで実行できるようにするまでの死闘の結果です

JAX/FlaxをNVIDIA GPUで実行するまで - Ubuntu22.04 / cuda, nvidiaをインストール/完全にアンインストールする方法


```
$ poetry add jax jaxlib
```

とした後、以下のコードで jax で cpu と gpu どちらを使っているかを確認できる。

```bash
$ python
>>> from jax.lib import xla_bridge
>>> print(xla_bridge.get_backend().platform)
>>> cpu
>>> これでは gpu を認識していない。
```

以下のように書いてみてもだめだった。jax が`>0.3.25,<0.4.0`と合わないというエラー。

かなりググったが、poetry では無理そうだった。

```bash
$ poetry add "jax[cuda11_cudnn82]"
Using version ^0.3.25 for jax

Updating dependencies
Resolving dependencies... (0.0s)

Because no versions of jax match >0.3.25,<0.4.0
and jax (0.3.25) depends on jaxlib (0.3.25+cuda11.cudnn82), jax (>=0.3.25,<0.4.0) requires jaxlib (0.3.25+cuda11.cudnn82).
So, because no versions of jaxlib match 0.3.25+cuda11.cudnn82
and ml-library depends on jax (^0.3.25), version solving failed.
```

以下のように pip でインストールしたら gpu を認識してくれた。

```
$ pip install "jax[cuda11_cudnn82]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
$ python
>>> from jax.lib import xla_bridge
>>> print(xla_bridge.get_backend().platform)
>>> cpu
```


PoetryでJAXのGPU版をインストールできないときの解決法

PoetryでJAXのGPU版をインストールできない


以下サイトから気に入った CSS テーマ を選ぶ

[https://github.com/PrismJS/prism-themes](https://github.com/PrismJS/prism-themes)

全てが載った一覧

[https://github.com/react-syntax-highlighter/react-syntax-highlighter/blob/master/AVAILABLE_STYLES_PRISM.MD](https://github.com/react-syntax-highlighter/react-syntax-highlighter/blob/master/AVAILABLE_STYLES_PRISM.MD)

`themes` themes という名前でディレクトリを作り、prism.css というファイル名でファイルを作る。

その中に先ほど選んだ css をコピペする。

そして `_app.tsx`の中で読み込むだけで導入が完了する。

```tsx:_app.tsx
// _app.tsx
import "'../themes/prism.css";
```


NextjsでPrism.jsを使ってコードブロックのシンタックスを導入する方法

NextjsでPrism.jsを使ってコードブロックのシンタックスを導入する


```python:read.csv
path = 'foo.csv'
df = pd.read_cev(path)
```

```python
pyenv install 3.10.7
<span>
```

ダウンロードできたかどうかを確認

```
$ pyenv versions
system
- 3.10.7 (set by /Users/yukik/.pyenv/version)
```


M2 Macでのpyenvによる仮想環境構築方法をメモ代わりに書きました。M1 Mac, Linuxでも使えると思います。

YK Blog (7 posts)