PyTorch: tenzorlar

NumPy massivləri ədədi hesablamalar üçün əladır, amma dərin öyrənmə üçün onlara iki şey çatmır: onlar GPU-da işləmir və törəmələri avtomatik hesablaya bilmir. PyTorch məhz bu iki boşluğu doldurur. Onun əsas obyekti — tenzor — NumPy massivinə çox bənzəyir, lakin videokartda işləyə və öz qradiyentlərini izləyə bilir. Bu dərsdə tenzorlarla sərbəst işləməyi öyrənəcəyik; növbəti dərs isə avtomatik törəmələrə həsr olunub.

PyTorch nədir və necə quraşdırılır

PyTorch — Meta (keçmiş Facebook) şirkətinin süni intellekt laboratoriyasında yaradılmış açıq mənbəli dərin öyrənmə kitabxanasıdır; 2022-ci ildən Linux Foundation nəzdindəki PyTorch Foundation tərəfindən idarə olunur. Tədqiqatçılar və şirkətlər onu neyron şəbəkələri yaratmaq, öyrətmək və tətbiq etmək üçün geniş istifadə edir. PyTorch brauzerdə işləmir, ona görə bu moduldakı PyTorch kodlarını öz kompüterində işə salmalısan; nəticələri isə hər kodun altında görə bilərsən.

1. 1
   Virtual mühit yarat

   Layihə qovluğunda python -m venv .venv yaz və mühiti aktivləşdir. Belə olduqda PyTorch digər layihələrinə qarışmır.

2. 2
   CPU və ya CUDA versiyasını seç

   NVIDIA videokartın yoxdursa, CPU versiyası bu modul üçün tamamilə kifayətdir. GPU (CUDA) versiyası üçün dəqiq əmri pytorch.org saytındakı seçicidən — əməliyyat sistemini və CUDA versiyasını seçərək — götür.

3. 3
   Quraşdır və yoxla

   pip install torch əmrini icra et, sonra Python-da import torch yazıb versiyanı çap et.

python -m venv .venv
# Windows: .venv\Scripts\activate    macOS/Linux: source .venv/bin/activate
pip install torch numpy
# CPU-only build (smaller download):
pip install torch --index-url https://download.pytorch.org/whl/cpu

import torch

print(torch.__version__)
print(torch.cuda.is_available())

2.14.0+cpu
False

Tenzor yaratmaq: shape və dtype

import torch

a = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(a)
print(a.shape, a.ndim, a.dtype)
print(torch.tensor([1.5, 2.0]).dtype)
print(torch.zeros(2, 3))
print(torch.arange(0, 10, 3))
torch.manual_seed(42)
print(torch.rand(2, 2))
print(a.float().dtype, a.to(torch.float16).dtype)

tensor([[1, 2, 3],
        [4, 5, 6]])
torch.Size([2, 3]) 2 torch.int64
torch.float32
tensor([[0., 0., 0.],
        [0., 0., 0.]])
tensor([0, 3, 6, 9])
tensor([[0.8823, 0.9150],
        [0.3829, 0.9593]])
torch.float32 torch.float16

• torch.tensor(...) tipi özü müəyyən edir: tam ədədlər → int64, kəsr ədədlər → float32. NumPy-da isə kəsr ədədlər üçün susmaya görə float64 olur!
• torch.zeros, torch.ones, torch.arange, torch.linspace hazır tenzorlar yaradır; torch.rand (0 ilə 1 arasında bərabər paylanma) və torch.randn (standart normal paylanma) isə təsadüfi tenzorlar.
• torch.manual_seed(42) təsadüfi ədədlər generatorunu sabitləyir — nəticələri təkrarlamaq mümkün olur.
• .float(), .long() və ya .to(torch.float16) tipi dəyişir və yeni tenzor qaytarır.

Formanın dəyişdirilməsi və indeksləmə

import torch

m = torch.arange(12).reshape(3, 4)
print(m)
print(m[0], m[:, 1])
print(m[1, 2].item())
print(m[m > 8])
v = m.view(2, 6)
print(v.shape, m.T.shape)
print(m.unsqueeze(0).shape, m.flatten().shape)
v[0, 0] = 100
print(m[0, 0])

tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])
tensor([0, 1, 2, 3]) tensor([1, 5, 9])
6
tensor([ 9, 10, 11])
torch.Size([2, 6]) torch.Size([4, 3])
torch.Size([1, 3, 4]) torch.Size([12])
tensor(100)

• İndeksləmə NumPy-dakı kimidir: m[0] — birinci sətir, m[:, 1] — ikinci sütun, m[m > 8] — maska ilə seçmə. .item() bir elementli tenzoru adi Python ədədinə çevirir.
• reshape(2, 6) və view(2, 6) elementlərin sayını dəyişmədən formanı dəyişir; bir ölçünün yerinə -1 yazsan, PyTorch onu özü hesablayar: x.view(-1, 784).
• view verilənləri kopyalamır, eyni yaddaşa başqa «pəncərədən» baxır. Buna görə v[0, 0] = 100 əməliyyatı m-i də dəyişdi!
• unsqueeze(0) ölçüsü 1 olan yeni ox əlavə edir (məsələn, tək şəkli paketə çevirmək üçün), squeeze() belə oxları silir, .T matrisi transponə edir, permute isə oxların yerini istənilən qaydada dəyişir.

Əməliyyatlar: yayımlama və matris hasili

+, -, *, /, ** operatorları elementlər üzrə işləyir. sum, mean, max kimi reduksiyalar dim arqumenti ilə müəyyən ox boyunca hesablanır: a.mean(dim=0) sütunların orta qiymətidir. Formaları fərqli olan tenzorlar yayımlama (broadcasting) qaydaları ilə uyğunlaşdırılır:

1. Formalar sağdan sola müqayisə olunur; qısa formanın solundan ölçüsü 1 olan oxlar əlavə edilmiş sayılır.
2. İki ölçü bərabərdirsə və ya onlardan biri 1-dirsə, onlar uyğundur.
3. Ölçüsü 1 olan ox digərinin uzunluğuna qədər «uzadılır» (verilənlər kopyalanmadan).

import torch

a = torch.tensor([[1., 2.], [3., 4.]])
b = torch.tensor([10., 20.])
print(a + b)
print(a * a)
print(a @ a)
print(a.sum(), a.mean(dim=0))
X = torch.ones(64, 3)
W = torch.ones(3, 5)
print((X @ W).shape)
print((torch.ones(4, 1) + torch.ones(3)).shape)

tensor([[11., 22.],
        [13., 24.]])
tensor([[ 1.,  4.],
        [ 9., 16.]])
tensor([[ 7., 10.],
        [15., 22.]])
tensor(10.) tensor([2., 3.])
torch.Size([64, 5])
torch.Size([4, 3])

GPU və NumPy ilə iş

Videokartda minlərlə sadə nüvə var və matris hasilini paralel hesablayır; böyük modellərin GPU-da öyrədilməsi çox vaxt CPU ilə müqayisədə bir neçə dəfədən onlarla dəfəyə qədər sürətli olur. Standart üsul: kodun əvvəlində device seçmək, sonra modeli və verilənləri .to(device) ilə ora köçürmək. Apple Silicon kompüterlərdə GPU üçün 'mps' qurğusu var.

import numpy as np
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
x = torch.ones(2, 2, device=device)
print(device, x.device)
arr = np.array([1.0, 2.0, 3.0])
t = torch.from_numpy(arr)
arr[0] = 99
print(t)
back = (t * 2).numpy()
print(back, type(back).__name__)

cpu cpu
tensor([99.,  2.,  3.], dtype=torch.float64)
[198.   4.   6.] ndarray

torch.from_numpy(arr) massivin yaddaşını paylaşır: arr[0] = 99 dəyişikliyi tenzorda da göründü. Diqqət et ki, dtype float64 qaldı — öyrətmədən əvvəl .float() ilə float32-yə çevirmək lazımdır. Əks istiqamətdə .numpy() yalnız CPU-dakı tenzorlar üçün işləyir: GPU-dakı tenzoru əvvəlcə .cpu() ilə geri gətir, qradiyent izlənirsə, əvvəlcə .detach() çağır: t.detach().cpu().numpy().