Muradın sinfi məktəb şurasına gələn mesajları «sual» və «şikayət» kimi çeşidləyən köməkçi qurdu. Onu üç dəfə sınadılar, üç dəfə düzgün cavab verdi və hamı heyran qaldı. Sonra 100 real mesajda işə saldılar: 18-də səhv etdi — və onların demək olar ki, hamısı sual adlandırılmış şikayətlər idi. Üç gözəl cavab heç nəyi sübut etmir. Qiymətləndirmə süni intellekt sistemini məqsədyönlü şəkildə, aydın meyarlarla, əvvəlcədən seçilmiş çoxlu nümunədə sınamaq deməkdir. Risklərin özü «Hədlər və risklər: halüsinasiya, qərəzlilik, məxfilik, müəllif hüququ» dərsində təsvir olunub; bu dərs onları ölçmək üçün alətlər verir.
Cavabı nə yaxşı edir: rubrikalar və yoxlama siyahıları
«Bu cavab yaxşıdırmı?» sualı yoxlamaq üçün çox qeyri-müəyyəndir. Onu meyarlara böl: düzgünlük (faktlar doğrudurmu?), tamlıq (vacib nəsə çatışmırmı?), uyğunluq (məhz bu suala cavab verirmi?), səviyyə və aydınlıq (oxucuya uyğundurmu?), format (uzunluq, quruluş), təhlükəsizlik və ədalətlilik (zərərli və qərəzli məzmun yoxdur), mənbələr (iddiaları yoxlamaq olurmu?).
Rubrika (qiymətləndirmə meyarları cədvəli)Tərif
Hər bal səviyyəsinin qısa təsviri olan meyarlar cədvəli; onun sayəsində müxtəlif insanlar — və ya eyni insan müxtəlif günlərdə — cavabları eyni cür qiymətləndirir. Müəllimlər inşaları rubrika ilə qiymətləndirir; sən də onunla süni intellekt cavablarını qiymətləndirə bilərsən.
| Meyar | 2 — yaxşı | 1 — qismən | 0 — zəif |
|---|---|---|---|
| Düzgünlük | bütün faktlar doğrudur | kiçik səhv | ciddi səhv |
| Tamlıq | bütün əsas məqamlar var | bir əsas məqam yoxdur | əksər məqamlar yoxdur |
| Səviyyə | oxucuya uyğundur | qismən çox çətin və ya çox asan | səhv səviyyə |
| Format | istənildiyi kimi | kiçik kənarlaşmalar | xahişə məhəl qoymur |
Cavabı rubrika ilə qiymətləndir
Məsələ
Prompt: «Fotosintezi 7-ci sinif şagirdinə ən çox 5 cümlə ilə izah et.» Süni intellektin cavabı 7 cümlədir, «xloroplastın tilakoid membranı» sözlərini izahsız işlədir, fotosintez zamanı bitkilərin oksigen udub karbon qazı buraxdığını deyir və işıqdan bəhs etmir.
Həllini göstərHəllini gizlət
Həll
Tamlıq: 1 — əsas enerji mənbəyi olan işıq yoxdur.
Səviyyə: 1 — izahsız terminlər 7-ci sinif üçün çətindir.
Format: 1 — ən çox 5 əvəzinə 7 cümlə.
Cəmi: 3 / 8. Təkcə səhv fakt cavabı istifadəyə yararsız edir, nə qədər səlis səslənsə də.
Davamını oxumaq üçün pulsuz qeydiyyatdan keç
Dərsin qalan bölmələri, test və qeydlər Educora hesabı ilə açılır. Qeydiyyat bir dəqiqə çəkir; irəliləyişin bütün cihazlarında saxlanılır.
Faktları iddia-iddia yoxlamaq
Böl
Cavabı ayrı-ayrı iddialara böl — hər sətirdə bir fakt.
İşarələ
Yoxlanmalı iddiaları işarələ: ədədlər, tarixlər, adlar, sitatlar, istinadlar, təəccüblü hər şey.
Mənbəni tap
İlkin mənbəni axtar (rəsmi sayt, dərslik, orijinal tədqiqat) — başqa süni intellekt cavabını və ya surətin surətini yox.
Etiketlə
Hər iddianı etiketlə: təsdiqləndi, yanlışdır, yoxlamaq mümkün deyil.
Düzəlt və ya at
Yanlış iddiaları düzəlt, yoxlana bilməyənləri isə sil.
Vacib faktlar üçün «Hədlər və risklər: halüsinasiya, qərəzlilik, məxfilik, müəllif hüququ» dərsindəki iki mənbə qaydasından istifadə et. Unutma ki, mənbəyə istinad edən süni intellekt onu mütləq düzgün oxumayıb: mənbəni aç və həmin cümləni tap.
Üç iddianı yoxla
Məsələ
Süni intellekt yazır: «1) Bakı Azərbaycanın paytaxtıdır. 2) Xəzər dənizi sahəsinə görə dünyanın ən böyük gölüdür. 3) Dəniz səviyyəsində su 90 °C-də qaynayır.» Hər iddianı yoxla.
Həllini göstərHəllini gizlət
Həll
2) Təsdiqləndi — Xəzər sahəsinə görə Yer üzündə ən böyük qapalı daxili su hövzəsidir; coğrafiya dərslikləri onu çox vaxt ən böyük göl adlandırır.
3) Yanlışdır — normal atmosfer təzyiqində (dəniz səviyyəsində) su 100 °C-də qaynayır. Cavab istifadədən əvvəl düzəldilməlidir.
Test dəstləri və rəqəmlər: düzgünlük, dəqiqlik, tamlıq
Test dəstiTərif
Sınaqdan əvvəl hazırlanmış, düzgün (gözlənilən) cavabları olan sabit girişlər siyahısı. O, tipik, çətin və qeyri-adi halları əhatə edir və iki prompt və ya iki model müqayisə olunanda dəyişmir.
Test dəsti ilə saymaq olar. Ən sadə ölçü düzgünlükdür (accuracy) — düzgün cavabların payı. İki sinfə ayıran sistemdə (şikayət və ya sual, spam və ya spam deyil) səhvlərin növünü də sayırıq. Bizim üçün vacib olan sinfi «pozitiv» adlandıraq (burada — şikayət):
| Qısaltma | Mənası |
|---|---|
| TP | düzgün pozitiv: şikayət şikayət adlandırılıb |
| FP | yalançı pozitiv: sual səhvən şikayət adlandırılıb |
| FN | yalançı neqativ: şikayət qaçırılıb — sual adlandırılıb |
| TN | düzgün neqativ: sual sual adlandırılıb |
Burada
- A
- düzgünlük (accuracy): bütün cavablardan düzgünlərin payı
Bütün səhvləri bir yerdə sayır, onların növünü göstərmir.
Burada
- P
- dəqiqlik (precision)
Sistemin şikayət adlandırdığı hər şeyin nə qədəri həqiqətən şikayətdir? Aşağı dəqiqlik — çoxlu yalançı həyəcan.
Burada
- R
- tamlıq (recall)
Bütün real şikayətlərdən sistem neçəsini tapdı? Aşağı tamlıq — çoxlu qaçırılmış hal.
Göstəriciləri hesabla
Məsələ
12 test mesajında süni intellekt belə nəticə verdi: TP = 4, FP = 2, FN = 1, TN = 5. Düzgünlüyü, dəqiqliyi və tamlığı hesabla.
Həllini göstərHəllini gizlət
Həll
Dəqiqlik = 4/(4 + 2) = 4/6 ≈ 0,667 — hər üç «şikayət»dən biri əslində sual idi.
Tamlıq = 4/(4 + 1) = 4/5 = 0,8 — hər beş şikayətdən biri qaçırıldı.
Aşağıdakı kod scikit-learn ilə eyni ədədləri alır.
from sklearn.metrics import accuracy_score, precision_score, recall_score, confusion_matrix
# 12 messages from the test set: 1 = complaint, 0 = question
y_true = [1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1] # what a person decided
y_pred = [1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0] # what the AI said
print(f"accuracy: {accuracy_score(y_true, y_pred):.3f}")
print(f"precision: {precision_score(y_true, y_pred):.3f}")
print(f"recall: {recall_score(y_true, y_pred):.3f}")
print(confusion_matrix(y_true, y_pred))Gözlənilən nəticə
accuracy: 0.750 precision: 0.667 recall: 0.800 [[5 2] [1 4]]
confusion_matrix [[TN FP] [FN TP]] çap edir: 5 sual düzgün, 2 sual şikayət adlandırılıb, 1 şikayət qaçırılıb, 4 şikayət tapılıb.Düzgünlük niyə aldada bilər
Məsələ
100 mesajdan yalnız 5-i şikayətdir. «Tənbəl» sistem həmişə «sual» cavabı verir. Onun düzgünlüyünü və tamlığını hesabla.
Həllini göstərHəllini gizlət
Həll
Düzgünlük = 95/100 = 0,95 — əla görünür.
Tamlıq = 0/(0 + 5) = 0 — bir dənə də şikayət tapmır.
Siniflərdən biri nadir olanda yalnız düzgünlüyə yox, həmişə dəqiqliyə və tamlığa da bax.
İki promptu və ya iki modeli müqayisə etmək üçün hər ikisini eyni test dəstində işlət və say. Sabitliyi də yoxla: eyni sualı bir neçə dəfə ver və neçə dəfə eyni cavab aldığına bax — yarı hallarda fikrini dəyişən köməkçiyə həmin sualda güvənmək olmaz.
expected = ["B", "C", "A", "D", "B", "A", "C", "D", "A", "B"] # answer key
prompt_a = ["B", "C", "A", "B", "B", "A", "D", "D", "A", "C"] # AI with prompt A
prompt_b = ["B", "C", "A", "D", "B", "A", "C", "D", "B", "B"] # AI with prompt B
def accuracy(answers):
return sum(a == e for a, e in zip(answers, expected)) / len(expected)
print(f"prompt A: {accuracy(prompt_a):.0%}")
print(f"prompt B: {accuracy(prompt_b):.0%}")
runs = ["C", "C", "A", "C", "C"] # the same question asked 5 times
most = max(set(runs), key=runs.count)
print(f"consistency: {runs.count(most) / len(runs):.0%} (most common answer: {most})")Gözlənilən nəticə
prompt A: 70% prompt B: 90% consistency: 80% (most common answer: C)
Ədalətlilik, red-teaming və insan yoxlaması
Sistem orta hesabla dəqiq olub yenə də hansısa qrupa qarşı ədalətsiz ola bilər. İki sadə yoxlama var: qruplar üzrə ölç — düzgünlüyü ayrıca, məsələn, azərbaycanca və rusca yazılmış mesajlar və ya müxtəlif məktəblər üçün hesabla; əvəzetmə testi — girişdə yalnız adı, cinsi və ya ləhcəni dəyiş və nəticənin dəyişməli olmadığı halda dəyişib-dəyişmədiyinə bax. İnşa üçün rəy aləti yalnız şagirdin adı dəyişəndə daha aşağı bal verirsə, o, qərəzlidir.
Fərqi tap
Məsələ
Süni intellekt test tətbiqində qısa cavabları yoxlayır. Test dəstində azərbaycanca yazılmış 50 cavabdan 45-ində, rusca yazılmış 40 cavabdan 28-ində düzgündür. Ədalətlilik problemi varmı?
Həllini göstərHəllini gizlət
Həll
Ümumi: 73/90 ≈ 81% — orta göstərici 20 bəndlik fərqi gizlədir.
Bəli: rusca yazan şagirdlər xeyli tez-tez səhv qiymətləndirilir. Tətbiqdən istifadə etməzdən əvvəl səbəbi tap (məsələn, promptda və ya öyrədici verilənlərdə rusca nümunələrin azlığı) və yenidən sına.
Red-teaming (qırmızı komanda yoxlaması)Tərif
Sistemi rəqibin və ya maraqlı istifadəçinin edəcəyi kimi qəsdən səhv etməyə və ya pis davranmağa məcbur etməyə çalışaraq sınamaq; məqsəd zəif yerləri real istifadəçilərdən əvvəl tapıb düzəltməkdir.
- Çətin girişlər: yazı səhvləri, jarqon, qarışıq dillər, çox uzun və ya boş mesajlar.
- Yanlış ilkin fərziyyələr: «Nizami Gəncəvi Hamlet-i niyə yazıb?» — yaxşı sistem cavab uydurmaq əvəzinə fərziyyəni düzəldir.
- Çoxmənalı suallar — aydınlaşdırıcı sual tələb edənlər.
- Zərərli və ya şəxsi məzmun tələbləri — sistem imtina etməlidir.
- Sənədlərdə və ya mesajlarda gizlədilmiş prompt inyeksiyası («Süni intellekt agentləri və alətlərdən istifadə» dərsinə bax).
Rəqəmlər insanları əvəz etmir. Yüksək riskli sahələrdə — sağlamlıq, pul, hüquq, qiymətlər, təhlükəsizlik — süni intellektin nəticəsini istifadədən əvvəl ixtisaslı insan yoxlayır və məsuliyyət onda qalır. İnsan yoxlayıcılar ölçülərin qaçırdığını da qiymətləndirir: tonu, nəzakəti, cavabın həqiqətən kömək edib-etmədiyini.
Güvənmək, yoxsa yoxlamaq? Şagirdlər üçün məsuliyyətli istifadə
| Vəziyyət | Risk | Nə etməli |
|---|---|---|
| Plakat, başlıq və ya zarafat üçün ideyalar | aşağı | sərbəst istifadə et; yoxlama sənin zövqündür |
| Məktəb mövzusunun izahı | orta | dərsliklə müqayisə et; nümunə istə və özünü sına |
| Ev tapşırığı və ya hesabat üçün ədədlər, tarixlər, sitatlar | orta–yüksək | hər birini ilkin mənbədə yoxla |
| Sağlamlıq, pul, hüquq, təhlükəsizlik | yüksək | süni intellekt yalnız başlanğıc nöqtəsidir; mütəxəssisdən soruş |
| Ümumiyyətlə yoxlaya bilmədiyin faktlar | — | istifadə etmə |
Süni intellekti qiymətləndirmək dürüst oxumağın da bir hissəsidir. Ev tapşırığında süni intellektdən istifadə edirsənsə, müəlliminin qaydalarına əməl et və ondan necə istifadə etdiyini de («Süni intellektlə oxumaq» dərsinə bax). Təhvil verməzdən əvvəl yoxla: hər fakta görə sən cavabdehsən. Test dəstləri qurarkən məxfiliyi qoru: sinif yoldaşlarının adlarını, mesajlarını və ya qiymətlərini süni intellekt xidmətinə yapışdırma — uydurulmuş və ya anonimləşdirilmiş nümunələrdən istifadə et.
Mini layihə: kartoçka generatorunu sına
Məsələ
Sinfin qeydləri kartoçkalara çevirən süni intellekt promptundan istifadə edir. Onu qiymətləndir.
Həllini göstərHəllini gizlət
Həll
2. Rubrika: düzgünlük, əsas faktların əhatəsi, hər kartda bir fakt, aydın ifadə (hər biri 0–2, maksimum 8).
3. İcra: A və B promptları ilə 10 qeydin hamısı üçün kartoçkalar yarat.
4. Qiymətləndirmə: iki sinif yoldaşı müstəqil qiymət verir, sonra fərqləri müqayisə edib razılaşırlar.
5. Sabitlik: 3 qeydi üçər dəfə işlət; faktlar dəyişmirmi?
6. Red-teaming: səhv faktlı qeyd — süni intellekt onu köçürür, yoxsa qeyd edir?
7. Qərar: daha yaxşı promptu seç, onun bəlli zəif cəhətlərini yaz və test dəstini növbəti versiya üçün saxla.
Tapşırıq
Spam filtri 100 məktubda sınanıb: TP = 18, FP = 6, FN = 2, TN = 74. Dəqiqliyi, tamlığı və düzgünlüyü hesabla və başlanğıc koddakı formatda, hər birini ayrıca sətirdə, 2 onluq rəqəmlə çap et.
tp, fp, fn, tn = 18, 6, 2, 74
# precision = TP / (TP + FP), recall = TP / (TP + FN),
# accuracy = (TP + TN) / all four
print(f"precision {0:.2f}")
print(f"recall {0:.2f}")
print(f"accuracy {0:.2f}")Gözlənilən nəticə
precision 0.75 recall 0.90 accuracy 0.92
Yadda saxla
- Cavabları əvvəlcədən yazılmış meyarlarla qiymətləndir: düzgünlük, tamlıq, səviyyə, format, təhlükəsizlik, mənbələr.
- Faktları ilkin mənbələrdə iddia-iddia yoxla; istinad olunan mənbəni aç, ona kor-koranə inanma.
- Düzgünlük = düzgün / hamısı; dəqiqlik = TP/(TP + FP); tamlıq = TP/(TP + FN) — sinif nadir olanda təkcə düzgünlük aldadır.
- Promptları və ya modelləri yalnız eyni test dəstində müqayisə et; sabitliyi sualları təkrarlayaraq yoxla.
- Ədalətliliyi qruplar üzrə və əvəzetmə testi ilə yoxla; yalnız icazəli sistemləri red-teaming et; yüksək riskdə insan yoxlayıcı saxla.
- Güvən riskdən və yoxlayıb-yoxlamamağından asılıdır; süni intellektdən dürüst istifadə et və başqalarının məlumatlarını prompta qoyma.