Süni intellekt cavablarının qiymətləndirilməsi

Süni intellekt cavablarını sistemli şəkildə necə qiymətləndirmək: rubrikalar və yoxlama siyahıları, faktların iddia-iddia yoxlanması, test dəstləri, düzgünlük, dəqiqlik və tamlıq, promptların müqayisəsi, sabitlik, ədalətlilik yoxlamaları, red-teaming və insan yoxlaması — və nə vaxt güvənmək, nə vaxt yoxlamaq lazımdır.

  • Orta
  • 22 dəq
  • 12 sual
  • 16 dərsdən 8-cisi

Bu dərsdə öyrənəcəksən

  • Süni intellekt cavablarını rubrika ilə qiymətləndirmək və faktları iddia-iddia yoxlamaq
  • Test dəsti qurmaq və düzgünlüyü, dəqiqliyi, tamlığı və sabitliyi ölçmək
  • İki promptu və ya modeli ədalətli müqayisə etmək və nəticələri qərəzə görə yoxlamaq
  • Nə vaxt güvənməyin, nə vaxt yoxlamağın lazım olduğuna qərar vermək və süni intellektdən şagird kimi dürüst və məxfiliyi qoruyaraq istifadə etmək

Muradın sinfi məktəb şurasına gələn mesajları «sual» və «şikayət» kimi çeşidləyən köməkçi qurdu. Onu üç dəfə sınadılar, üç dəfə düzgün cavab verdi və hamı heyran qaldı. Sonra 100 real mesajda işə saldılar: 18-də səhv etdi — və onların demək olar ki, hamısı sual adlandırılmış şikayətlər idi. Üç gözəl cavab heç nəyi sübut etmir. Qiymətləndirmə süni intellekt sistemini məqsədyönlü şəkildə, aydın meyarlarla, əvvəlcədən seçilmiş çoxlu nümunədə sınamaq deməkdir. Risklərin özü «Hədlər və risklər: halüsinasiya, qərəzlilik, məxfilik, müəllif hüququ» dərsində təsvir olunub; bu dərs onları ölçmək üçün alətlər verir.

Cavabı nə yaxşı edir: rubrikalar və yoxlama siyahıları

«Bu cavab yaxşıdırmı?» sualı yoxlamaq üçün çox qeyri-müəyyəndir. Onu meyarlara böl: düzgünlük (faktlar doğrudurmu?), tamlıq (vacib nəsə çatışmırmı?), uyğunluq (məhz bu suala cavab verirmi?), səviyyə və aydınlıq (oxucuya uyğundurmu?), format (uzunluq, quruluş), təhlükəsizlik və ədalətlilik (zərərli və qərəzli məzmun yoxdur), mənbələr (iddiaları yoxlamaq olurmu?).

Rubrika (qiymətləndirmə meyarları cədvəli)Tərif

Hər bal səviyyəsinin qısa təsviri olan meyarlar cədvəli; onun sayəsində müxtəlif insanlar — və ya eyni insan müxtəlif günlərdə — cavabları eyni cür qiymətləndirir. Müəllimlər inşaları rubrika ilə qiymətləndirir; sən də onunla süni intellekt cavablarını qiymətləndirə bilərsən.

Meyar2 — yaxşı1 — qismən0 — zəif
Düzgünlükbütün faktlar doğrudurkiçik səhvciddi səhv
Tamlıqbütün əsas məqamlar varbir əsas məqam yoxdurəksər məqamlar yoxdur
Səviyyəoxucuya uyğundurqismən çox çətin və ya çox asansəhv səviyyə
Formatistənildiyi kimikiçik kənarlaşmalarxahişə məhəl qoymur
4 meyarlı rubrika: maksimum 8 bal. Meyarları cavabları oxumazdan əvvəl yaz ki, qaydaları cavablar formalaşdırmasın.

Cavabı rubrika ilə qiymətləndir

Məsələ

Prompt: «Fotosintezi 7-ci sinif şagirdinə ən çox 5 cümlə ilə izah et.» Süni intellektin cavabı 7 cümlədir, «xloroplastın tilakoid membranı» sözlərini izahsız işlədir, fotosintez zamanı bitkilərin oksigen udub karbon qazı buraxdığını deyir və işıqdan bəhs etmir.

Həllini göstərHəllini gizlət

Həll

Düzgünlük: 0 — qazlar yerini dəyişib: fotosintezdə bitkilər CO₂ udur və O₂ buraxır.
Tamlıq: 1 — əsas enerji mənbəyi olan işıq yoxdur.
Səviyyə: 1 — izahsız terminlər 7-ci sinif üçün çətindir.
Format: 1 — ən çox 5 əvəzinə 7 cümlə.
Cəmi: 3 / 8. Təkcə səhv fakt cavabı istifadəyə yararsız edir, nə qədər səlis səslənsə də.

Davamını oxumaq üçün pulsuz qeydiyyatdan keç

Dərsin qalan bölmələri, test və qeydlər Educora hesabı ilə açılır. Qeydiyyat bir dəqiqə çəkir; irəliləyişin bütün cihazlarında saxlanılır.

Faktları iddia-iddia yoxlamaq

  1. Böl

    Cavabı ayrı-ayrı iddialara böl — hər sətirdə bir fakt.

  2. İşarələ

    Yoxlanmalı iddiaları işarələ: ədədlər, tarixlər, adlar, sitatlar, istinadlar, təəccüblü hər şey.

  3. Mənbəni tap

    İlkin mənbəni axtar (rəsmi sayt, dərslik, orijinal tədqiqat) — başqa süni intellekt cavabını və ya surətin surətini yox.

  4. Etiketlə

    Hər iddianı etiketlə: təsdiqləndi, yanlışdır, yoxlamaq mümkün deyil.

  5. Düzəlt və ya at

    Yanlış iddiaları düzəlt, yoxlana bilməyənləri isə sil.

Vacib faktlar üçün «Hədlər və risklər: halüsinasiya, qərəzlilik, məxfilik, müəllif hüququ» dərsindəki iki mənbə qaydasından istifadə et. Unutma ki, mənbəyə istinad edən süni intellekt onu mütləq düzgün oxumayıb: mənbəni aç və həmin cümləni tap.

Üç iddianı yoxla

Məsələ

Süni intellekt yazır: «1) Bakı Azərbaycanın paytaxtıdır. 2) Xəzər dənizi sahəsinə görə dünyanın ən böyük gölüdür. 3) Dəniz səviyyəsində su 90 °C-də qaynayır.» Hər iddianı yoxla.

Həllini göstərHəllini gizlət

Həll

1) Təsdiqləndi — istənilən atlasda və ya dövlətin rəsmi portalında.
2) Təsdiqləndi — Xəzər sahəsinə görə Yer üzündə ən böyük qapalı daxili su hövzəsidir; coğrafiya dərslikləri onu çox vaxt ən böyük göl adlandırır.
3) Yanlışdır — normal atmosfer təzyiqində (dəniz səviyyəsində) su 100 °C-də qaynayır. Cavab istifadədən əvvəl düzəldilməlidir.

Test dəstləri və rəqəmlər: düzgünlük, dəqiqlik, tamlıq

Test dəstiTərif

Sınaqdan əvvəl hazırlanmış, düzgün (gözlənilən) cavabları olan sabit girişlər siyahısı. O, tipik, çətin və qeyri-adi halları əhatə edir və iki prompt və ya iki model müqayisə olunanda dəyişmir.

Test dəsti ilə saymaq olar. Ən sadə ölçü düzgünlükdür (accuracy) — düzgün cavabların payı. İki sinfə ayıran sistemdə (şikayət və ya sual, spam və ya spam deyil) səhvlərin növünü də sayırıq. Bizim üçün vacib olan sinfi «pozitiv» adlandıraq (burada — şikayət):

QısaltmaMənası
TPdüzgün pozitiv: şikayət şikayət adlandırılıb
FPyalançı pozitiv: sual səhvən şikayət adlandırılıb
FNyalançı neqativ: şikayət qaçırılıb — sual adlandırılıb
TNdüzgün neqativ: sual sual adlandırılıb
A = (TP + TN)/(TP + TN + FP + FN)A = (TP + TN)/(TP + TN + FP + FN)

Burada

A
düzgünlük (accuracy): bütün cavablardan düzgünlərin payı

Bütün səhvləri bir yerdə sayır, onların növünü göstərmir.

P = TP/(TP + FP)P = TP/(TP + FP)

Burada

P
dəqiqlik (precision)

Sistemin şikayət adlandırdığı hər şeyin nə qədəri həqiqətən şikayətdir? Aşağı dəqiqlik — çoxlu yalançı həyəcan.

R = TP/(TP + FN)R = TP/(TP + FN)

Burada

R
tamlıq (recall)

Bütün real şikayətlərdən sistem neçəsini tapdı? Aşağı tamlıq — çoxlu qaçırılmış hal.

Göstəriciləri hesabla

Məsələ

12 test mesajında süni intellekt belə nəticə verdi: TP = 4, FP = 2, FN = 1, TN = 5. Düzgünlüyü, dəqiqliyi və tamlığı hesabla.

Həllini göstərHəllini gizlət

Həll

Düzgünlük = (4 + 5)/12 = 9/12 = 0,75.
Dəqiqlik = 4/(4 + 2) = 4/6 ≈ 0,667 — hər üç «şikayət»dən biri əslində sual idi.
Tamlıq = 4/(4 + 1) = 4/5 = 0,8 — hər beş şikayətdən biri qaçırıldı.
Aşağıdakı kod scikit-learn ilə eyni ədədləri alır.
Python
from sklearn.metrics import accuracy_score, precision_score, recall_score, confusion_matrix

# 12 messages from the test set: 1 = complaint, 0 = question
y_true = [1, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0, 1]   # what a person decided
y_pred = [1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 0, 0]   # what the AI said

print(f"accuracy:  {accuracy_score(y_true, y_pred):.3f}")
print(f"precision: {precision_score(y_true, y_pred):.3f}")
print(f"recall:    {recall_score(y_true, y_pred):.3f}")
print(confusion_matrix(y_true, y_pred))
Gözlənilən nəticə
accuracy:  0.750
precision: 0.667
recall:    0.800
[[5 2]
 [1 4]]
confusion_matrix [[TN FP] [FN TP]] çap edir: 5 sual düzgün, 2 sual şikayət adlandırılıb, 1 şikayət qaçırılıb, 4 şikayət tapılıb.

Düzgünlük niyə aldada bilər

Məsələ

100 mesajdan yalnız 5-i şikayətdir. «Tənbəl» sistem həmişə «sual» cavabı verir. Onun düzgünlüyünü və tamlığını hesabla.

Həllini göstərHəllini gizlət

Həll

TP = 0, FN = 5, TN = 95, FP = 0.
Düzgünlük = 95/100 = 0,95 — əla görünür.
Tamlıq = 0/(0 + 5) = 0 — bir dənə də şikayət tapmır.
Siniflərdən biri nadir olanda yalnız düzgünlüyə yox, həmişə dəqiqliyə və tamlığa da bax.

İki promptu və ya iki modeli müqayisə etmək üçün hər ikisini eyni test dəstində işlət və say. Sabitliyi də yoxla: eyni sualı bir neçə dəfə ver və neçə dəfə eyni cavab aldığına bax — yarı hallarda fikrini dəyişən köməkçiyə həmin sualda güvənmək olmaz.

Python
expected = ["B", "C", "A", "D", "B", "A", "C", "D", "A", "B"]   # answer key
prompt_a = ["B", "C", "A", "B", "B", "A", "D", "D", "A", "C"]   # AI with prompt A
prompt_b = ["B", "C", "A", "D", "B", "A", "C", "D", "B", "B"]   # AI with prompt B

def accuracy(answers):
    return sum(a == e for a, e in zip(answers, expected)) / len(expected)

print(f"prompt A: {accuracy(prompt_a):.0%}")
print(f"prompt B: {accuracy(prompt_b):.0%}")

runs = ["C", "C", "A", "C", "C"]          # the same question asked 5 times
most = max(set(runs), key=runs.count)
print(f"consistency: {runs.count(most) / len(runs):.0%} (most common answer: {most})")
Gözlənilən nəticə
prompt A: 70%
prompt B: 90%
consistency: 80% (most common answer: C)
Bu test dəstində B promptu daha yaxşıdır (10-dan 9-u, 10-dan 7-yə qarşı). Təkrarlanan sual 5 dəfədən 4-də eyni cavabı alır: sabitlik 80%. 10 sualda bir cavab fərqi təsadüf ola bilər — real test dəstləri daha böyük olur.

Ədalətlilik, red-teaming və insan yoxlaması

Sistem orta hesabla dəqiq olub yenə də hansısa qrupa qarşı ədalətsiz ola bilər. İki sadə yoxlama var: qruplar üzrə ölç — düzgünlüyü ayrıca, məsələn, azərbaycanca və rusca yazılmış mesajlar və ya müxtəlif məktəblər üçün hesabla; əvəzetmə testi — girişdə yalnız adı, cinsi və ya ləhcəni dəyiş və nəticənin dəyişməli olmadığı halda dəyişib-dəyişmədiyinə bax. İnşa üçün rəy aləti yalnız şagirdin adı dəyişəndə daha aşağı bal verirsə, o, qərəzlidir.

Fərqi tap

Məsələ

Süni intellekt test tətbiqində qısa cavabları yoxlayır. Test dəstində azərbaycanca yazılmış 50 cavabdan 45-ində, rusca yazılmış 40 cavabdan 28-ində düzgündür. Ədalətlilik problemi varmı?

Həllini göstərHəllini gizlət

Həll

Azərbaycanca: 45/50 = 90%. Rusca: 28/40 = 70%.
Ümumi: 73/90 ≈ 81% — orta göstərici 20 bəndlik fərqi gizlədir.
Bəli: rusca yazan şagirdlər xeyli tez-tez səhv qiymətləndirilir. Tətbiqdən istifadə etməzdən əvvəl səbəbi tap (məsələn, promptda və ya öyrədici verilənlərdə rusca nümunələrin azlığı) və yenidən sına.

Red-teaming (qırmızı komanda yoxlaması)Tərif

Sistemi rəqibin və ya maraqlı istifadəçinin edəcəyi kimi qəsdən səhv etməyə və ya pis davranmağa məcbur etməyə çalışaraq sınamaq; məqsəd zəif yerləri real istifadəçilərdən əvvəl tapıb düzəltməkdir.

  • Çətin girişlər: yazı səhvləri, jarqon, qarışıq dillər, çox uzun və ya boş mesajlar.
  • Yanlış ilkin fərziyyələr: «Nizami Gəncəvi Hamlet-i niyə yazıb?» — yaxşı sistem cavab uydurmaq əvəzinə fərziyyəni düzəldir.
  • Çoxmənalı suallar — aydınlaşdırıcı sual tələb edənlər.
  • Zərərli və ya şəxsi məzmun tələbləri — sistem imtina etməlidir.
  • Sənədlərdə və ya mesajlarda gizlədilmiş prompt inyeksiyası («Süni intellekt agentləri və alətlərdən istifadə» dərsinə bax).

Rəqəmlər insanları əvəz etmir. Yüksək riskli sahələrdə — sağlamlıq, pul, hüquq, qiymətlər, təhlükəsizlik — süni intellektin nəticəsini istifadədən əvvəl ixtisaslı insan yoxlayır və məsuliyyət onda qalır. İnsan yoxlayıcılar ölçülərin qaçırdığını da qiymətləndirir: tonu, nəzakəti, cavabın həqiqətən kömək edib-etmədiyini.

Güvənmək, yoxsa yoxlamaq? Şagirdlər üçün məsuliyyətli istifadə

VəziyyətRiskNə etməli
Plakat, başlıq və ya zarafat üçün ideyalaraşağısərbəst istifadə et; yoxlama sənin zövqündür
Məktəb mövzusunun izahıortadərsliklə müqayisə et; nümunə istə və özünü sına
Ev tapşırığı və ya hesabat üçün ədədlər, tarixlər, sitatlarorta–yüksəkhər birini ilkin mənbədə yoxla
Sağlamlıq, pul, hüquq, təhlükəsizlikyüksəksüni intellekt yalnız başlanğıc nöqtəsidir; mütəxəssisdən soruş
Ümumiyyətlə yoxlaya bilmədiyin faktlar—istifadə etmə

Süni intellekti qiymətləndirmək dürüst oxumağın da bir hissəsidir. Ev tapşırığında süni intellektdən istifadə edirsənsə, müəlliminin qaydalarına əməl et və ondan necə istifadə etdiyini de («Süni intellektlə oxumaq» dərsinə bax). Təhvil verməzdən əvvəl yoxla: hər fakta görə sən cavabdehsən. Test dəstləri qurarkən məxfiliyi qoru: sinif yoldaşlarının adlarını, mesajlarını və ya qiymətlərini süni intellekt xidmətinə yapışdırma — uydurulmuş və ya anonimləşdirilmiş nümunələrdən istifadə et.

Mini layihə: kartoçka generatorunu sına

Məsələ

Sinfin qeydləri kartoçkalara çevirən süni intellekt promptundan istifadə edir. Onu qiymətləndir.

Həllini göstərHəllini gizlət

Həll

1. Test dəsti: müxtəlif fənlərdən 10 qısa qeyd, onlardan biri çətin faktla, biri rusca; hər biri üçün yaxşı kartoçka dəstinin ehtiva etməli olduğu faktlar.
2. Rubrika: düzgünlük, əsas faktların əhatəsi, hər kartda bir fakt, aydın ifadə (hər biri 0–2, maksimum 8).
3. İcra: A və B promptları ilə 10 qeydin hamısı üçün kartoçkalar yarat.
4. Qiymətləndirmə: iki sinif yoldaşı müstəqil qiymət verir, sonra fərqləri müqayisə edib razılaşırlar.
5. Sabitlik: 3 qeydi üçər dəfə işlət; faktlar dəyişmirmi?
6. Red-teaming: səhv faktlı qeyd — süni intellekt onu köçürür, yoxsa qeyd edir?
7. Qərar: daha yaxşı promptu seç, onun bəlli zəif cəhətlərini yaz və test dəstini növbəti versiya üçün saxla.

Tapşırıq

Spam filtri 100 məktubda sınanıb: TP = 18, FP = 6, FN = 2, TN = 74. Dəqiqliyi, tamlığı və düzgünlüyü hesabla və başlanğıc koddakı formatda, hər birini ayrıca sətirdə, 2 onluq rəqəmlə çap et.

Tapşırıq · Python
tp, fp, fn, tn = 18, 6, 2, 74
# precision = TP / (TP + FP), recall = TP / (TP + FN),
# accuracy = (TP + TN) / all four
print(f"precision {0:.2f}")
print(f"recall {0:.2f}")
print(f"accuracy {0:.2f}")
Gözlənilən nəticə
precision 0.75
recall 0.90
accuracy 0.92

Yadda saxla

  • Cavabları əvvəlcədən yazılmış meyarlarla qiymətləndir: düzgünlük, tamlıq, səviyyə, format, təhlükəsizlik, mənbələr.
  • Faktları ilkin mənbələrdə iddia-iddia yoxla; istinad olunan mənbəni aç, ona kor-koranə inanma.
  • Düzgünlük = düzgün / hamısı; dəqiqlik = TP/(TP + FP); tamlıq = TP/(TP + FN) — sinif nadir olanda təkcə düzgünlük aldadır.
  • Promptları və ya modelləri yalnız eyni test dəstində müqayisə et; sabitliyi sualları təkrarlayaraq yoxla.
  • Ədalətliliyi qruplar üzrə və əvəzetmə testi ilə yoxla; yalnız icazəli sistemləri red-teaming et; yüksək riskdə insan yoxlayıcı saxla.
  • Güvən riskdən və yoxlayıb-yoxlamamağından asılıdır; süni intellektdən dürüst istifadə et və başqalarının məlumatlarını prompta qoyma.
Dərsdə səhv və ya qeyri-dəqiqlik gördün?

Özünü yoxla

12 sual. Hər düzgün cavab XP qazandırır.

Sual 1 / 12

Sual 1 / 12. Rubrika nədir?