Nega Anthropic tadqiqotchilari ketyapti
Yigirma yetti yoshli pretraining tadqiqotchisi bu hafta Anthropic'dan ketdi va soha 'bizning hayotimiz bilan qimor o'ynayapti' dedi. U bu yildagi ikkinchi yirik ketish. Bu naqsh nimani ko'rsatadi — va nimani ko'rsatmaydi.
Sakkizinchi sentyabr kuni Jacob Coxon Wall Street Journal'ga Anthropic'dan ketayotganini — va umuman sohani tark etayotganini — aytdi. U yigirma yetti yoshda. So'nggi uch yilni pretraining tadqiqotiga bag'ishlagan: avval OpenAI'da, keyin Anthropic'da. X'dagi iste'fo xabari qisqa va aniq edi: ikkala kompaniya ham mas'uliyatli ish tutmayapti, ikkalasi ham o'z-o'zini takomillashtiruvchi superintellekt tomon poyga qilyapti va bizning hayotimiz bilan qimor o'ynayapti.
Buni "navbatdagi AI'dan qo'rqqan odam ketdi" degan javonga qo'yib qo'yish oson. Menimcha, bunday o'qish eng qiziq joyini o'tkazib yuboradi. Qiziq joyi — ogohlantirishning o'zi emas. Kim aytayotgani va to'xtaganda nima qurayotgani.
Pretraining — bu xavfsizlik jamoasi emas
AI haqidagi ommaviy tanqidning ko'p qismi bino tashqarisidan keladi: akademiklar, jurnalistlar, siyosat odamlaridan yoki butun vazifasi ovoz chiqarib xavotirlanish bo'lgan xavfsizlik jamoalaridan. Coxon bularning hech biri emas edi. U pretraining ustida ishlagan.
Pretraining — bu modelni ulkan matn massivida noldan o'qitish bosqichi. Bu frontier model qurishdagi eng qimmat, eng ko'p hisoblash quvvati talab qiladigan va eng asosiy qism. Undan keyingi hamma narsa — fine-tuning, alignment, siz bilan gaplashadigan tayyor mahsulot — pretraining allaqachon yaratib bergan narsani shakllantiradi, xolos. Agar siz pretraining ustida ishlasangiz, siz kompaniya yadrosining yonida emassiz. Siz yadroning o'zisiz.
Shuning uchun bu iste'fo tashqi tanqidchining hujumidan boshqacha eshitiladi. Tanqidchi tizim haqida tashqaridan turib fikr yuritadi. Coxon esa siklning ichida turib, ichki raqamlarga kirish huquqi bilan fikr yuritdi va keyingi iteratsiya ostida o'z ismi turishini istamadi.
U aslida nima deyapti
Uning qo'rquvini aniq aytish kerak, chunki sarlavhalar buni yassilab yuboradi.
Coxon WSJ'ga aytishicha, biz eng agressiv stsenariylar yo'lidamiz va keyingi yil oxiriga borib vaziyat allaqachon nazoratdan chiqishi mumkin. "Nazoratdan chiqish" deganda u shuni nazarda tutadi: deyarli istalgan kompyuter tizimini buzib kira oladigan, juda qisqa vaqt ichida butun sohalarni o'zgartira oladigan va real dunyoda resurs hamda ta'sir to'play boshlaydigan tizim.
Bu yerdagi asosiy og'irlikni ko'taruvchi ibora — o'z-o'zini takomillashtirish. Bugun har bir model avlodini odamlar loyihalaydi. Xavotir esa shunda: model keyingi modelni yaratadigan tadqiqotda haqiqatan ham kuchli bo'lib qolsa nima bo'ladi. O'sha nuqtada sikl yopiladi — har bir avlod keyingisiga ketadigan vaqtni qisqartiradi va boshqarishi kerak bo'lgan odamlar o'z jarayonidagi eng sekin bo'g'inga aylanadi. Buning tashvishli bo'lishi uchun ong yoki yovuz niyat haqidagi ilmiy-fantastik taxminlar kerak emas. Faqat siklning uni tekshirayotgan institutlardan tez bo'lishi kifoya.
Shu joyda ehtiyot bo'lishim kerak, chunki odatda xabar shu yerda xabar bo'lishdan to'xtaydi. Muddat — bu prognoz, fakt emas. "Keyingi yil oxirigacha" degani bitta tadqiqotchining bashorati. Bu sohaning butun tarixi davomida aqlli va yaxshi joylashgan odamlarning prognozlari ikki tomonga ham xato chiqqan. Tekshirilgani: u ikkala laboratoriyada pretraining ustida ishlagan, iste'foga chiqqan va bu so'zlarni ochiq aytgan. Tekshirilmagani: uning haqligi.
Ikkinchi nuqta
Mana shu yerda bu bitta odamning hikoyasi bo'lishdan to'xtaydi.
Shu yilning fevral oyida Mrinank Sharma Anthropic'ning Safeguards tadqiqot jamoasi rahbari lavozimidan ketdi. Uning iste'fo xatida "dunyo xavf ostida" deyilgandi — faqat AI'dan emas, deb yozgandi u, balki bir vaqtning o'zida kechayotgan o'zaro bog'liq inqirozlar to'plamidan. U yana aniqroq va muhandis uchun tanish bir narsani aytdi: xavfsizlik jamoasi doimo eng muhim narsalarni chetga surib qo'yish bosimi ostida ishlagan. Xat X'da bir million ko'rishga yaqinlashdi.
Ya'ni yetti oy ichida Anthropic xavfsizlik tadqiqot jamoasi rahbarini ham, yadro pretraining tadqiqotchisini ham yo'qotdi. Turli lavozim, turli dalil, bitta umumiy tuzilma: ikkalasi ham kompaniyani yovuz demadi. Ikkalasi ham poyga sur'ati mas'uliyat sur'atidan tez ekanini aytdi.
Bu farq muhim. "Bu kompaniya yomon" — bu niyat haqidagi da'vo va u odatda noto'g'ri chiqadi. "Bu tashkilotning rag'batlari o'zini tekshirish qobiliyatidan tez harakatlanyapti" — bu tuzilma haqidagi da'vo. Tuzilma haqidagi da'volarni jiddiy olish kerak, chunki ular hech kimning yovuz bo'lishini talab qilmaydi.
Nega vaqti tasodif emas
Anthropic IPO oldidagi bosqichda. Shu bitta fakt yuqoridagi hamma narsani boshqacha ko'rsatadi.
Ochiq bozorga chiqish degani — tashqi investorlar, choraklik kutilmalar va tezroq chiqarish hamda ko'proq daromad olish bo'yicha doimiy bosim. Anthropic'ning butun brendi — tashkil topish hikoyasi, ommaviy pozitsiyasi, bosh direktorining sohani sekinlashtirishga majburlaydigan tartibga solish haqidagi takroriy chaqiriqlari — xavfsizlikni birinchi qo'yadigan laboratoriya bo'lishga qurilgan. IPO'dan bir necha oy oldin ikkita ichki odamning aynan shu hikoyani ochiq shubha ostiga qo'yishi texnik muammo emas. Bu ishonch muammosi, ishonch esa xavfsizlik brendining asosiy mulki.
Buning boshqa o'qilishi ham bor: ketishlar — tizimning ishlayotgani. Haqiqiy e'tirozi bor odamlar baland ovozda, ochiq, buni qilish erkinligi bo'lgan mamlakatda ketyapti. Bu jimgina yo'qolishdan ancha yaxshi. Lekin bu shuni ham bildiradi: e'tirozni ichkaridan turib hal qilib bo'lmagan. O'ylab ko'rishga arziydigan joyi shu.
Bu dasturchi uchun nima degani
Siz frontier model o'qitmayapsiz. Men ham. Baribir bu yerdan bizga o'tadigan narsa bor.
Sharma tasvirlagan naqsh — ehtiyotkorlik uchun javobgar jamoa doimo eng muhim narsani chetga surish bosimi ostida ishlashi — ekzotik narsa emas. Bu dasturiy ta'minotdagi eng oddiy buzilish rejimi. Bu relizdan oldin oddiy belgiga aylanadigan xavfsizlik tekshiruvi. Bu chorak tugayotgani uchun siqib yuborilgan migratsiya rejasi. Bu tuzatilish o'rniga "flaky" deb belgilanadigan test. Masshtab bir necha tartibga farq qiladi; mexanizm bir xil. Tezlik rahbariyatga ko'rinadi, ehtiyotkorlik esa ko'rinmaydi — shuning uchun birinchi bo'lib ehtiyotkorlik almashtiriladi, jimgina, hech kim qaror qabul qilmasdan.
Bizga tegishli amaliy qismi: o'zingizning "relizdan keyin hal qilamiz" ro'yxatingiz qisqarishdan to'xtaganini payqang. O'sha ro'yxat — bu o'lchov. Agar u faqat o'sib borsa, tashkilotingiz tezlik va ehtiyotkorlik o'rtasidagi murosani allaqachon hal qilgan — shunchaki buni ovoz chiqarib aytmagan.
Nimani ehtiyotkorlik bilan ushlash kerak
Ikki narsa.
Birinchisi: iste'fo ogohlantirishlari endi alohida janrga aylandi, janr esa namoyishni jalb qiladi. Bu Coxon yoki Sharma haqida ayblov emas — buning asosi menda yo'q — lekin X'da aytilgan va WSJ intervyusi bilan kuchaytirilgan ogohlantirish auditoriyasi bor xabar, auditoriya esa xabarni shakllantiradi. Buni ilmiy natija emas, guvohlik sifatida o'qing.
Ikkinchisi: ichkaridagi odam avtomatik ravishda haq emas. Tizimga yaqin bo'lish uning qanday ishlashini bildiradi; bu sizni u qayoqqa ketishini yaxshi bashorat qiluvchi qilmaydi. Texnologiyadagi eng noaniq bashoratlarning ba'zilari eng yaxshi o'rindagi odamlardan chiqqan.
Men qat'iy ushlab turadigan xulosa torroq: Anthropic'ning yadro ishiga bevosita kirish huquqi bo'lgan ikki odam yetti oy ichida ketdi, ikkalasi ham sabab qilib xavfsizlikdan ustun turgan sur'atni ko'rsatdi, ulardan biri esa aynan xavfsizlik uchun javobgar jamoadan edi. Bu hech narsaning isboti emas. Bu signal, ichkaridan kelgan signal esa tashqaridan kelgan fikrdan qimmatroq.
Manbalar: Wall Street Journal (Free Press Journal orqali), TradingKey, Forbes, Semafor.
