knowhow.wormhole.work
knowhow
把弄懂的東西寫清楚。一次一個題目。
Notes on things worth understanding properly — one topic at a time.
Notes
-
Autoregressive Generation
一次只吐一個字—為什麼每多一個字，整顆模型就得再跑一次，以及那件事怎麼變成你的帳單。
One token at a time, and why every extra word costs another full pass.
-
Sparse MoE
只叫醒兩位專家—為什麼一顆巨大的模型，大部分時候都在睡覺，以及那讓記憶體和算力分了家。
Wake only two experts, and why that splits memory apart from compute.
-
Quasi-Direct Drive
幾乎不用齒輪的馬達—為什麼機器人的關節開始拿掉減速箱，以及那讓電線變成了觸覺。
A motor that barely uses gears, and why that turns the wires into a sense of touch.
Guides