これ教えてくれる人居ないんですけど…こ↑こ↓にわかる人居ない?
AI拓也の為に居たら教えてくれよな～頼むよ～
そもそもいるのか?
(Qiitaとかzennで見てますけどあんまわから)ないです
あと東大生の団体?が海外の技術者の解説動画を翻訳した動画(許可はとっている)を見てます
https://youtube.com/@3Blue1BrownJapan
AI拓也の為に居たら教えてくれよな～頼むよ～
そもそもいるのか?
(Qiitaとかzennで見てますけどあんまわから)ないです
あと東大生の団体?が海外の技術者の解説動画を翻訳した動画(許可はとっている)を見てます
https://youtube.com/@3Blue1BrownJapan
モロホスト厨
@yp3klknl
·
4日前
ローカルLLMを事前学習で1から開発してるんですけど
LLMのハイパーパラメータの調整についての認識で以下の通りで合ってるでしょうか?
(ニューラルネットワークのTransformer使ってます、ちなみに現代のほとんどのLLMはTransformerでできてます…)
埋め込み次元を増やすと 単語の意味を様々な観点で認識できる=単語の意味を細かく考慮できる=単語の意味がより正確になる
Attentionの隠れ次元を増やすと 処理できる文脈の情報を細分化できる=考慮できる文脈の情報を細分化できる
Attentionのヘッド数(num_attention_heads)を増やすと 同時に処理できる文脈の情報が増える=考慮できる文脈の情報を多角化できる
レイヤー数を増やすと より深く考えれるようになる
情報源少ないしこれもうわかんねぇな
パーン☆ってなりましたね(自分の)頭が