ローカルLLMを事前学習で1から開発してるんですけど
LLMのハイパーパラメータの調整についての認識で以下の通りで合ってるでしょうか?
(ニューラルネットワークのTransformer使ってます、ちなみに現代のほとんどのLLMはTransformerでできてます…)

埋め込み次元を増やすと 単語の意味を様々な観点で認識できる=単語の意味を細かく考慮できる=単語の意味がより正確になる
Attentionの隠れ次元を増やすと 処理できる文脈の情報を細分化できる=考慮できる文脈の情報を細分化できる
Attentionのヘッド数(num_attention_heads)を増やすと 同時に処理できる文脈の情報が増える=考慮できる文脈の情報を多角化できる
レイヤー数を増やすと より深く考えれるようになる

情報源少ないしこれもうわかんねぇな
パーン☆ってなりましたね(自分の)頭が
1 1 0
@PYU224 への返信
玉も竿もデケェな(褒めて伸ばす) 
身体に気をつけて無理だけはしないでくれよな〜
1 0 1
PYU224 @PYU224 · 8ヶ月前
やっと野獣動画2ndの移転が終わりました・・・
Peertubeは公式ドキュメントと実際やるべき事が異なる所をどうにかすべきです。
6 0 1
検便☆ @kennbenn · 8ヶ月前
エロい
3 0 0
おはヴォー・・・
野獣大百科の編集権付与は荒らし除けが難しいのでもうないんですかね・・・?
3 0 0
shiminn @shiminn · 8ヶ月前
メッセージ機能なんてたまげたなぁ
2 0 0
PYU224 @PYU224 · 8ヶ月前
@yp3klknl への返信
移転先のホスティング会社のCEOがサーバのプランを提示してきて、そのサーバの価格(月々の価格が今のホスティング会社のプランの2/3)と性能(今のより性能と回線速度が良い)で移転を決めました。
0 0 1
PYU先生、野獣動画2ndに
「7/16の0時にこのインスタンスを別のホスティング会社のVPSに移転予定です。」
と書いてありますが何故移転するのしょうか? 規約違反?それとも性能不足?
0 0 1
PYU224 @PYU224 · 8ヶ月前
初代野獣動画の管理人は何者だったんでしょうね・・・
5 0 0
PYU224 @PYU224 · 8ヶ月前
@yp3klknl への返信
少なくとも私と初代の方は全くの別人です。
0 0 0
検便☆ @kennbenn · 8ヶ月前
エロい
3 0 0
淫夢!恒心教!花騎士!クッキー☆!
ホモ・宗教・ノンケの全てを合わせた、多文化動画投稿サイト?である野獣動画2nd/ヤジュヤジュ動画の発展を祈る。
そういえばニコニコサイバー攻撃時に初代野獣動画があったらしいですが転送量で閉鎖してましたねぇ
初代野獣動画の管理人は多分だけどPYU氏ともインド先輩先生とも別人?
5 0 1
PYU224 @PYU224 · 8ヶ月前
@deryu への返信
野獣動画側でセンシティブ設定をかけましたが、ヤジュヤジュ動画側は今の所どうしようもないですね・・・
1 0 0
出龍 @deryu · 8ヶ月前
今のヤジュヤジュ動画、ウンコと拓哉のアワビだらけでグロすぎる
3 0 1
検便☆ @kennbenn · 8ヶ月前
エロい
3 0 0
出龍 @deryu · 8ヶ月前
@deryu への返信
そこそこフォロワー数多い教徒でも次々にポアされまくってるから実質宗教弾圧だろこれ
宗教弾圧をするXとイーロンを許すな
3 0 1
@morokan への返信
あっ、そっかぁ(無知)…知りませんでした、当職無能
0 0 0
尊師MMDの紳士MMD(尊士MMD・紳師MMD)見ない?ニコニコにあったしヤジュヤジュに転載したからさ
ニコニコ→https://nico.ms/sm26498316
ヤジュヤジュ→https://yajuvideo.in/watch/b6a53a9c-88fe47c6-bfc8e419-49c84ffd
1 0 0
@yp3klknl への返信
DDGの画像プロキシですね
画像検索の表示結果は全部↓で置換されてます
https://external-content.duckduckgo.com/iu/?u=${URL}

IP隠しとセーフサーチ用のやつ
1 0 1
ヤジュッターへようこそ

ヤジュッターはホモの言論の自由を守るために作られたSNSです。利用規約に反しない限り何を言っても構いません。

ログイン 新規登録