Dowerinne's blog

只是一个记录个人学习笔记，作为存档的地方。

Transformer和多头注意力机制

多头自注意力机制与Transformer2024.12.06整理 自注意力机制（计算过程见：https://zhuanlan.zhihu.com/p/338817680 3.2节与3.3节）有$M$个特征（或者单词） （又叫seq_len: 句子长度,即单词数量） 每个单词用一个$d$维向量表示，记作矩阵X_{M*d}，矩阵有$M$行，每行对应一个特征/单词，每行是$d$维。 Self-......

Posted by Dowerinne on 2024-12-10

博客搭建记录_20241208

2024.12.08下午，终于决定建个博客，12.09初步弄好了。 2024.12.08 博客搭建记录整理方案：github pages + hexo 步骤：0.Github上新建用户名.github.io仓库 1.安装Git，生成SSH，添加到Github的SSH keys 2.安装node.js和npm 2.5 修改npm资源获取地址 1npm config set registry h......

Posted by Dowerinne on 2024-12-09

hello-blog

2024.12.09 test 2024.02.05 Test，重新安装了Node.js，npm和hexo，F:\myBlog_241208文件夹原封不动，看是否能行。 ...

Posted by Dowerinne on 2024-12-09

SEARCH
FEATURED TAGS
ABOUT ME

Welcome to visit, I'm Dusign!

VISITORS
Viewed Times
Visitors In Total
RECENT POSTS
FRIENDS
ARCHIVES