FlashAttentionを頑張ってPyOpenCLで自力で実装してる
論文頑張って理解しようとしてるけど、分からないところはギフハブのコードを参考にしてる
論文　https://arxiv.org/pdf/2205.14135
参考コード　https://github.com/kilianhae/FlashAttention.C/blob/main/test.cu
論文英語だから読めないのだが、アルゴリズムの部分は読める読める
プログラムでいつも使う英単語だからかなぁ…簡単で短い英語でもあるし…
ヤジュミエール現象みたいな感じですかね…