勤め先のグループで、ここ一年間SNLI(Stanford Natural Language Inference)というタスクに取り組もうということになっていた。どういう手法でタスクに取り組もうかと調べていたときに、最近発表されたBERTモデルがその元となったTransformerというモデルのM…

Kerasで自作レイヤーを作るときには、最低限build, call, compute_output_shapeの3つのメソッドを定義していればよいとある。 例えば、コンストラクタに、以下のような定義をしてあるPFNNという自作レイヤーを作ったときに、 def __init__(self, ff_dim, **k…