https://www.aclweb.org/anthology/2021.eacl-main.92/
์ด๋ค ๋๋ฉ์ธ์ ๋ํด์ ๋ฌธ์๋ง ๋ฉ๊ทธ๋ฌ๋ ์์ ๋, ์ผ๋ฐ์ ์ธ ๋๋ฉ์ธ์์ ํ๋ จ๋ ๋ฌธ์ -> ์ง๋ฌธ์ ๋ง๋๋ ๋ชจ๋ธ์ ์ด์ฉํด์ syntheticํ <๋ฌธ์, ์ง๋ฌธ>์ pair๋ฅผ ๋ง๋ค ์ ์๋ค. ์ด๊ฑธ ๊ฐ์ง๊ณ siamese BERT๋ฅผ ํ๋ จํ๋ฉด ์ข์ ํ์ง์ ์๋ฒ ๋ฉ์ ์ป์ ์ ์๋ค. supervised ํธ๋ ์ด๋์ ์ํ ๋ฐ์ดํฐ๊ฐ ์กด์ฌํ๋ ๋ฐ์ดํฐ์ ์ ๋ํด์ ์ ๊ณผ์ ์ ๊ฑฐ์น ์๋ฒ ๋ฉ๊ณผ BM25๋ฅผ concatํ ๋ฒกํฐ๋ฅผ ๊ฐ์ง๊ณ nearest neighbor ๊ฒ์๋ง ํด๋, BM25 + supervised ํธ๋ ์ด๋์ ๊ฑฐ์น ๋ชจ๋ธ์ ํฉ๋งํผ ์ฑ๋ฅ์ด ๋์จ๋ค.
๋ก์ค ํจ์๋ Batch Loss๋ผ๊ณ , batchํ๋์ Q, P+, (P-, P-, P-..) ์์ผ๋ก ๊ด๋ จ์๋ Passage ํ๋, ๋๋จธ์ง๋ ๊ด๋ จ์๋ Passage๋ก ์ฑ์ฐ๊ณ loss๋ฅผ ๊ณ์ฐํ์ จ๋ค๊ณ ํ์ จ๋ค. Q๋ P+๋ ๋ฐ์ดํฐ์ ์ ์๋ค๊ณ ์น๋ฉด P-๋ ์ด๋์ ๊ฐ์ ธ์์ผํ๋? in-batch negative ๋ฅผ ์ฌ์ฉํ๋ค๊ณ ํ์ จ๋ค. ๋ฉ์ฒญํ๊ฒ in-batch negatvie๋ฅผ ๋ณผ ์๊ฐ์ ์ํ๊ณ ๋ค๋ฅธ๊ฑฐ ๋ถํฐ ์ฐพ์๋ค -_-
in-batch negative๋ผ๊ณ ๋ง๋งํ๊ณ ์ ๋์ด๊ฐ๋ ํ๋๋ ์ด๊ฑธ ์ฒ์ ์๊ฐํ ๋ ผ๋ฌธ์ ์ค๋ช ์ด ์ ๋์์ด์ ์ ํ ๊ฒ์ด๋ค. https://github.com/facebookresearch/DPR/blob/master/train_dense_encoder.py#L646 ์ฌ๊ธฐ๋ถํฐ ๋ณด๋ฉด ๋๋ค (์ฌ์ค ๋ณดํต ์ฌ๋๋ค์ DPR์ ๋ณด๊ณ ์ด ๋ ผ๋ฌธ์ ๋ดค์ํ ๋ ๋น์ฐํ ๊ฒ)
D -> Q๊ฐ ์๋๋ค๋ ์ ์ ํ์์ ์ด๊ฒ ๊ฐ๋ฅํ๊ฑฐ๊ณ , ๊ทธ๋ด๋ ค๋ฉด ์ด๋์ ๋ ํ๋ฆฌํฐ์๋ (Q, D) ํ์ด๊ฐ ๋ง์์ผ ํ๋๋ฐ ์ผ๋ง๋ ๋ง์ด ์์ฌ ์๋์ง ๋ชจ๋ฅด๊ฒ ๋ค. KLUE ๊ฐ์๊ฒ ์ ๊ณ์ ์ ๋ง ํฐ ๊ธฐ์ฌ ๊ฐ๋ค.