Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation

https://www.aclweb.org/anthology/2021.eacl-main.92/

짧은 버전

어떤 도메인에 대해서 문서만 덩그러니 있을 때, 일반적인 도메인에서 훈련된 문서 -> 질문을 만드는 모델을 이용해서 synthetic한 <문서, 질문>의 pair를 만들 수 있다. 이걸 가지고 siamese BERT를 훈련하면 좋은 품질의 임베딩을 얻을 수 있다. supervised 트레이닝을 위한 데이터가 존재하는 데이터셋에 대해서 위 과정을 거친 임베딩과 BM25를 concat한 벡터를 가지고 nearest neighbor 검색만 해도, BM25 + supervised 트레이닝을 거친 모델을 합만큼 성능이 나온다.

잘 몰랐던 것

로스 함수는 Batch Loss라고, batch하나에 Q, P+, (P-, P-, P-..) 식으로 관련있는 Passage 하나, 나머지는 관련없는 Passage로 채우고 loss를 계산하셨다고 하셨다. Q랑 P+는 데이터셋에 있다고 치면 P-는 어디서 가져와야하나? in-batch negative 를 사용한다고 하셨다. 멍청하게 in-batch negatvie를 볼 생각은 안하고 다른거 부터 찾았다 -_-

1. 라벨 같은게 따로 없으면 그냥 랜덤샘플링 https://github.com/awslabs/neural-retrieval/blob/main/data/data.py#L156
2. 라벨이 있으면 다른 라벨에서 extract하기 https://www.kaggle.com/xhlulu/shopee-generate-data-for-triplet-loss

in-batch negative라고 말만하고 왜 넘어가나 했더니 이걸 처음 소개한 논문에 설명이 잘 되있어서 안 한 것이다. https://github.com/facebookresearch/DPR/blob/master/train_dense_encoder.py#L646 여기부터 보면 된다 (사실 보통 사람들은 DPR을 보고 이 논문을 봤을테니 당연한 것)

한국어에서?

D -> Q가 잘된다는 전제 하에서 이게 가능한거고, 그럴려면 어느정도 퀄리티있는 (Q, D) 페어가 많아야 하는데 얼마나 많이 쌓여 있는지 모르겠다. KLUE 같은게 업계에 정말 큰 기여 같다.