Badania i rozwój
Wspólne wyszukiwanie dokumentów
Projekt obejmujący przetwarzanie dokumentów, wyszukiwanie wektorowe, ponowne szeregowanie, API i ewaluację.
Problem
Przydatne odpowiedzi wymagają więcej niż przechowywania fragmentów tekstu. System musiał zachować strukturę dokumentów, znaleźć istotne fragmenty i uszeregować je do dalszego użycia.
Moja rola
Wnosiłem wkład w cały projekt. Współpraca nie oznacza, że każdy komponent zbudowałem samodzielnie.
Podejście
System łączył przetwarzanie dokumentów, wyszukiwanie wektorowe, ponowne szeregowanie, dostęp przez API i ewaluację.
Jak powstawał projekt
Jakość wyszukiwania zależy od pracy wykonanej przed przekazaniem pytania modelowi językowemu. Dokumenty trzeba przetworzyć w użytecznej strukturze, a następnie znaleźć, uszeregować i udostępnić fragmenty przez API. Projekt łączył hierarchiczne przetwarzanie, wyszukiwanie wektorowe, ponowne szeregowanie przez cross-encoder oraz ewaluację. Pracowałem nad tymi obszarami z zespołem. Opis skupia się na całym procesie i moim przekrojowym wkładzie, bez przypisywania mi autorstwa każdej części repozytorium.
Co udostępniam
Nie udostępniam kodu, danych, nazwy produktu, organizacji ani zmierzonych wyników.