Tổng quan

Trong lĩnh vực thương mại điện tử, hệ thống tìm kiếm sản phẩm đóng vai trò then chốt trong việc kết nối khách hàng với sản phẩm phù hợp. Tuy nhiên, thực tế cho thấy đa số người dùng thường nhập các truy vấn ngắn, thiếu ngữ cảnh hoặc không đầy đủ thông tin, khiến hệ thống khó hiểu đúng ý định của người dùng [11, 15]. Điều này dẫn đến kết quả truy xuất không chính xác, ảnh hưởng trực tiếp đến trải nghiệm người dùng và tỷ lệ chuyển đổi kinh doanh.

Các phương pháp tìm kiếm phổ biến hiện nay bao gồm tìm kiếm theo từ khóa (Keyword Search), tìm kiếm ngữ nghĩa (Semantic Search) và mô hình lai (Hybrid Search). Tìm kiếm từ khóa tuy nhanh và hiệu quả với truy vấn chính xác, nhưng lại dễ thất bại trước các truy vấn biểu
đạt linh hoạt hoặc có từ vựng không khớp với dữ liệu [9]. Tìm kiếm ngữ nghĩa sử dụng vector embedding khắc phục được vấn đề từ vựng nhưng đôi khi thiếu khả năng kiểm soát hoặc thiếu thông tin cụ thể. Vì vậy, nhiều nghiên cứu đã đề xuất tích hợp cả hai trong mô hình lai nhằm kết hợp ưu điểm và giảm nhược điểm của mỗi phương pháp [1].

Gần đây, các mô hình ngôn ngữ lớn (LLM) đã chứng tỏ tiềm năng trong việc tăng cường truy vấn bằng cách diễn giải lại truy vấn ngắn, sinh truy vấn mới giàu thông tin hơn hoặc làm rõ ý định người dùng. Các nghiên cứu của Ye et al. [26], Peng, Li, Jiang, et al. [16] và Dai, Zhu, Hu, et al. [2] đã chứng minh rằng việc sử dụng LLM để viết lại hoặc mở rộng truy vấn có thể cải thiện đáng kể độ chính xác và khả năng truy xuất trong các hệ thống tìm kiếm thương mại điện tử thực tế như Taobao và Amazon.

Cụ thể, Ye et al. [26] sử dụng GPT-3 để viết lại các truy vấn hội thoại trong tìm kiếm đa lượt thành truy vấn độc lập giàu ngữ cảnh hơn, giúp cải thiện hiệu quả tìm kiếm trong môi trường hội thoại. Peng, Li, Jiang, et al. [16] đề xuất khung BEQUE – một hệ thống viết lại truy vấn đuôi dài trong Taobao – sử dụng LLM để thu hẹp khoảng cách ngữ nghĩa giữa truy vấn hiếm gặp và mô tả sản phẩm phổ biến, thông qua huấn luyện nhiều giai đoạn và chiến lược fine-tune theo phản hồi ngoại tuyến. Trong khi đó, Dai, Zhu, Hu, et al. [2] phát triển một mô hình LLM chuyên biệt cho thương mại điện tử bằng cách tiền huấn luyện trên dữ liệu sản phẩm và kết hợp kỹ thuật học tăng cường (Reinforcement Learning) nhằm tối ưu việc rewrite theo mục tiêu truy xuất. Những phương pháp này không chỉ cải thiện chất lượng kết quả truy vấn mà còn được triển khai thực tế, mang lại tác động rõ rệt đến các chỉ số kinh doanh như tỷ lệ chuyển đổi và doanh thu.

Mặc dù các phương pháp trên đã mang lại nhiều cải tiến đáng kể trong việc tăng cường truy vấn bằng LLM, mỗi hướng tiếp cận vẫn tồn tại một số hạn chế nhất định. Ye et al. [26] chủ yếu tập trung vào truy vấn hội thoại, nên khó áp dụng trực tiếp cho các truy vấn rời rạc hoặc mang tính thực thể cao như trong thương mại điện tử. Bên cạnh đó, phương pháp này chưa xét đến yếu tố thương mại như giá, thương hiệu hay đặc điểm kỹ thuật cụ thể của sản phẩm. Với BEQUE, Peng, Li, Jiang, et al. [16] tuy đã triển khai thành công tại Taobao, nhưng mô hình đòi hỏi dữ liệu huấn luyện và fine-tuning quy mô lớn, phụ thuộc nhiều vào phản hồi ngoại tuyến (Offline Feedback), điều này gây khó khăn cho các hệ thống mới hoặc có lượng truy cập thấp. Mặt khác, Dai, Zhu, Hu, et al. [2] sử dụng mô hình LLM được tinh chỉnh riêng cho miền TMĐT, kết hợp học tăng cường, nhưng yêu cầu pipeline huấn luyện phức tạp và chi phí cao; ngoài ra, tính tổng quát của mô hình đối với các miền dữ liệu mới vẫn còn là vấn đề mở.

Trước các hạn chế nêu trên, nghiên cứu này lựa chọn kế thừa và áp dụng một phương pháp đã được đề xuất trước đó — cụ thể là Query2Doc — nhằm tăng cường chất lượng truy vấn đầu vào bằng mô hình ngôn ngữ lớn (LLM). Phương pháp này hoạt động như một lớp tăng cường truy vấn (Query Enhancement Layer) đóng vai trò tiền xử lý, đặt giữa truy vấn của người dùng và hệ thống tìm kiếm hiện có. Lớp này sử dụng LLM để phân tích ngữ nghĩa truy vấn, thực hiện các thao tác như mở rộng từ vựng, diễn giải lại câu mơ hồ hoặc bổ sung thuộc tính ngữ cảnh như mục đích sử dụng, thương hiệu, hoặc phân khúc giá.

Điểm khác biệt của nghiên cứu này là áp dụng phương pháp Query2Doc trong ngữ cảnh thương mại điện tử, với dữ liệu thực tế từ Amazon, thay vì các tập dữ liệu học thuật tổng quát như BEIR. Truy vấn sau khi được tăng cường vẫn giữ nguyên định dạng đầu vào, giúp hệ thống tìm kiếm phía sau hoạt động bình thường mà không cần thay đổi chỉ mục hay kiến trúc. Nhờ vậy, phương pháp có tính khả chuyển cao, dễ tích hợp vào các nền tảng tìm kiếm thương mại điện tử đang hoạt động

Đối tượng nghiên cứu

Đối tượng nghiên cứu của đề tài là truy vấn tìm kiếm trong các hệ thống thương mại điện tử và các phương pháp xử lý truy vấn nhằm cải thiện hiệu quả truy xuất thông tin. Trong đó, trọng tâm là việc áp dụng mô hình ngôn ngữ lớn (LLM) như GPT vào bước tiền xử lý truy vấn để tăng cường khả năng hiểu ngữ nghĩa và ý định tìm kiếm của người dùng.

Ngoài ra, đề tài cũng tập trung nghiên cứu các hệ thống tìm kiếm phổ biến trong thương mại điện tử như Keyword Search, Semantic Search và Hybrid search

Phạm vi nghiên cứu

Phạm vi nghiên cứu của đề tài được giới hạn cụ thể như sau:

• Tập trung vào việc tăng cường truy vấn đầu vào, không can thiệp vào cấu trúc chỉ mục hoặc thuật toán truy xuất của hệ thống tìm kiếm.
• Mô hình LLM được sử dụng như một thành phần trung gian xử lý truy vấn, hoạt động độc lập và không yêu cầu fine-tune thêm.
• Thử nghiệm được thực hiện trên một tập truy vấn giả lập hoặc tập dữ liệu công khai trong lĩnh vực e-commerce.
• Không xem xét các yếu tố cá nhân hóa, lịch sử người dùng hoặc các yếu tố ranking nâng cao ngoài độ liên quan ngữ nghĩa.

Tổng quan hệ thống

Hình 3.2 minh họa kiến trúc tổng thể của hệ thống tìm kiếm ngữ nghĩa được triển khai trong phạm vi nghiên cứu này. Hệ thống bao gồm một chuỗi các thành phần chính, phối hợp với nhau để tiếp nhận truy vấn từ người dùng, xử lý và tăng cường truy vấn, truy xuất các sản phẩm phù hợp từ cơ sở dữ liệu, và trả về kết quả có độ chính xác cao. Mục tiêu của kiến trúc là đảm bảo khả năng mở rộng, hiệu quả tính toán và dễ dàng tích hợp với các hệ thống tìm kiếm thương mại điện tử hiện có.

Trong kiến trúc này, truy vấn người dùng đầu tiên được xử lý bởi lớp tăng cường truy vấn sử dụng mô hình ngôn ngữ lớn (LLM) để diễn giải lại hoặc mở rộng truy vấn ban đầu. Kết quả từ lớp này được chuyển tiếp đến bộ truy xuất để truy vấn vào cơ sở dữ liệu — có thể là chỉ mục đảo (lexical/sparse) hoặc cơ sở dữ liệu vector (dense). Sau khi truy xuất, hệ thống sắp xếp kết quả theo mức độ liên quan và hiển thị chúng cho người dùng.

Mô hình ngôn ngữ lớn

Trong nghiên cứu này, tôi sử dụng mô hình ngôn ngữ lớn mã nguồn mở Qwen2.5-7BInstruct để thực hiện tác vụ tăng cường truy vấn (query rewriting) trong hệ thống tìm kiếm thương mại điện tử. Đây là mô hình do Alibaba Cloud phát triển, được phát hành vào năm 2024, với 7 tỷ tham số và được tối ưu hóa cho các tác vụ theo hướng chỉ dẫn (instruction-following) và hiểu ngôn ngữ tự nhiên. Thực nghiệm được triển khai trên một máy chủ chuyên dụng sử dụng GPU Nvidia V100 16GB.

Qwen2.5-7B-Instruct được huấn luyện trên tập dữ liệu đa dạng, bao gồm văn bản tổng hợp, mã nguồn và các nguồn dữ liệu đa miền. Mô hình thể hiện hiệu suất vượt trội trong các tác vụ như phân tích ngữ nghĩa, tổng quát hóa, suy luận và xử lý đa ngôn ngữ. Kiến trúc của Qwen2.5 hỗ trợ xử lý chuỗi dài hiệu quả, giảm thiểu chi phí suy luận và tối ưu hóa bộ nhớ GPU.

Quá trình suy luận được thực hiện theo hướng zero-shot và few-shot prompting, không cần fine-tune mô hình gốc, từ đó đảm bảo tính đơn giản, linh hoạt và dễ tích hợp vào hệ thống truy hồi hiện có. Mô hình được triển khai thông qua thư viện vLLM, hỗ trợ cơ chế paged attention giúp tăng tốc độ suy luận mà vẫn duy trì hiệu quả tính toán trong môi trường truy vấn đồng thời.

Vector Database

Trong nghiên cứu này, tôi sử dụng Qdrant làm hệ quản trị cơ sở dữ liệu vector phục vụ cho tác vụ tìm kiếm ngữ nghĩa. Qdrant là một vector database hiệu năng cao, mã nguồn mở, hỗ trợ tìm kiếm gần đúng (approximate nearest neighbor – ANN) với các vector có chiều cao, đồng thời cung cấp giao diện API REST và gRPC thuận tiện cho tích hợp hệ thống.

Hệ thống embedding được triển khai sử dụng mô hình all-MiniLM-L6-v2 từ thư viện SentenceTransformers, một mô hình nhỏ gọn nhưng cho kết quả tốt trong nhiều tác vụ truy xuất thông tin. Mỗi truy vấn và văn bản sản phẩm được mã hoá thành vector có chiều 384, sau đó lưu trữ và tìm kiếm trong Qdrant để phục vụ quá trình so khớp ngữ nghĩa.

Để đảm bảo tính di động và khả năng tái sử dụng, Qdrant được triển khai trong môi trường Docker, cho phép khởi chạy nhanh chóng trên nhiều hệ thống khác nhau mà không cần cấu hình phức tạp. Việc sử dụng Docker cũng giúp kiểm soát phiên bản phần mềm và dễ dàng tích hợp vào quy trình thực nghiệm tổng thể.

Hệ thống vector database này giữ vai trò quan trọng trong pipeline truy hồi, đặc biệt trong các phương pháp sử dụng Dense Retrieval hoặc Hybrid Retrieval. Toàn bộ quá trình index và truy vấn vector được thực hiện trên cùng máy chủ với hệ thống LLM để giảm độ trễ truyền dữ liệu và nâng cao hiệu suất.

Nhận xét tổng quan

Qua quá trình thực nghiệm và đánh giá trên cả tập dữ liệu chuẩn ESCI lẫn hệ thống thương mại điện tử mô phỏng, có thể rút ra một số nhận định quan trọng về hiệu quả và tính ứng dụng của lớp tăng cường truy vấn bằng mô hình ngôn ngữ lớn (LLM):

• Lớp tăng cường truy vấn giúp cải thiện khả năng truy xuất tài liệu liên quan, đặc biệt trong các truy vấn ngắn, thiếu ngữ cảnh hoặc không định danh rõ ràng. Trong các phương pháp như BM25, hiệu quả tăng cường thể hiện rõ nhất, với chỉ số Recall@100 tăng đáng kể khi áp dụng LLM.
• Tác động của LLM khác nhau tùy vào phương pháp truy hồi. Với Dense Retrieval, LLM chủ yếu giúp giảm nhiễu và cải thiện chất lượng top kết quả, trong khi với BM25, LLM tăng độ bao phủ và đa dạng của kết quả mà không làm giảm độ chính xác thứ hạng.
• Reciprocal Rank Fusion (RRF) là chiến lược kết hợp hiệu quả, cho phép tận dụng ưu điểm của cả truy hồi lexical và semantic. Khi kết hợp với LLM (dưới dạng một phía), hệ thống vừa đảm bảo chất lượng xếp hạng cao (NDCG), vừa mở rộng được không gian truy xuất (Recall)
• Chi phí thời gian xử lý là yếu tố cần cân nhắc. Việc sử dụng LLM khiến độ trễ tăng lên đáng kể do thời gian sinh truy vấn. Tuy nhiên, với hạ tầng GPU chuyên dụng và trong ngưỡng dưới 1.5 giây, độ trễ vẫn nằm trong phạm vi chấp nhận được cho ứng dụng thực tế.
  Tổng thể, lớp tăng cường truy vấn dựa trên mô hình ngôn ngữ lớn cho thấy tiềm năng đáng kể trong việc nâng cao hiệu quả truy hồi sản phẩm, đặc biệt trong bối cảnh thương mại điện tử nơi người dùng thường nhập truy vấn không rõ ràng. Tuy nhiên, việc tích hợp cần được thực hiện một cách chiến lược, tránh lạm dụng hoặc áp dụng tràn lan cho mọi pipeline — điều này vừa đảm bảo hiệu suất hệ thống, vừa tối ưu hóa chi phí vận hành.

Kết luận

Luận văn này đã khảo sát và đánh giá hiệu quả của việc tích hợp lớp tăng cường truy vấn bằng mô hình ngôn ngữ lớn (LLM) trong hệ thống truy hồi thông tin cho thương mại điện tử.

Thông qua việc sử dụng mô hình Qwen2.5-7B để viết lại truy vấn, kết hợp với ba phương pháp truy hồi phổ biến — BM25, Dense Retrieval và Hybrid Retrieval — hệ thống đã cho thấy nhiều điểm cải tiến đáng kể.

Các thực nghiệm trên tập dữ liệu ESCI với 1000 truy vấn đã chứng minh rằng phương pháp kết hợp giữa Dense Retrieval và BM25 thông qua kỹ thuật Reciprocal Rank Fusion (RRF) mang lại kết quả truy hồi tốt nhất. Đồng thời, lớp tăng cường LLM đã cải thiện chỉ số Recall@100 ở một số cấu hình, đặc biệt là trong Hybrid Retrieval, qua đó khẳng định tiềm năng của việc sử dụng LLM như một bước tiền xử lý linh hoạt và hiệu quả.

Trang thương mại điện tử mẫu được xây dựng trong nghiên cứu cũng đã thể hiện khả năng ứng dụng thực tiễn của mô hình truy hồi tăng cường truy vấn. Kết quả cho thấy người dùng có thể truy xuất thông tin sát với mục tiêu tìm kiếm hơn, ngay cả khi truy vấn ban đầu không rõ ràng hoặc thiếu tính định danh. Tuy nhiên, việc tích hợp LLM cũng làm tăng đáng kể độ trễ hệ thống, điều này đòi hỏi phải cân nhắc khi triển khai thực tế trong các môi trường yêu cầu hiệu năng thời gian thực.

Hướng phát triển

Dựa trên những kết quả đạt được, luận văn đề xuất một số hướng phát triển tiếp theo:

• Tối ưu hoá thời gian phản hồi của LLM: Việc sinh truy vấn thông qua LLM hiện chiếm phần lớn độ trễ hệ thống. Trong tương lai, có thể áp dụng các kỹ thuật rút gọn mô hình (distillation, quantization) hoặc sử dụng các LLM nhẹ hơn như TinyLLaMA, Phi-2 để cải thiện hiệu năng thời gian thực.
• Huấn luyện lại mô hình embedding theo miền thương mại điện tử: Việc sử dụng mô hình nhúng phổ quát như all-MiniLM-L6-v2 đôi khi chưa đủ tối ưu cho ngữ cảnh sản phẩm. Huấn luyện mô hình embedding trên tập dữ liệu có chú thích như ESCI với loss function như triplet loss hoặc contrastive loss sẽ nâng cao chất lượng khớp ngữ nghĩa.
• Tăng cường khả năng cá nhân hoá: Hệ thống hiện chưa cá nhân hoá theo người dùng. Có thể mở rộng theo hướng kết hợp thông tin hành vi người dùng (click, lịch sử tìm kiếm, v.v.) với lớp LLM để sinh truy vấn cá nhân hoá hơn.
• Triển khai đánh giá người dùng thực tế (human evaluation): Hiện tại các chỉ số đánh giá dựa trên ground truth sẵn có. Việc mời người dùng thực nghiệm và đánh giá trải nghiệm tìm kiếm thực tế sẽ giúp phản ánh rõ hơn hiệu quả của lớp tăng cường truy vấn.
• Mở rộng sang các tác vụ liên quan: Mô hình LLM có thể được khai thác thêm cho các tác vụ liên quan như phân tích ý định người dùng, phân loại truy vấn, hoặc sinh mô tả sản phẩm tự động.