Trong công việc quản lý dữ liệu, chúng ta thường gặp phải tình huống phải xử lý một bảng dữ liệu lớn và không tránh khỏi việc có những giá trị trùng lặp. Việc giữ lại dữ liệu trùng nhau không chỉ làm phức tạp quá trình phân tích mà còn có thể dẫn đến sai lệch trong báo cáo, tính toán và quyết định kinh doanh. Vì vậy, biết cách loại bỏ các giá trị trùng lặp trong Excel một cách chính xác và hiệu quả là một kỹ năng quan trọng mà bất kỳ chuyên gia dữ liệu, nhà quản lý hay người dùng Excel trong các môi trường doanh nghiệp nào cũng cần phải nắm vững.
Trong bài viết này, chúng ta sẽ đi sâu vào các phương pháp để loại bỏ các giá trị trùng lặp trong Excel, từ các công cụ sẵn có trong Excel như Remove Duplicates, Advanced Filter, cho tới các công cụ nâng cao hơn như Power Query, VBA và cách sử dụng công thức. Chúng ta cũng sẽ xem xét các tình huống thực tế,-script mẫu và những mẹo nhỏ giúp bạn tiết kiệm thời gian và tránh những lỗi thường gặp.
Pump up! Hãy cùng khám phá ngay.
Có thể bạn quan tâm: Cách Giữ 1 Dòng Cố Định Trong Excel Khi In: Hướng Dẫn Chi Tiết
1. Tại sao loại bỏ dữ liệu trùng lặp lại quan trọng?
- Độ chính xác cao hơn: Khi bạn làm việc với dữ liệu sạch, các phép tính, báo cáo và phân tích thống kê sẽ phản ánh thực tế chính xác hơn.
- Tiết kiệm tài nguyên: Dữ liệu trùng lặp chiếm không gian lưu trữ và làm chậm quá trình xử lý.
- Giảm thiểu sai sót: Nếu một giá trị bị nhập lặp lại, nó có thể làm sai lệch kết quả khi tính tổng, trung bình, tần suất medication.
- Tăng tính chuyên nghiệp: Một bảng tính sạch sẽ, không có trùng lặp giúp người đọc nhanh chóng nhận ra thông tin quan trọng.
Có thể bạn quan tâm: Cách Di Chuyển Các Sheet Trong Excel Bằng Bàn Phím
2. Cách 1: Sử dụng tính năng “Remove Duplicates” (Bỏ trùng lặp)
Đây là cách nhanh nhất và phổ biến nhất, đặc biệt khi bạn làm việc với dữ liệu đang trong một bảng đơn giản hoặc một vùng dữ liệu rõ ràng.
2.1. Chuẩn bị dữ liệu
- Đặt tiêu đề: Đảm bảo rằng vùng dữ liệu của bạn có tiêu đề (headers) cho từng cột, vì Excel sẽ sử dụng chúng để xác định cột nào cần kiểm tra.
- Chọn vùng dữ liệu: Click vào ô đầu tiên của vùng, kéo tới ô cuối cùng, hoặc sử dụng
Ctrl + Ađể chọn toàn bộ bảng. - Xác định cột cần kiểm tra: Nếu bạn muốn kiểm tra toàn bộ dòng, chọn tất cả các cột. Nếu chỉ muốn kiểm tra một cột cụ thể, chọn cột đó.
2.2. Thực hiện
- Đi tới tab
Datatrong thanh Ribbon. - Click vào biểu tượng
Remove Duplicatestrong nhómData Tools. - Một hộp thoại sẽ hiện lên. Nếu bạn đã chọn toàn bộ vùng dữ liệu, các tiêu đề sẽ được hiển thị. Kiểm tra lại các cột mà bạn muốn Excel so sánh. Nếu muốn so sánh toàn bộ dòng, chọn tất cả các cột.
- Click
OK.
Excel sẽ hiển thị một thông báo cho biết có bao nhiêu bản ghi trùng lặp đã được loại bỏ và bao nhiêu bản ghi duy nhất còn lại.
2.3. Lưu ý
- Bảo vệ dữ liệu gốc: Luôn sao lưu bảng dữ liệu 根本 trước khi thực hiện chức năng này, vì nó sẽ xóa trực tiếp dữ liệu trùng lặp khỏi vùng đã chọn.
- Không thể khôi phục: Sau khi đã loại bỏ, bạn không thể khôi phục các bản ghi đã xóa trừ khi có bản sao lưu.
- Trùng lặp nghiêm ngặt: Excel so sánh tất cả các cột đã chọn; nếu một hàng có ít nhất một giá trị khác, hàng đó sẽ không bị loại bỏ. Để loại bỏ trùng lặp dựa vào một cột nhất định, chỉ chọn cột đó khi thực hiện.
Có thể bạn quan tâm: Cách Copy Dữ Liệu Từ Autocad Sang Excel Mà Không Cần Phần Mềm Trung Gian
3. Cách 2: Sử dụng “Advanced Filter” (Lọc nâng cao)
Nếu bạn muốn giữ lại bản ghi gốc trong một vùng dữ liệu nhưng muốn tạo một bản sao dữ liệu đã lọc trùng lặp, Advanced Filter là công cụ phù hợp.
3.1. Cách hoạt động
Advanced Filtercho phép bạn lọc dữ liệu theo các điều kiện cụ thể, bao gồm cả việc loại bỏ trùng lặp. Bạn có thể lọc dữ liệu trong cùng một vùng hoặc sao chép dữ liệu đã lọc sang một vùng khác.
3.2. Thực hiện
- Chọn vùng dữ liệu: Xác định vùng dữ liệu cần lọc.
- Mở hộp thoại: Trên tab
Data, click vàoAdvancedtrong nhómSort & Filter. - Cấu hình:
Action: ChọnCopy to another location.List range: Chọn vùng dữ liệu.Copy to: Chọn ô bắt đầu để đặt dữ liệu đã lọc (có thể là một vùng mới).- Đánh dấu
Unique records only. - Click
OK.
Kết quả là một bản sao dữ liệu đã loại bỏ trùng lặp, trong khi dữ liệu gốc vẫn giữ nguyên.
3.3. Ưu điểm
- Không làm thay đổi dữ liệu gốcickey.
- Dễ dàng tạo bản sao: Thích hợp khi bạn muốn bảo toàn dữ liệu gốc để tham khảo sau này.
4. Cách 3: Sử dụng công thức
Nếu bạn muốn kiểm soát chính xác hơn hoặc muốn xử lý dữ liệu trong môi trường mà không có tính năng “Remove Duplicates” (ví dụ Excel Online cũ), công thức là một lựa chọn tuyệt vời.
4.1. Công thức dùng UNIQUE (Excel 365/Excel 2026 trở lên)
Trong các phiên bản Excel mới, hàm UNIQUE có thể trả về một mảng dữ liệu duy nhất.
=UNIQUE(A2:A100)
`` હોસ્પ Kết quả sẽ là một danh sách không có giá trị trùng lặp từ cột A, từ hàng 2 tới 100. Bạn có thể điều chỉnh mục tiêu: - Nếu muốn duy nhất theo nhiều cột, sử dụng `UNIQUE(A2:C100)`. ### 4.2. Công thức dùng `IF` + `COUNTIF` (Excel cũ) Nếu bạn đang dùng Excel 2026 hoặc trước đó, bạn có thể dùng công thức kết hợp `IF` và `COUNTIF`: ```excel
=IF(COUNTIF($A$2:A2, A2)=1, "Unique", "Duplicate")
- Đặt công thức này trong cột phụ, kéo xuống cho toàn bộ hàng.
- Sau đó lọc theo giá trị “Duplicate” và xóa những hàng đó.
4.3. Công thức dùng FILTER + UNIQUE (Excel 365)
=FILTER(A2:C100, COUNTIF(A2:A100, A2:A100)=1)
Bằng cách này, bạn có thể lọc cả các cột liên quan khi tìm trùng lặp.
5. Cách 4: Sử dụng Power Query
Power Query (trong Excel 2026 trở lên) là một công cụ rất mạnh để xử lý dữ liệu, bao gồm việc loại bỏ trùng lặp, chuyển đổi dữ liệu, kết hợp bảng, và nhiều thao tác phức tạp khác.
5.1. Tại sao dùng Power Query?
Có thể bạn quan tâm: Cách Khắc Phục Lỗi Không Insert Thêm Dòng Trong Excel
- Dễ dàng thao tác: Giao diện kéo thả giúp người dùng không cần viết mã.
- Lưu trữ truy vấn: Bạn có thể lưu lại truy vấn và chạy lại khi dữ liệu cập nhật.
- Tính năng mạnh mẽ: Hỗ trợ nhiều bước chuyển đổi, lọc, pivot, merge và append.
5.2. Thực hiện
- Chọn dữ liệu: Highlight vùng dữ liệu.
- Mở Power Query: Trên tab
Data, clickFrom Table/Range. Nếu vùng chưa là bảng, Excel sẽ yêu cầu bạn tạo bảng và đặt tiêu đề. - Loại bỏ trùng lặp:
- Trong Power Query Editor, chọn cột bạn muốn loại bỏ trùng lặp.
- Nhấp chuột phải, chọn
Remove Duplicates. - Hoặc nếu muốn loại bỏ trùng lặp toàn bộ dòng, chọn
Remove Duplicatestừ tabHome. - Thêm bước kiểm tra: Bạn có thể thêm
Group By,Sort, hoặcFiltertrước khi loại bỏ trùng lặp. - Load dữ liệu: Click
Close & Loadđể đưa dữ liệu trở lại Excel hoặcClose & Load To…để đưa vào một bảng mới.
5.3. Lưu ý
- Tốc độ: Power Query có thể chậm hơn khi làm việc với dữ liệu rất lớn (tỷ lệ hàng).
- Cập nhật: Khi nguồn dữ liệu thay đổi, bạn chỉ cần click
Refreshtrong Power Query để áp dụng lại quy trình.
6. Cách 5: Sử dụng VBA (Macro)
Nếu bạn muốn tự động hoá quy trình xử lý dữ liệu trùng lặp, viết một macro VBA là một giải pháp linh hoạt.
6.1. Mẫu macro
Sub RemoveDuplicates() Dim ws As Worksheet Dim rng As Range Set ws = ThisWorkbook.Sheets("Sheet1") ' Định nghĩa vùng dữ liệu (tùy chỉnh) Set rng = ws.Range("A1:C1000") ' Loại bỏ trùng lặp theo pribadi rng.RemoveDuplicates Columns:=Array(1, 2, 3), Header:=xlYes MsgBox "Đã loại bỏ trùng lặp thành công!"
End Sub
Columns:=Array(1, 2, 3)chỉ ra rằng Excel sẽ so sánh cả ba cột.Header:=xlYesthông báo rằng vùng dữ liệu có tiêu đề.
6.2. Thêm tính năng
Bạn có thể mở rộng macro để:
- Đ cilvē: Chọn vùng dữ liệu bằng cách sử dụng
Selection. - Lưu lại bản sao gốc: Tạo một bản sao dữ liệu trước khi thực hiện.
- Xử lý dữ liệu động: Tự động xác định vùng dữ liệu lớn nhất.
6.3. Lưu ý
- Bảo mật: Kích hoạt macro có thể gây rủi ro bảo mật, nên luôn kiểm tra kịch bản macro trước khi chạy trên dữ liệu quan trọng.
- Hỗ trợ: Macro chỉ hoạt động trong Excel desktop; không khả dụng trong Excel Online.
7. Cách 6: Sử dụng hàm UNIQUE trong Google Sheets
Nếu bạn làm việc với Google Sheets, hàm UNIQUE cũng có sẵn.
=UNIQUE(A2:A100)
- Đơn giản và gnìomh.
8. Những mẹo nhỏ giúp loại bỏ trùng lặp hiệu quả
| Mẹo | Mô tả |
|---|---|
| Sử dụng “Advanced Filter” khi cần giữ lại dữ liệu gốc | Khi bạn không muốn mất dữ liệu gốc, dùng Advanced Filter sao chép dữ liệu đã lọc sang vùng khác. |
| Bảo vệ dữ liệu | Luôn sao lưu bảng tính trước khi thực hiện bất kỳ thao tác loại bỏ trùng lặp nào. |
| Kiểm tra dữ liệu trước khi loại bỏ | D: Ghi chú rằng một số dữ liệu trùng lặp diya có thể có ý nghĩa (ví dụ: các giao dịch có cùng ngày). |
| Sử dụng “Conditional Formatting” để highlight trùng lặp | Trước khi loại bỏ, dùng định dạng điều kiện để xem nhanh những giá trị trùng lặp. |
| Sử dụng “Sort” trước khi lọc | Đặt dữ liệu theo thứ tự, giúp dễ dàng kiểm tra và loại bỏ trùng lặp thủ công. |
| Xem xét dữ liệu có “độ chính xác” | Đôi khi, dữ liệu trùng lặp có thể do sai chính tả (e.g., “Jhon” vs “John”). |
| Kiểm tra dữ liệu trùng lặp theo nhiều cột | Đôi khi, trùng lặp cần kiểm tra nhiều cột (ví dụ: tên + ngày sinh). |
| Đặt “Header” đúng khi sử dụng “Remove Duplicates” | Nếu không có tiêu đề, Excel sẽ xem dòng đầu tiên là dữ liệu và có thể xóa dữ liệu quan trọng. |
| Sử dụng “Delete Duplicates” trong Power Query | Trong Power Query, bạn có thể thêm bước “Remove Duplicates” vào chuỗi chuyển đổi để tự động hoá. |
| Kiểm tra “Keep the First / Keep the Last” | Khi loại bỏ trùng lặp, bạn có thể quyết định giữ bản ghi đầu tiên hoặc cuối cùng. |
| Xem xét dữ liệu có “missing values” | Trùng lặp có thể(yearn) xảy ra khi dữ liệu thiếu giá trị; kiểm tra cột NA hoặc NULL. |
9. Xử lý dữ liệu trùng lặp trong các tình huống thực tế
9.1. Dữ liệu khách hàng đa nguồn
Bạn có một danh sách khách hàng từ hai hệ thống khác nhau (CRM1 và CRM2). Hai hệ thống đều lưu trữ dữ liệu tên, email, và số điện thoại. Khi hợp nhất hai danh sách, có thể xuất hiện trùng lặp (khách hàng đã đăng ký trên cả hai hệ thống).
Giải pháp:
- Sử dụng Power Query:
- Tải dữ liệu từ cả hai bảng.
- Thêm cột “Source” để ghi nguồn dữ liệu.
- Thực hiện
Merge Queriestheo cộtEmail. - Lọc trùng lặp và giữ bản ghi với “Source” ưu tiên (ví dụ: CRM1).
Thêm cột “IsDuplicate” để đánh dấu.
Sử dụng hàm
UNIQUE:- Lưu dữ liệu vào một bảng, dùng
UNIQUEtrên cột Email.
9.2. Báo cáo doanh thu theo ngày
Bạn có một bảng dữ liệu bán hàng, trong đó có các dòng trùng lặp vì lỗi nhập dữ liệu. Bạn cần tính doanh thu tổng cộng mỗi ngày.
Giải pháp:
- Sử dụng “Remove Duplicates”: Loại bỏ trùng lặp dựa trên cả
DatevàProduct ID. - Pivot Table: Tạo Pivot Origin dùng
Datelàm Row vàTotallàm Value. - Kiểm tra: Nếu muốn giữ lại một bản ghi duy nhất cho mỗi ngày, dùng
Advanced Filterđể copy dữ liệu ballot.
9.3. Dữ liệu khảo sát
Bạn nhận được dữ liệu từ một khảo sát trực tuyến. Một số người tham gia gửi nhiều lần. Bạn muốn tính thống kê chỉ dựa vào mỗi người một lần.
Giải pháp:
- Sử dụng “Remove Duplicates”: Dùng cột
Emaillàm tiêu chí. - Sử dụng hàm
COUNTIFS: Đếm số lần gửi, sau đó_interpret.
10. Khi nào không nên loại bỏ trùng lặp?
- Dữ liệu trùng lặp có thông tin quan trọng: Ví dụ, một khách hàng mua nhiều lần. Loại bỏ trùng lặp sẽ làm mất thông tin về số lần mua.
- Dữ liệu שאין: Khi trùng lặp chỉ là lỗi nhập. Trong trường hợp này, bạn cần kiểm tra và sửa dữ liệu thay vì xóa.
- Dữ liệu chưa được chuẩn hoá: Trước khi loại bỏ, hãy chuẩn hoá dữ liệu (định dạng ngày, chữ hoa/thường) để tránh loại bỏbined.
11. Kết luận
Việc loại bỏ các giá trị trùng lặp trong Excel không chỉ là một thao tác đơn giản mà còn là bước quan trọng trong quá trìnhԏ xử lý dữ liệu. Từ các công cụ sẵn có như “Remove Duplicates” và “Advanced Filter” cho tới những công cụ nâng cao như Power Query, công thức và VBA, bạn có thể chọn phương pháp phù hợp nhất với nhu cầu, môi trường làm việc và mức độ phức tạp của dữ liệu.
- Nếu bạn cần nhanh chóng: Sử dụng
Remove Duplicates. - Nếu bạn muốn giữ bản sao: Sử dụng
Advanced Filter. - Nếu bạn đang làm việc trong môi trường Excel Online hoặc Excel cũ: Sử dụng công thức
UNIQUE(nếu có) hoặcIF+COUNTIF. - Nếu bạn cần quản lý dữ liệu lớn hoặc nhiều bước chuyển đổi: Sử dụng
Power Query. - Nếu bạn muốn tự động hoá quy trình: Viết macro VBA.
Bằng cách kết hợp các công cụ này cùng với những mẹo nhỏ, bạn sẽ có thể xử lý dữ liệu trùng lặp một cách chính xác, nhanh chóng và an toàn. Hãy thử áp dụng ngay trong công việc và cảm nhận sự khác biệt trong chất lượng dữ liệu và quyết định kinh doanh!
Tiến sĩ Lê Thống Nhất sinh năm 1955 tại Nghệ An, là nhà giáo, nhà báo và doanh nhân trong lĩnh vực giáo dục. Ông từng giảng dạy Toán học tại Trường THPT Chuyên Phan Bội Châu và đảm nhiệm nhiều vai trò trong ngành giáo dục, từ viết sách, biên soạn tài liệu đến sáng lập các dự án hỗ trợ học tập trực tuyến.
Ông là người sáng lập BigSchool – nền tảng giáo dục trực tuyến kết nối giáo viên và học sinh cả nước. Ngoài ra, ông còn nổi tiếng với vai trò tác giả, diễn giả truyền cảm hứng và khách mời trên nhiều chương trình truyền hình, trong đó có “Ai là triệu phú” trên truyền hình VTV.
Trong suốt sự nghiệp, Tiến sĩ Lê Thống Nhất đã nhận nhiều giải thưởng giáo dục và được biết đến như một người luôn đổi mới, ứng dụng công nghệ vào dạy và học, góp phần lan tỏa tri thức và niềm say mê học tập cho thế hệ trẻ.