Tutorial Python Unique Value List untuk Hapus Duplikat Data

Cari tahu cara menggunakan Python Unique Value List untuk hapus duplikat data di sini, lengkap dengan contoh!
RevoU Staff
July 7, 2024
5
min read
No items found.
No items found.

Overview

Python unique list adalah daftar yang memastikan setiap elemennya bersifat unik, tanpa adanya duplikasi. Teknik ini berguna dalam pengolahan dan analisis data untuk meningkatkan keakuratan serta efisiensi pemrosesan data.

Dalam pemrograman, terutama saat berurusan dengan data, biasanya kita perlu memastikan tidak ada data yang terduplikasi dalam sebuah daftar.

Di Python, konsep ini dikenal sebagai “unique list" atau daftar unik. Unique list adalah kumpulan elemen di mana setiap elemen hanya muncul sekali tanpa pengulangan.

Penggunaan daftar unik ini berguna dalam keakuratan dan keunikan dari setiap sampel data yang dianalisis. Dengan memahami cara kerja dan penerapan unique list, kamu akan lebih mudah mengelola serta menganalisis data besar. Mari kita mulai!

Mengapa Unique Values Penting?

Berikut beberapa poin yang menjelaskan pentingnya Python unique list dalam analisis data:

  • Menghindari duplikasi data: dengan menggunakan unique list, kamu bisa memastikan semua data dalam daftar bersifat unik. Dalam banyak kasus analisis data, hal ini penting untuk menghindari kesalahan interpretasi yang mungkin terjadi karena duplikasi data.
  • Efisiensi memori dan kecepatan: menghilangkan duplikat dari dataset bisa meningkatkan efisiensi memori dan kecepatan pemrosesan. Sebuah unique list mengurangi overhead memori karena hanya menyimpan elemen unik, sehingga operasi pada list tersebut menjadi lebih cepat.
  • Kemudahan dalam pemrosesan data: dengan memiliki semua elemen unik, pemrosesan data menjadi lebih sederhana. Kamu tidak perlu khawatir tentang pengaruh duplikat saat melakukan penghitungan statistik, visualisasi data, atau pemodelan.
  • Validitas dan akurasi analisis: dalam banyak analisis statistik, keberadaan duplikat bisa memengaruhi hasil. Menggunakan unique list membantu memastikan analisis yang dilakukan valid dan akurat karena setiap elemen dihitung sekali saja.
  • Pengolahan data berskala besar: daat bekerja dengan data besar, penting untuk mengoptimalkan struktur data yang digunakan. Python unique list membantu mengelola dan mengolah data berskala besar dengan lebih efektif, mengurangi waktu dan sumber daya yang dibutuhkan untuk memproses data tersebut.

Macam-macam Cara dan Contoh Mendapatkan Unique Values in a List

#1 Metode numpy.unique 

Untuk mendapatkan nilai-nilai unik dari sebuah list dalam Python, salah satu cara yang efisien adalah menggunakan fungsi unique dari library NumPy.

NumPy sendiri merupakan library yang sangat populer, karena kemampuannya yang kuat dalam mengelola array dan matriks numerik.

Fungsi numpy.unique dapat dipakai untuk mengekstrak elemen-elemen unik dari sebuah array, dan (secara opsional) mengurutkannya. Berikut langkah-langkah umum dalam penggunaannya:

  • Pastikan NumPy sudah terinstal, lalu impor dengan perintah import numpy as np.
  • Buat array dari sebuah list atau langsung menginput data numerik.
  • Aplikasikan fungsi numpy.unique pada array untuk mendapatkan elemen-elemen unik.

Misalkan kita memiliki dataset tentang penjualan beberapa produk dalam satu minggu:

Kita ingin mendapatkan daftar produk unik dari dataset ini. Kita akan mewakilkan data tersebut dalam array NumPy:

Output:

Produk unik: ['Apel', 'Jeruk', 'Pisang']

Penjualan unik: [20, 25, 30]

#2 Metode list comprehension dengan not in

Penggunaan fungsi numpy.unique dari library NumPy juga sering menjadi pilihan untuk mengefisienkan pengolahan data dalam Python.

numpy.unique membantu mengekstrak nilai-nilai unik dari sebuah array, kemudian memberikan opsi untuk mengembalikan nilai tersebut dalam urutan yang terurut. Berikut caranya:

  • Untuk memulai, kamu perlu memastikan NumPy telah terinstal di sistemmu. Gunakan import numpy as np untuk mengimpor library.
  • Konversi data menjadi array NumPy.
  • Terapkan fungsi numpy.unique untuk menemukan elemen unik dari array tersebut.

Menggunakan dataset yang sama dari contoh sebelumnya, kita akan mengekstrak list produk dan jumlah penjualan yang unik.

Dataset ini akan direpresentasikan dalam bentuk array NumPy:

Output:

Produk unik: ['Apel', 'Jeruk', 'Pisang']

Penjualan unik: [20, 25, 30]

#3 Metode Dict.fromkeys()

Metode Dict.fromkeys() berfungsi untuk membuat dictionary baru dari key yang diberikan, dengan nilai seragam atau default untuk setiap kunci. Ini sangat berguna ketika kita perlu inisialisasi dictionary dari daftar key unik dengan nilai awal yang sama.

Berikut proses penggunaan Dict.fromkeys():

  • Kamu perlu memiliki daftar key yang ingin digunakan untuk membuat dictionary. Key bisa berupa elemen dari sebuah list atau array.
  • Tentukan nilai default yang ingin diberikan untuk setiap key dalam dictionary. Jika tidak ditentukan, nilai default akan None.
  • Gunakan Dict.fromkeys() dengan daftar key dan nilai default untuk menghasilkan dictionary.

Masih dengan contoh dataset sama, kita akan menggunakan metode ini untuk membuat dictionary, di mana setiap produk terdaftar sebagai key dengan jumlah total penjualan sebagai nilai.

Kita akan menghitung total penjualan setiap produk dari dataset tersebut:

Output:

Total penjualan per produk: {'Apel': 40, 'Pisang': 50, 'Jeruk': 30}

FAQs (Frequently Asked Questions)

Apakah ada perbedaan performa antara menggunakan set() dan loop dengan dictionary untuk membuat unique list?

Pada dasarnya, ada perbedaan performa antara menggunakan set() dan loop dengan dictionary untuk membuat unique list di Python, terutama berkaitan dengan kecepatan eksekusi dan cara kedua struktur data ini menangani elemen.

Penggunaan set

set() dipakai untuk menghapus duplikat dari list karena set diimplementasikan sebagai hash table. Operasi pengecekan keanggotaan (membership test), yaitu memeriksa apakah suatu item sudah ada dalam set, berjalan sangat cepat, umumnya memiliki kompleksitas waktu O(1) pada rata-ratanya. Artinya, waktu yang dibutuhkan untuk mengecek dan menambahkan elemen ke set tidak bergantung pada ukuran set itu sendiri.

Loop dengan dictionary

Loop dengan dictionary mirip dengan set, di mana dictionary juga menggunakan hash table. Namun, saat menggunakan dictionary secara manual untuk membuat unique list, kita biasanya menjaga urutan elemen atau memanipulasi data lebih lanjut selama proses looping.

Seperti set, operasi pada dictionary termasuk mengecek atau menetapkan key juga memiliki kompleksitas O(1) pada rata-ratanya.

Berikut perbandingan dan konteks penggunaannya dalam bentuk tabel:

RevoU Staff
Kickstart your career in tech with RevoU!

Masih ragu? Coba dulu 3 hari, GRATIS
di Full-Stack Trial Class!

Rasakan pengalaman belajar di RevoU Full-Stack Program: Kelas 100% LIVE, Mini portofolio lewat hands-on assignment, Bimbingan Team Lead & small group discussion. Kalau cocok, kamu bisa lanjut daftar Full Program dengan kesempatan Fast-Track (skip semua tes seleksi masuk, langsung ke tahap akhir!)

Masih ragu? Coba dulu 3 hari, GRATIS
di Full-Stack Trial Class!

Rasakan pengalaman belajar di RevoU Full-Stack Program: Kelas 100% LIVE, Mini portofolio lewat hands-on assignment, Bimbingan Team Lead & small group discussion. Kalau cocok, kamu bisa lanjut daftar Full Program dengan kesempatan Fast-Track (skip semua tes seleksi masuk, langsung ke tahap akhir!)

Masih ragu? Coba dulu 3 hari, GRATIS
di Full-Stack Trial Class!

Rasakan pengalaman belajar di RevoU Full-Stack Program: Kelas 100% LIVE, Mini portofolio lewat hands-on assignment, Bimbingan Team Lead & small group discussion. Kalau cocok, kamu bisa lanjut daftar Full Program dengan kesempatan Fast-Track (skip semua tes seleksi masuk, langsung ke tahap akhir!)

Artikel Lainnya

Mau belajar

?

Daftar Isi

Mau Belajar

?

Tutorial Python Unique Value List untuk Hapus Duplikat Data

Cari tahu cara menggunakan Python Unique Value List untuk hapus duplikat data di sini, lengkap dengan contoh!
RevoU Staff
July 7, 2024
5
min read
No items found.
No items found.

Overview

Python unique list adalah daftar yang memastikan setiap elemennya bersifat unik, tanpa adanya duplikasi. Teknik ini berguna dalam pengolahan dan analisis data untuk meningkatkan keakuratan serta efisiensi pemrosesan data.

Dalam pemrograman, terutama saat berurusan dengan data, biasanya kita perlu memastikan tidak ada data yang terduplikasi dalam sebuah daftar.

Di Python, konsep ini dikenal sebagai “unique list" atau daftar unik. Unique list adalah kumpulan elemen di mana setiap elemen hanya muncul sekali tanpa pengulangan.

Penggunaan daftar unik ini berguna dalam keakuratan dan keunikan dari setiap sampel data yang dianalisis. Dengan memahami cara kerja dan penerapan unique list, kamu akan lebih mudah mengelola serta menganalisis data besar. Mari kita mulai!

Mengapa Unique Values Penting?

Berikut beberapa poin yang menjelaskan pentingnya Python unique list dalam analisis data:

  • Menghindari duplikasi data: dengan menggunakan unique list, kamu bisa memastikan semua data dalam daftar bersifat unik. Dalam banyak kasus analisis data, hal ini penting untuk menghindari kesalahan interpretasi yang mungkin terjadi karena duplikasi data.
  • Efisiensi memori dan kecepatan: menghilangkan duplikat dari dataset bisa meningkatkan efisiensi memori dan kecepatan pemrosesan. Sebuah unique list mengurangi overhead memori karena hanya menyimpan elemen unik, sehingga operasi pada list tersebut menjadi lebih cepat.
  • Kemudahan dalam pemrosesan data: dengan memiliki semua elemen unik, pemrosesan data menjadi lebih sederhana. Kamu tidak perlu khawatir tentang pengaruh duplikat saat melakukan penghitungan statistik, visualisasi data, atau pemodelan.
  • Validitas dan akurasi analisis: dalam banyak analisis statistik, keberadaan duplikat bisa memengaruhi hasil. Menggunakan unique list membantu memastikan analisis yang dilakukan valid dan akurat karena setiap elemen dihitung sekali saja.
  • Pengolahan data berskala besar: daat bekerja dengan data besar, penting untuk mengoptimalkan struktur data yang digunakan. Python unique list membantu mengelola dan mengolah data berskala besar dengan lebih efektif, mengurangi waktu dan sumber daya yang dibutuhkan untuk memproses data tersebut.

Macam-macam Cara dan Contoh Mendapatkan Unique Values in a List

#1 Metode numpy.unique 

Untuk mendapatkan nilai-nilai unik dari sebuah list dalam Python, salah satu cara yang efisien adalah menggunakan fungsi unique dari library NumPy.

NumPy sendiri merupakan library yang sangat populer, karena kemampuannya yang kuat dalam mengelola array dan matriks numerik.

Fungsi numpy.unique dapat dipakai untuk mengekstrak elemen-elemen unik dari sebuah array, dan (secara opsional) mengurutkannya. Berikut langkah-langkah umum dalam penggunaannya:

  • Pastikan NumPy sudah terinstal, lalu impor dengan perintah import numpy as np.
  • Buat array dari sebuah list atau langsung menginput data numerik.
  • Aplikasikan fungsi numpy.unique pada array untuk mendapatkan elemen-elemen unik.

Misalkan kita memiliki dataset tentang penjualan beberapa produk dalam satu minggu:

Kita ingin mendapatkan daftar produk unik dari dataset ini. Kita akan mewakilkan data tersebut dalam array NumPy:

Output:

Produk unik: ['Apel', 'Jeruk', 'Pisang']

Penjualan unik: [20, 25, 30]

#2 Metode list comprehension dengan not in

Penggunaan fungsi numpy.unique dari library NumPy juga sering menjadi pilihan untuk mengefisienkan pengolahan data dalam Python.

numpy.unique membantu mengekstrak nilai-nilai unik dari sebuah array, kemudian memberikan opsi untuk mengembalikan nilai tersebut dalam urutan yang terurut. Berikut caranya:

  • Untuk memulai, kamu perlu memastikan NumPy telah terinstal di sistemmu. Gunakan import numpy as np untuk mengimpor library.
  • Konversi data menjadi array NumPy.
  • Terapkan fungsi numpy.unique untuk menemukan elemen unik dari array tersebut.

Menggunakan dataset yang sama dari contoh sebelumnya, kita akan mengekstrak list produk dan jumlah penjualan yang unik.

Dataset ini akan direpresentasikan dalam bentuk array NumPy:

Output:

Produk unik: ['Apel', 'Jeruk', 'Pisang']

Penjualan unik: [20, 25, 30]

#3 Metode Dict.fromkeys()

Metode Dict.fromkeys() berfungsi untuk membuat dictionary baru dari key yang diberikan, dengan nilai seragam atau default untuk setiap kunci. Ini sangat berguna ketika kita perlu inisialisasi dictionary dari daftar key unik dengan nilai awal yang sama.

Berikut proses penggunaan Dict.fromkeys():

  • Kamu perlu memiliki daftar key yang ingin digunakan untuk membuat dictionary. Key bisa berupa elemen dari sebuah list atau array.
  • Tentukan nilai default yang ingin diberikan untuk setiap key dalam dictionary. Jika tidak ditentukan, nilai default akan None.
  • Gunakan Dict.fromkeys() dengan daftar key dan nilai default untuk menghasilkan dictionary.

Masih dengan contoh dataset sama, kita akan menggunakan metode ini untuk membuat dictionary, di mana setiap produk terdaftar sebagai key dengan jumlah total penjualan sebagai nilai.

Kita akan menghitung total penjualan setiap produk dari dataset tersebut:

Output:

Total penjualan per produk: {'Apel': 40, 'Pisang': 50, 'Jeruk': 30}

FAQs (Frequently Asked Questions)

Apakah ada perbedaan performa antara menggunakan set() dan loop dengan dictionary untuk membuat unique list?

Pada dasarnya, ada perbedaan performa antara menggunakan set() dan loop dengan dictionary untuk membuat unique list di Python, terutama berkaitan dengan kecepatan eksekusi dan cara kedua struktur data ini menangani elemen.

Penggunaan set

set() dipakai untuk menghapus duplikat dari list karena set diimplementasikan sebagai hash table. Operasi pengecekan keanggotaan (membership test), yaitu memeriksa apakah suatu item sudah ada dalam set, berjalan sangat cepat, umumnya memiliki kompleksitas waktu O(1) pada rata-ratanya. Artinya, waktu yang dibutuhkan untuk mengecek dan menambahkan elemen ke set tidak bergantung pada ukuran set itu sendiri.

Loop dengan dictionary

Loop dengan dictionary mirip dengan set, di mana dictionary juga menggunakan hash table. Namun, saat menggunakan dictionary secara manual untuk membuat unique list, kita biasanya menjaga urutan elemen atau memanipulasi data lebih lanjut selama proses looping.

Seperti set, operasi pada dictionary termasuk mengecek atau menetapkan key juga memiliki kompleksitas O(1) pada rata-ratanya.

Berikut perbandingan dan konteks penggunaannya dalam bentuk tabel:

RevoU Staff
Kickstart your career in tech with RevoU!
Menu