ESTIMASI PARAMETER LEAST ABSOLUTE SHRINKAGE AND SELECTION OPERATOR (LASSO) MENGGUNAKAN ALGORITMA CYCLIC COORDINATE DESCENT

Abstrak

Regresi Least Absolute Shrinkage and Selection Operator (Lasso) merupakan satu metode yang dapat mengatasi masalah multikolinearitas dengan menyusutkan beberapa koefisien regresi menjadi tepat nol. Algoritma Cyclic Coordinate Descent secara efisien dan terstruktur digunakan untuk menentukan taksiran parameter terutama untuk dataset dengan banyak variabel independen. Tujuan dari penelitian ini adalah untuk memperoleh estimasi parameter yang akurat dan dapat diinterpretasikan, terutama dalam menghadapi permasalahan multikolinearitas. Untuk mengevaluasi performa metode ini, digunakan tiga dataset bangkitan dengan tingkat multikolinearitas yang berbeda: tinggi, sedang, dan rendah yang diperoleh dari bahasa pemrograman python. Hasil dari penelitian ini menunjukkan bahwa metode Lasso dengan algoritma CCD cocok digunakan pada data yang mengandung multikolinearitas tinggi, dimana terjadi penyusutan variabel menjadi nol pada variabel independen yang saling berkolerasi tinggi. Berdasarkan hasil penelitian dapat disimpulkan bahwa metode Lasso dengan algoritma CCD menghasilkan model yang lebih sederhana namun tetap memiliki akurasi prediksi yang tinggi pada data dengan multikolinearitas tinggi. Sedangkan untuk data dengan multikolinearitas sedang dan rendah, model regresi yang dihasilkan dengan metode OLS lebih unggul karena semua variabel masih berkontribusi signifikan, sehingga penalti Lasso justru dapat menurunkan performa model.

Least Absolute Shrinkage and Selection Operator (Lasso) regression is one method that can overcome multicollinearity problems by shrinking some regression coefficients to exactly zero. Cyclic Coordinate Descent algorithm is efficiently and structurally used to determine parameter estimates especially for datasets with many independent variables. The objective of this study is to obtain accurate and interpretable parameter estimates, especially in the face of multicollinearity problems. To evaluate the performance of this method, three generated datasets with different levels of multicollinearity: high, medium, and low were used and obtained from the python programming language. The results of this study show that the Lasso method with the CCD algorithm is suitable for data containing high multicollinearity, where there is a shrinkage of variables to zero in highly correlated independent variables. Based on the research results, it can be concluded that the Lasso method with the CCD algorithm produces a simpler model but still has high prediction accuracy on data with high multicollinearity. Meanwhile, for data with moderate and low multicollinearity, the regression model generated by the OLS method is superior because all variables still contribute significantly, so the Lasso penalty can actually reduce the model performance.