upload file

README.md

@@ -4,9 +4,14 @@ emoji: 👀
 colorFrom: green
 colorTo: yellow
 sdk: streamlit
-sdk_version: 1.15.2
+sdk_version: 1.16.0
 app_file: app.py
 pinned: false
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# twitter sentiment app
+
+Aplikasi sederhana untuk melakukan analisis sentimen terhadap tweet yang diinputkan dan mengekstrak topik dari setiap sentimen 
+
+link website : https://dafiqrahman-twitter-sentiment-app-app-shcgk3.streamlit.app/
+

app.py

@@ -0,0 +1,120 @@
+import streamlit as st 
+import pandas as pd
+import script.functions as fn
+import plotly.express as px
+import matplotlib.pyplot as plt
+# import text_proc in script folder
+import script.text_proc as tp
+
+# Load data
+# add tiwtter logo inside title 
+st.markdown("<h1 style='text-align: center;'>🗨️Twitter Sentiment Analysis App</h1>", unsafe_allow_html=True)
+st.write("Aplikasi sederhana untuk melakukan analisis sentimen terhadap tweet yang diinputkan dan mengekstrak topik dari setiap sentimen.")
+# streamlit selectbox simple and advanced
+
+sb1,sb2 = st.columns([1,4])
+with sb1:
+ option = st.selectbox('Pilih Mode Pencarian',('Simple','Advanced'))
+
+if option == 'Simple':
+# create col1 and col2
+ col1, col2 = st.columns([3,2])
+ with col1:
+ input = st.text_input("Masukkan User/Hastag", "@BPJSKesehatanRI")
+ with col2:
+ length = st.number_input("Jumlah Tweet", 10, 500, 100)
+else :
+ col1, col2 = st.columns([3,1])
+ with col1:
+ input = st.text_input("Masukkan Parameter Pencarian", "(@undipmenfess AND @BPJSKesehatanRI) -filter:links filter:replies lang:id")
+ with col2:
+ length = st.number_input("Jumlah Tweet", 10, 500, 100)
+ st.caption("anda bisa menggunakan parameter pencarian yang lebih spesifik, parameter ini sama dengan paremeter pencarian di twitter")
+
+submit = st.button("🔍Cari Tweet")
+
+st.caption("semakin banyak tweet yang diambil maka semakin lama proses analisis sentimen")
+
+if submit:
+ # df = pd.read_csv("assets/data.csv")
+ with st.spinner('Mengambil data dari twitter... (1/2)'):
+ df = fn.get_tweets(input, length, option)
+ with st.spinner('Melakukan Prediksi Sentimen... (2/2)'):
+ df = fn.get_sentiment(df)
+ df.to_csv('assets/data.csv',index=False)
+ # plot
+ st.write("<b>Preview Dataset</b>",unsafe_allow_html=True)
+ st.dataframe(df,use_container_width=True,height = 200)
+ st.write ("Jumlah Tweet: ",df.shape[0])
+ # download datasets 
+ 
+
+ st.write("<h3>📊 Analisis Sentimen</h3>",unsafe_allow_html=True)
+ col_fig1, col_fig2 = st.columns([4,3])
+ with col_fig1:
+ with st.spinner('Sedang Membuat Grafik...'):
+ st.write("<b>Jumlah Tweet Tiap Sentiment</b>",unsafe_allow_html=True)
+ fig_1 = fn.get_bar_chart(df)
+ st.plotly_chart(fig_1,use_container_width=True,theme="streamlit")
+ with col_fig2:
+ st.write("<b>Wordcloud Tiap Sentiment</b>",unsafe_allow_html=True)
+ tab1,tab2,tab3 = st.tabs(["negatif","netral","positif"])
+ with tab1:
+ wordcloud_pos = tp.get_wordcloud(df,"negatif")
+ fig = plt.figure(figsize=(10, 5))
+ plt.imshow(wordcloud_pos, interpolation="bilinear")
+ plt.axis("off")
+ st.pyplot(fig)
+ with tab2:
+ wordcloud_neg = tp.get_wordcloud(df,"netral")
+ fig = plt.figure(figsize=(10, 5))
+ plt.imshow(wordcloud_neg, interpolation="bilinear")
+ plt.axis("off")
+ st.pyplot(fig)
+ with tab3:
+ wordcloud_net = tp.get_wordcloud(df,"positif")
+ fig = plt.figure(figsize=(10, 5))
+ plt.imshow(wordcloud_net, interpolation="bilinear")
+ plt.axis("off")
+ st.pyplot(fig)
+ st.write("<h3>✨ Sentiment Clustering</h3>",unsafe_allow_html=True)
+ @st.experimental_singleton
+ embedding_model = fn.load_sentence_model()
+ tab4,tab5,tab6 = st.tabs(["Negatif","Netral","Positif"])
+ with tab4:
+ if len(df[df["sentiment"]=="negatif"]) < 11:
+ st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+ st.write(df[df["sentiment"]=="negatif"])
+ else:
+ with st.spinner('Sedang Membuat Grafik...(1/2)'):
+ text,data,fig = tp.plot_text(df,"negatif",embedding_model)
+ st.plotly_chart(fig,use_container_width=True,theme=None)
+ with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+ fig,topic_modelling = tp.topic_modelling(text,data)
+ st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+ with tab5:
+ if len(df[df["sentiment"]=="netral"]) < 11:
+ st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+ st.write(df[df["sentiment"]=="netral"])
+ else:
+ with st.spinner('Sedang Membuat Grafik... (1/2)'):
+ text,data,fig = tp.plot_text(df,"netral",embedding_model)
+ st.plotly_chart(fig,use_container_width=True,theme=None)
+ with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+ fig,topic_modelling = tp.topic_modelling(text,data)
+ st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+ with tab6:
+ if len(df[df["sentiment"]=="positif"]) < 11:
+ st.write("Tweet Terlalu Sedikit, Tidak dapat melakukan clustering")
+ st.write(df[df["sentiment"]=="positif"])
+ else:
+ with st.spinner('Sedang Membuat Grafik...(1/2)'):
+ text,data,fig = tp.plot_text(df,"positif",embedding_model)
+ st.plotly_chart(fig,use_container_width=True,theme=None)
+ with st.spinner('Sedang Mengekstrak Topik... (2/2)'):
+ fig,topic_modelling = tp.topic_modelling(text,data)
+ st.plotly_chart(fig,use_container_width=True,theme="streamlit")
+ 
+ 
+ 
+

assets/data.csv

@@ -0,0 +1,501 @@
+sentiment,content
+netral,Sudah dengan agent Firza yang mana sebelumnya sama agent Pita langsung di solved padahal belum selesai nanya terima kasih responnya ya.
+netral,"min, tolong cek dm ya, terima kasih"
+netral,cek dm min
+negatif,tolong dong traveloka refund saya lama sekali ditangani sudah sai lebih 90 hari
+positif,Makasiihh kak jadi semangat nihhh selalu liat konten Traveloka dan disemangati sama kakak Admkn
+netral,mohon cek dm min
+netral,min ada kupon promo kereta yg gede gk dri mdn ke bks
+netral,Cek dm min
+netral,"mohon cek dm min, terima kasih"
+negatif,loh tp bukannya penerbangan internasional itu di terminal 3 semua min
+netral,min buat penerbangan ke malaysia dari CGK pakai batik air malaysia itu terminal 2 atau 3 ya di tiket terminal 2F tp bukannya penerbangan internasional di terminal 3 ya mohon bantuannya makasih min
+positif,"Waaww. Selamattt Bismillah bulan depan namakuu. Geer dulu, menang GA kemudian wkwk"
+positif,Selamaat
+netral,mint kalo tiket pesawat wajib milih tempat duduk
+netral,min mau ubah nomor kursi di akun traveloka bisa ga ya Kursi kereta
+netral,cek dm kak
+positif,Promo traveloka bikin kita untung dan gak bikin kantong jebol
+positif,"Masuk wishlist, semoga kesaian naik.. Yang pasti pesan pakai traveloka.. Liburan dadakan menguntungkan"
+netral,cek DM min
+netral,"min, cek DM yaa"
+netral,Cek dm min
+positif,"Wahhhh selalu takjub sama keren dan indahnya gerbong kereta Panoramic, semoga suatu saat bisa kesaian naik Panoramic, makasi kak konten² nya"
+netral,"Min tolong dikasih fitur chat di apknya, biar bisa tanya2 dulu, terkadang dapat kamarnya gak sesuai ekspektasi."
+netral,tolong cek dm ya. Terimakasih
+netral,Sudah min
+netral,"hi please cek DM, saya mengalami kendala untuk pembayaran credit card. thank you"
+positif,Tetep tertawa bahagia meskipun banyak kerjaan :
+negatif,". halo TK, case ini masih BELUM SELESAI yah. SOLUSI TERBAIK masih belum didapatkan. Yang ada masing2 pihak MELEMPARKAN/LEPAS TANGGUNG JAWAB. bilang Ini kewengan dan sebaliknya. Cc."
+netral,min.. tolong cek DM
+negatif,min lagi error kah Gabisa pesen tiket pesawat
+netral,Ka cek DM
+positif,"tidak cuti sih, tapi memang belom ada kerjaan jadi masih meliburkan diri"
+netral,Bc dm kak
+netral,Sudah diinfokan di dm mohon di respon
+positif,Siap minnn Anyway semoga berkah buat kita semua ya
+positif,"Makasih minn, mimin juga ya semangattt Kapan nih ada GA lagi"
+negatif,Kalo yang masuk kerja gimana min
+positif,Sudah kerja kak tapi tetap semangat supaya bisa nabung buat jalan²
+netral,min cek dm
+netral,"Halo, barusan saya booking hotel. Tapi kenapa pas pilih split payment tombol pay with bcanya gak bisa dipencet Terus saldo uangku saya gak bisa dipake dong"
+netral,baca DM min
+netral,Promo tiket pesawat ada kah min
+netral,nunggu epic sale aja
+positif,Makasih Kak udah bantu share. Jangan se ketinggalan yaa.. -RU
+netral,"Maksudku, trip perjalanan/positioning mobilnya selama durasi sewa itu apakah bisa di monitor seperti aplikasi gojek dll Contoh: Oh si mobil ke tempat a, pindah ke b dan sekarang jalan dengan koordinat c"
+positif,Waahhh tahun baru makin banyak promo mantap
+positif,"Asik, dapet kode promo diskon khusus ga min"
+netral,cek dm min.
+netral,call center nya berapa 29103300 ga ada yang angkat
+negatif,ck dm
+netral,ingfo diterima min
+netral,min balas dm saya lagi
+netral,Balas lagi ya min soalnya aku mau nanya2
+netral,min cek dm
+netral,"Halo SY, ini : 868173467. Thanks. Cc. Tolong yah TIDAK SALING LEMPAR - LEMPARAN Kebijakan antara Kalian. Cari kan SOLUSI TERBAIKNYA buat saya, client kalian. Please."
+negatif,kalau voucher tertunda gimana Kok lama
+netral,sudah kudm ya min tolong dicek
+netral,"halo Traveloka saya mau tanya, kalau misal saya pengajuan reschedule flight dan misalkan sudah keluar inoive baru dan belum dibayar, selama belum bayar tidak jadi reschedule, eticket dan pemesanan sebelumnya tetap berlaku kan ya"
+netral,"Halo Santi, Asya dan Nia sdh Copy case saya ini. Dan sdh saya kirim Data dan informasi yg LENGKAP koq. Silahkan koordinasi dg beliau. Anda kan Team bukan Thanks"
+netral,Udah di dm cek ya
+netral,"Halo min, cek DM yaaa"
+positif,siap Min otw pesenn
+netral,apakah ada cara laen untuk terima verification code Karena saya tidak bisa terima otp dari sms maupun call
+netral,cek dm lagi min
+negatif,Diskon pesawat kek min
+positif,Mantab Langsung buka aplikasi
+netral,Yuk Kak quality time atau me time sambil nyusun wishlist dan goals di 2023 -AH
+negatif,Ketemu cowo hindu
+negatif,CS nya semua cumq kayak robot mesin. asal reply dengan template. Tidak ada komunikasi yg baik untuk menyelasaikan masalah.
+negatif,Udah segala cara saya coba tapi kok naknya tidak ada tanggapan yang benar ya. Semua chat ke cs tanggapannya hanya template. Tolong hargai upaya customer. Masa sudah 2minggu tidak ada kejelasan. Tidak professional sekali
+netral,Ngajak istri bisa kali y
+netral,oke min tolong tambahin kuponnya ya aku dm email ku
+netral,minn promo mastercard kenapa out of stock besok ada lagi ga
+negatif,maaf udah ga sabar bulan madu yg ke 117. -LM
+netral,Se tgl brp nih Pgn staycation
+positif,Ini dia yg aq tnggu
+negatif,masa berlakunya se kapan min mauuuuu
+positif,Makasih ya Kak udah retweet. -CA
+positif,Enaknya ngajak siapa yhh
+netral,"halo min minta tolong check dm ya, ada urgensi dari penumpang mengenai ketidakprofesionalan mitra dan penumpang sangat butuh bantuan, tindakan admin, makasih"
+positif,"tempat kerja yang seruu, bos dan temen temen kantor yang baikkkk banget trs temen temen kuliah yang baik baikk juga"
+negatif,"Tapi min, barusan cek tiket kereta Jayakarta kok tulisanya EKO ya Bukannya semua gerbang Jayakarta kursinya tipe PRE"
+negatif,Iye ngab hadeuh
+positif,"Selalu semangat kakkk, makasiii kakk"
+positif,Semoga 2023 bisa lulus terus dapet rejeki ke korea amiin
+netral,"halo min, kalau refund tiket pesawat di traveloka, akan di kembalikan berupa uang atau travel kredit ya"
+netral,min penerbangan domestik dengan maskapai garuda tanggal 12 januari dipagi hari gada yaaa
+netral,"siang min, kartu bri traveloka saya mau expired min. Perpanjang nya gimana ya"
+netral,ini min shafamaulidia12
+netral,cek dm dong
+positif,Aku pingin bisa bener2 ditahun 2023 ka Hohoo
+netral,"minnn cek dm yaa, urgent niii"
+netral,cek dm ya tlg
+netral,min klo pesan hotel include makan malam dan berakfast ada kah
+netral,"kak mau tanya, akupesen lwt traveloka tp kok di pesanan sy gaada y"
+negatif,"udh saya bales, adminnya blm balas lg"
+netral,tolong bales lg min
+netral,min. cek dm ya
+netral,min cek dm yaa
+netral,tolong dibantu cek dm
+negatif,kui lo min di kon ngecek dm
+netral,Kak bales chat ku dongg
+netral,promo waktunya ngegas mulai tgl brp
+netral,Sudah saya kirim tolong di cek
+negatif,Sama aja boong kl duitnya ditahan 2 se 5hr .. pdhl kesalahan pada .. ngapain jg suruh bayar kl udh tahu flightnya ga bisa direschedule .. ga profesional banget service-nya ..
+netral,saya ada double bayar bisa tolong di bantu untuk pengembalian dana.
+negatif,"payah sekali after sales servicenya.Complain sudah 11hari, setiap hari follow up hanya dijawab dengan template sama dgn cs yg berbeda.Brp lama traveloka bisa menyelesaikan masalah dengan real actionurusan travelokamaskapai yg membatalkan sepihak tapi cust rugi"
+negatif,Dipertemukan dengan orang yang salah
+netral,cek dm min
+netral,"bales dm kak, urgent"
+negatif,"vendor penagihan paylater nya pake apa sih selaras2 apa tu perusahaan gede kaya traveloka pake vendor penagihan abal2, udah bayar tagihan masih aja nanya bukti pembayaran. mana ga pada punya sopan santun buat ukuran nagih orang yang udah bayar."
+positif,baik mkasih
+netral,halo... apakah pembelian tiket kereta bisa refund ya apakah bisa saya dm
+positif,SEMANGAT
+negatif,"Jadi rajin olahraga, yoga dan badminton. Kayak bener-bener serutin itu"
+positif,Traveloka malah lebih informatif. Dikasih lengkap tulisan premium economy. Di aplikasi KAI access malah cuman kode PRE
+netral,Min Tolong cek dm.
+negatif,Semua buruuukk
+positif,Plan liburan ke bali dan thailand nih di 2023. Semoga lancar rejekinya
+positif,Seru banget nih pasti liburan bareng keluarga besar mana diskonnya gede lagi aw
+positif,Wahh mantap nih liburan traveloka ngadain promo besar2an
+positif,Semua urusan lancar dan ada rejeki ajak anak2 liburan ke singapore. Hihi. Aminnn
+positif,"Semoga rejeki makin lancar, liburan makin jos"
+positif,"pengen ajak liburan mamah mamahku pasti happy banget kalau aku ajak jalan-jalan, meskipun cuma dilingkup Indonesia, contohnya Bali."
+netral,"mau jalan-jalan... kemana aja, bali boleh, nanti nginep divilla sama keluarga, spend my time for them."
+positif,wish list banget pengen spend time ke Raja Ampat. semoga tahun depan kali ini bisa kecapaian deh
+netral,"berkali kali gagal buat main ke Bandung, bahkan keliling Jakarta belum keseann :"
+netral,Udah min
+netral,"Wishlist tahun depan pengen jalan ke bali, mau belajar surfing sabi kali"
+positif,Pengen deh liburan bareng keluarga atau temen Kalo ga ada nemenin juga gpp yg penting liburan
+positif,Moga kesaian liburan bareng ortu ke labuhan bajo
+netral,"Wishlist tahun 2023, bisa honeymoon ke 2 dengan pasangan"
+positif,Makasih mimin
+positif,2023 mau liburan ke sumba. Amin
+positif,"Makin hoki, banyak promo traveling murmer biar bisa sering staycation"
+positif,"Semoga Tahun baru yang datang, menjadi lebih baik dari sebelumnya Kak. -NT"
+netral,Udah nabung buat tahun depan bawa ortu liburan
+positif,Wishlist terpenuhi
+positif,Ngatain perasaan sedalam2nya ke kluarga
+netral,Pengen banget liburan keliling Indonesia
+netral,Mau ke jepang
+netral,hayu kita pergi bareng min
+positif,Semoga tercapai semuanya
+positif,Mau makan ramen langsung di tempatnya
+positif,Wishlist terpenuhi
+positif,Wishliat terpenuhi semua
+netral,Mau ke jepang
+netral,Mau main ke luar negeri
+positif,Pengen nyatain bahwa aku sebenernya sukaaa sm dia ea
+netral,semoga tahun 2023 bisa pergi ke Singapura amin
+positif,mauu keliling indonesia asliii
+netral,2023 semoga bisa liburan ke Korea
+positif,Alhamdulillah tahun ini lebih baik moga tahun selanjutnya lebih baik lagi
+netral,Boleh banget dong Kak. Yuk cek segera aplikasi Traveloka kamu. -AH
+netral,"Masih bingung mau liburan kemana nihhhh, pengennya naik wahana wahana gitu deh bareng adeku. Atau pengen wisata air gituu"
+positif,Gak berasa yaa udah tahun baru aja saatnya liburan kita santai santai bareng traveloka hehe
+netral,wishlist ku tahun ini pengin ke bali bareng cwo aku hihi
+netral,pengin liburan ke labuhan bajo di tahun baru
+netral,pengin deh liburan tiap bulan
+netral,semoga wishlist tahun ini buat ke bali tercapai
+netral,semoga bisa ajak ortu ke labuhan bajo
+netral,pengin liburan ke bali di 2023
+netral,whislist pengin liburan rutin tiap bulan semoga kecapaian
+positif,"belum kecapaian liburan ke bali, semoga tahun ini"
+positif,Kalau bisa sih akhir tahun ini bisa ada me time dan enggak diganggu lemburan wkwkwkw aduh gue pengen banget ke pantai wak
+positif,kayaknya seru tahun baru ke pantai deh
+positif,semoga bisa ajakin keluarga ke luar negeri
+netral,pengin ke korea siapa tau ketemu jaemin huhu
+negatif,Heheheheh pengen ke bali belum jadi nih tahun ini banyak kerjaan capek pisan
+netral,whislist pengin bawa keluarga ke korea
+positif,Moga makin banyak kesempatan buat travelling
+positif,"Hello 2023. Semoga usaha makin sukses, supaya bisa healing2 seru"
+positif,Bisa naik pangkat biar makin banyak rejekinya buat liburan.
+positif,Moga aja tiket hotel makin murah tahun depan. Jd bisa sering healing
+positif,Semoga bisa ajakin ortu liburan ke labuhan bajo
+positif,"Akhir tahun mau tidur ajalah biar tidur setahun : tapi janji 2023 gue bakal jalan jalan, menikmati libur pokoknya"
+netral,Liburan tiap bulan biar ga stress. Hihi
+negatif,bisa aja keluarga ke luar negri semoga aja
+positif,Mau ke bali please 2023 gue kangen banget bali woooyy T_T
+netral,wishlist pengin ke korea
+negatif,semoga tahun ini bisa kebali wkwkw
+positif,"2023, bisa dpaat tiket murah ke singapore. Aminnn"
+positif,Semangat cari cuan buat pergi healing ke bali
+negatif,"Ga neko neko sih karena tahun ini gue gagal jalan ke sunatra, tahun depan gue mau solo travel ngambil jatah libur ke sana"
+positif,Semoga bisa ke raja at yak tahun depan
+negatif,Pengen mainn sama ayang ga siii wkwk
+netral,Pengen liburan ke labuhan bajo di 2023
+negatif,"Pengen liburann kemanaa ajaaa, cape samaa tugass"
+netral,Sebel 2022 jarang liburan. 2023 lebih sering lg yukk.
+positif,"Setahun ini gue kurang waktu manjain diri sendiri, 2023 gue akan jalan jalan panjang hahah ke thailand :D"
+netral,"Pengen ke luar negerii, bismillah 2023"
+netral,"Mau bawa nyokap jalan jalan tahun ini belum kesean, insyaallah tahun depan sabilah bawa nyokap jalan ke yang beliau mau"
+netral,Semiga disegerakan ke eropa bareng keluarga
+positif,"Pengenn main ke koreaa, bismillah"
+netral,mau ajak keluargaku ke Bandung naik kereta dan pergi ke banyak destinasiii
+negatif,keliling Jogja malem-malem dan jajan dijalanan masih menjadi wishlist berat
+positif,"Mau ke raja attt, surgaa duniaa wkwk"
+netral,"Tahun baruan kali ini pengen banget trip ke bali, buat self reward yang dah kerja selama setahun ini."
+netral,"Pengen keliling kota, liburan berdua sama orang yg disayang"
+positif,"barengg ayangg ke banda neira,, aaa mauu bgtt"
+positif,"Akhir tahun mantai kayaknya seru nih, apalagi bareng keluarga"
+netral,Pengen ajak doi healing muter muter naik motor
+netral,pengen habisin waktu bareng temen pergi ke wahana mainan
+positif,Menyambut tahun baru enaknya jalan jalan ke tepi pantai
+positif,Please be nice 2023. Sekoga makin banyak promo murmer buat traveling.
+netral,"Pengen picnic barengg keluargaa tercinta, udh lama ga qtime bareng"
+positif,"Saatnya memanjakan diri bersama keluarga, healing akhir tahun"
+netral,Pengen solo leveling wkwkw maksudnya solo travel di jawa nih belum jadi jadi
+netral,"mumpung januari udah mulai kuliah ngekos, pengen ngabisin malem tahun baru bareng keluarga dirumah"
+positif,"Pengenn nanjak, udh lamaa pengen nyobainn"
+positif,keinginan utama aku yaitu jalan-jalan di Pulau Komodo dan ngamatin komodo seharian
+positif,semoga 2023 bisa nyer temenku yang ada di Korea dan travel
+netral,"mau ajakin orang tua keliling Indonesia, dari Sabang sai Meraoke"
+positif,Doain ya min semoga tahun baru bisa jalan2 bareng keluarga
+netral,Pengen liburan ke bali bareng keluarga besar
+netral,Pengen bgt liburan ke Raja Ampat. Masih nabung biar bisa terwujud.
+positif,"Kayaakk, yg nggak kecapai itu nggakpapa. Ada yg lebih dikesempatan lainn"
+netral,Pengenn pergi liburan akhir tahunn beberapa harii sama keluarga
+positif,"Jepang adalah willshit healingku, semoga tercapai"
+netral,hmm.. yang kependem sih banyak.. tapi selalu pengen ke Paris dan liat lunya nyala pas malem
+positif,"Pengen trip agak jauhan dikit aja sih, klau bisa jauh banget wkekwk. Kemana aja sih oke karena udah gk bingung lagi karena ada traveloka"
+netral,Ajak keluarga healing ke pantai akhir tahun
+positif,besok malem tahun baru mau bakar bakar dirumah bareng keluarga semoga acaranya lancar
+netral,Healing kemana mana bareng keluarga
+positif,ga kesean buat banyakin me time dan memanjakan diri. untungnya bisa jalan ke solo besok
+positif,Ajak mama papa healing ke labuan bajo pasti seru
+positif,Wishlist jalan jalan ke jepang sama keluarga
+negatif,pengen nyerin temen pena di Malaysia ga kebayang gimana senengnyaa
+positif,pengen seru seruan bareng bestieee biar kepala ga mumet mumet amat abis bikin laporan akhir tahun
+positif,"Pulau sumatera kamu adalah targetku yang harus aku explore tapi belum kesean, bismillah yaaa tahun berikutnya bisa kesean explorenya"
+netral,"Bareng² keluar negri sama kk, kuliah disana"
+positif,pengen quality time bareng temen keluarga. semoga kesempatan di 2023 lebih banyak dari 2022
+netral,Bisa ajak keluarga ke luar negri. Semoga yak
+netral,Pengen ke jepang wehhhh
+netral,"Ke Korea, mau ketemu Oppa hehe"
+positif,Pengen seneng2 sebagai reward atas perjuangan selama setahun. Pas bgt ada diskon hehe
+positif,Liburan rutin tiap bulan moga2 terwujud. Aminnn
+positif,"PENGENNNN BANGETTTTTTT ke Bali dan healing sama keluarga, biar bisa capture memories"
+netral,Pengen ngajak bapak ibu healing ke danau
+positif,"Honeymoon ke bali, bareng ayang"
+positif,"kangen banget jalan jalan sama keluarga, pengen lagi deh tapi kemana yaa enaknya hmm"
+netral,malem akhir tahun nanti pengen nyatain perasaan ke mas crush pas lagi nonton kembang api di bogor
+positif,"Pengen banget ke baliii, jalan2 sama keluarga"
+netral,"Mau nonton konser dari 3 cuma kejadian 1, semoga 2023 gue bisa dateng yang diharapkan"
+positif,Pengen banget ajak keluarga ke Mekah
+positif,pengen deh ngajak keluarga liburan bareng kemana gitu yang bikin mata jadi segerr
+netral,belum kesean buat liburan bareng sama temen. semoga 2023 goes to Bandung Bali
+netral,"Doain min biar bisa umrah sama keluarga, terus healing disana"
+netral,"Jerman, kamu jadi tujuan utama saya dan masih belum dikasih kesempatan untuk kesana. Bawa ak ke sono yuk traveloka"
+netral,Ajak anak ke Disneyland Singapore dong
+netral,masih ngincer beasiswa di luar negeri semoga 2023 ada jalannya..
+negatif,"akhir taun gini emang seruu jalan jalan, bingung ni mau ke laut apa gunung"
+netral,"Kalau bisa mau jalan jalan ke daerah yag belum pernah aku datengin tahun ini, buat 2023"
+positif,Pas banget akhir tahun pengen liburan bareng keluarga ke kung halaman deh
+netral,2023 pengen ke jepang si
+netral,Pengen liburan ke jepang
+netral,Aku tuh ya pengen banget ajak keluarga liburan bareng bareng belum kesean niihhhh
+positif,otw liburan gas ngeng karena travelokaaa ngadain promo besar besaran
+positif,"Ke jogja bareng keluarga, me time bersama keluarga"
+netral,"Awal tahun nanti rencana mau ke Bandung, semoga lancar"
+negatif,Duh ga sabar mau liburan bareng keluarga
+netral,"Mau liburan sama keluarga kalau bisa tahun depan, permintaan bokap soalnya"
+positif,"Horeee... waktunya shantaaayyy, libur telah tiba... langsung cuzz traveloka"
+netral,"Mau me time dengan cara solo trip kayak sebelum pandemi, gak sah jauh² deh deket² aja kayak nusa penida pake traveloka biar gang"
+positif,Pengen banget deh liburan ke lombok
+positif,"Sesekali lah me time asik nih mau jalan jalan kita, siplah akhir atau awal tahun ini digaskan pas dapet liburan"
+positif,Liburan enaknya kemana yah
+netral,"Kebetulan anak libur panjang nih tahun baru, mau ajak keluarga buat liburan ah"
+netral,"Pengen banget liburan, cek-cek dulu"
+netral,"Udah prepare nih, awal tahun mau liburan 5 hari ke Bali"
+netral,Pengen banget liburan biar bisa healing
+positif,"Enggak kesean jalan jalan ke luar pulau jawa tahun ini, tahun depan harus dapet, amiinnn"
+positif,"Asyik, ini dia yang dicari, bisa liburan tanpa harus kering kantong"
+netral,Pengen liburan ke raja at bareng keluarga
+netral,"Pengen ajak orang tua liburan, kemana aja yang penting bisa liburan bareng"
+positif,"Liburan yg murah meriah aja lah, mau ke Ragunan nanti"
+positif,"Kmrn abis liat story temen abis liburan ke Tanjung Aan Lombok, jadi pengen juga. Semoga bonus akhir tahun cepet cair"
+positif,"mau ajak temen temen ah liburan bareng, pasti seru banget"
+positif,"Saatnya memanjakan diri alias healing wkwk me time maksudnya, pengen ke pulau seribu wak solo travel aja pasti bagus bagus pulaunya"
+positif,"Pokoknya pengen banget ajak keluarga jalan², nginep di hotel seru seruan"
+netral,"pas banget kuliah lagi libur,enaknya liburan kemana ya masi bingung"
+netral,Liburan akhir tahun mau keliling Jogja aja sih paling
+positif,Mau banget me time bareng keluarga sekalian ini bakal seru banget heung mau semoga terwujud secepatnya 2023 laahh
+positif,"Udah berencana liburan bareng temen awal tahun nanti, capek cuy kerja setahun gak dpt liburan. Saatnya menikmati hasil"
+positif,Horeee... saatnya berlibur hemat. Serbu traveloka
+netral,saatnyaa liburan di hotel mewah dengan promo traveloka
+netral,"Ada rencana mau nginep di villa Puncak sih, 2 hari cukup lah"
+positif,"Tahun ini lagi pengen main ke Puncak, kayanya seru dehh"
+positif,Jepang masih jadi tempat tujuan paling gue pengen datengin ya aduh gusti bawa aku segera kesanaaa
+positif,Dari dulu pengen bangett naik pesawat trus liburan bareng keluarga trus nginep di hotel mewah semoga secepatnya deh bisa kesaian
+netral,"Liburan tahun baru bareng keluarga, niatnya sih mau ke Jogja nanti"
+netral,"Rencananya tahun dpn mau liburan ke Bali, semoga dilancarkan buat diwujudkan ya"
+netral,"Yang mau liburan bareng keluarga, kuy"
+netral,"Anak ngajakin ke Sea World, pengen liat ikan² katanya"
+netral,belum ke sain liburan ke jogjaaa rencanaa tahun baru nanti
+positif,"amiin , makasih yaa min doanya"
+positif,Ini baru keren... anak kos macam aku bisa liburan nih kl diskon2an gini
+netral,"Udh nabung dr awal tahun, rencana buat liburan di awal tahun depan nih"
+netral,"Pengen main ke ntt, ketemu komodo hehe"
+positif,2023 cus liburan bareng sekeluarga
+netral,"Mau liburan ke TMII sih, kan abis direnovasi tuh, jadi penasaran"
+positif,"pengen dehh staycation di hotel mewah, ini momen pas banget traveloka ada promo"
+negatif,"Pencari diskon, serbuuu"
+positif,Mantap banget Semoga tahun ini bisa liburan ke Purbalingga bareng mama amiin.
+positif,"cocok akhir tahun nihhh, apalagi banyak diskon di traveloka"
+negatif,Udah ada rencana pingin sekalii aja ngerasain liburan sendiri ala² me time gitu. Ketempat yg bikin stres ilang pokoknya
+netral,Pengen ke Bali nyusul mama sama adik yg lagi liburan huhu
+positif,makin semangat nabung buat liburan biar ga pusing mikirin biaya
+positif,"udah siap banget buat liburan, tinggal milih destinasinya aja niihh"
+netral,mau ajak keluarga liburan pake diskon di traveloka
+netral,"2023 mau healing ah, udah nabung dr lama. Mau nikmatin me time"
+positif,"PAS BANGET SIHHH DISKONNYA di saat liburan gini, wacana mau jalan bareng temen atau keluarga bakal jadi ini mah"
+negatif,"tabungan udah ada, tinggal nunggu partner jalan jalannya nih wkwk"
+netral,Tahun baru nanti sih rencana mau ke Jogja
+positif,"pingin banget tahun baruan di korea bareng keluarga meningkati indahnya seoul, semoga next time bisa kesana"
+netral,"mau nabung dulu, semoga bisa liburan pakai traveloka nanti"
+netral,Pengen banget liburan ke luar negri bareng traveloka
+positif,"Wih seru banget kalo ada kupon gini, liburan makin asikk. Pengen banget ke luar kota deh, rencananya mau ke Jogja. Tapi bimbanggg, Jogja atau Lung yaaa apa dua duanyaa"
+netral,"wishlist liburan buat thn ini ada yg blm nih, pindah jd buat thn depan salah satunya ke Labuan Bajo"
+positif,Akhirnya keuanganku mendukung nih untuk bisa ajak keluarga liburan ke Jogja
+positif,"tahun baruan di new york jadi salah satu impianku, semoga bisa terwujud"
+positif,"Pokoknya 2023 hidup gue harus seru banyak liburannya. Gak kerja melulu, semoga bisa nikmatin hasil usaha gue"
+positif,Wah pas banget lagi nyari diskonan buat liburan tahun baru
+negatif,"Pengen bgt bisa ngajak vacation bareng keluarga besar ke Bali, bener2 butuh healing lagi burn out parah"
+positif,Duh Promonya menggiurkan buat tahun baru bareng keluarga Otw cek voucher dari traveloka
+negatif,Sekali² pengen liburan bareng temen² ke tempat yang pemandangannya bagus kek alam² yg fresh gitu deh. Kan bosen kalau main di mal² terus
+positif,"pengen staycation ke bali deh, seru pasti"
+netral,Udah ada rencana pengen liburan ke luar kota tapi tabungannya masih blm cukup
+positif,"Bali salah satu tempat yg pengen bgt didatengin, lg nabung nih buat liburan ke sana"
+netral,Kebetulan semenjak covid anak blm pernah diajak liburan di pantai. Semoga tahun baru
+netral,Letsgo menuju 2023 penuh healing
+netral,"Mau liburan sama anak istri, staycation di hotel mewah"
+positif,"pas banget deh ada diskon gini, dari sejak uts udah ada wacana mau liburan jalan jalan bareng temen pasti seru bangettt"
+positif,Traveloka emang pengertian bangett akhir tahun banyak diskonnya
+netral,"Pengen diajak liburan dan nginep di hotel mewah, semoga bisa terwujud di tahun ini..."
+positif,"pingin ajak keluarga buat jalan2 ke Bali, nginap di hotel bintang 5, semoga secepatnya terwujud"
+positif,pengen bangeett jalan jalan sama temen
+positif,Me time seru kali ya menikmati hasil nabung sambil healing sendiri
+positif,"pengen bgt nih bisa liburan sama keluarga, semoga tahun depan bisa terlaksana"
+positif,hmm harus liburan kemana akhir tahun kali iniiii harus seru seruan sih
+positif,Masih banyak wishlist liburan yang blm tercapai tahun ini. Alhamdulillah 2023 ada plan walaupun pelan2 wujudinnya
+netral,"mau nabung untuk healing, next time"
+netral,"Udah pengen banget liburan ke Labuan Bajo, semoga rencana tahun ini bisa berangkat liburannn.."
+positif,"Pengen deh ajak keluarga holiday kemana gituu , semoga bisa segera terwujud"
+netral,"Blm kesean deh bulan madu gara2 covid, pengen ah awal tahun ini"
+netral,Mau liburan bareng ayang ke bali xixi
+positif,"Udah lama banget ga liburan sekeluarga, semoga bisa segera terwujud"
+positif,"wiii akhir tahun gini cocok banget pergi bareng keluarga besar, seru pastiii"
+positif,Pengen banget staycation bareng temen2 ke tempat2 yang estetik tpi belum kesean trus pertama karena uangnya kedua karena waktunya. Selalu tidak sikron :
+positif,"pingin me time ke Labuan Bajo, semoga bisa terwujud secepatnya"
+netral,Pengen banget akhir tahun liburan bareng keluargaa:
+positif,"Mimpi yang belum terwujud dari dulu tuh pengen liburan bareng sekeluarga pas tahun baru ke Bali, semoga bisa deh ya"
+negatif,Sekali2 pengen deh staycation ke hotel healing gitu biar pikiran fresh lagi
+negatif,"pengeennn liburan ngeliat langit dan awan tapi pasti abis itu cape trus butuh hotel, ke gunung apa ya kira kira"
+positif,duh semoga bisa terwujud liburan bareng keluarga
+positif,Pass banget akhir tahunan bareng keluarga nii gaskeunnn
+netral,"Tahun baru tinggal besok , saatnyaa berburu promo dadakan di Traveloka"
+positif,"akhir tahun ini pengen banget ke pantai deh, dimana sih yang bagusnya kalo liburan ke pantai"
+netral,Wihhh pengen banget liburan ke bali semoga tahun depan bisa ke bali main dipantai hehehe
+netral,wishlist ku tahun depan bisa liburan ke Bali sama cowokku hihi aminn
+netral,"belum kesaian liburan bareng keluarga, rencana tahun baru ini"
+negatif,"saya udh booking hotel dan sudah bayar, bisakah saya ganti hotel tanpa refund Karena saya liat orang2 banyak marah refund nya lama"
+netral,Pengen banget ngajakin mama ke Bali nginep di hotel sambil liat sunrise bareng
+negatif,"Ga ada, dah pasrah"
+positif,"Mencintai diri sendiri itu perlu dan harus dilakukan terlebih dahulu. Sudah melihat versiku paling rusak, namun menemukan versiku paling kuat."
+positif,senang bertemu dgn mu
+positif,Pengen ke Baliiiiiii sama keluargaaaa. Udah terpendam sejak setaun yg laluu. Karna kalo sama keluarga pasti Jogja lagi Jogja lagiii : Sekali sekali ke Baliii yuuukk.
+positif,Semangat menyambut tahun baru Kak. -PA
+positif,temen yg baik
+positif,Tiket pesawat murah di tiket. Com
+positif,Banyak belajar tentang hidup.
+netral,min ada voucher diskon buat kereta nga min
+positif,"alhamdulillah banyak, terima kasih tuhan semoga taun depan dan tahun tahun berikutnya hal hal baik akan terus terjadi di kehidupan semua orang amiin"
+netral,diakhir tahun ini aku bersama orang yang aku sayangi. ya ayang ya ortu
+netral,kalau ada yang gakepake mau dijual kabarin yaa
+netral,kalo ada yang gakepake dan mau dijual kabarin yaa
+positif,mengikhlaskan nya dengan baik baik
+negatif,"Ngak bisa liburan, Minus saldo."
+positif,selalu always gapernah never
+netral,Putraku berumur 1 tahun
+positif,bisa hidup sendiri haha alhamdulillah
+positif,"Tahun ini penuh kejutan, awal tahun pindah ke perusahaan yg lebih besar, tengah tahun lanjut S2, eh putus dari 4 tahun hubungan, akhir tahun Allah ngasih laki-laki yg baik bangeeet"
+netral,Udah di DM ya
+positif,"Banyak banget. Lulus, wisuda, tawaran kerja, balik ke rumah, ga nomaden lagi, kumpul bareng keluarga. Ah banyak banget ya Allah."
+netral,bisa bantu saya
+positif,ketemu sama org baikk
+netral,Jawabannya ada di kata ke-12
+positif,banyak bertemu orang baik
+positif,Pendewasaan diri dan bertemu orang orang baru serta pengalaman dibalik gempuran mental dan fikiran yang datang bertubi-tubi
+positif,"Diberi kesehatan sepanjang tahun, keluarga masih utuh, masih kerja. Tambahan lainnya, bisa punya tanah setengah hektar lebih dan kesean jalan jalan ke negara Georgia, yg tiap harinya bisa nyobain wine di negara pecahan uni soviet itu. Alhamdulillah nikmat luar bisa tahun ini."
+positif,bisa se ke Mekahh
+positif,Ketemu eaaaa
+negatif,Gaada ekwk
+negatif,Kalau engga ada pilihan berarti engga bisa milih ya Berarti acak
+positif,Lebih damai dengan diri sendiri setelah 4 tahun mencoba belajar untuk menenangkan diri dari masa lalu
+positif,semoga baik sj
+netral,soalnya makan semen tiga roda
+positif,dikasih pundak yg kuat dan sabar
+positif,Iya kak Alhamdulillah bngt
+negatif,Aku udah nggak self harm lagi
+netral,Dapet kerjaan disalah satu cabang bank korea yg di Indonesia
+positif,"Banyak kali doa yg dikabulin ditahun ini, sama persis sama yg aku minta. Sedetil itu Tuhan nyusun skenario buat hambaNya"
+negatif,ketemu orang yg ngubah smwnya jd dewasa tp sementara
+positif,"Aku dihajar habis2an sama orang2 yg aku percaya di thn ini dan aku selemah itu, but i found that aku ternyata kuat bgt masih bisa haha hihi pergi kerja main dsb padahal hati dan pikiran penuh sesak, and finally aku jd bisa lewatin semua kek waaaah aku kok bisa, makasih aku"
+negatif,gak semua yang dipikirin itu kejadian
+positif,Mulai memberianikan diri untuk lebih percaya dan yakin pada keputusan diri sendiri.
+netral,Cek dm min
+negatif,Cek lagi min. Ga solutif amat solusinya. Mau ganti periode cicilan aja ga bisa
+netral,Acc dospem 1 dan 2
+positif,Menemukan seseorang yg hatinya baiiiiiik banget.
+positif,"gaono, yaa semoga baik sj"
+positif,"Punya banyak temen baik, aku dan keluarga sehat, dan rejeki alhamdulillah lancar"
+netral,Bismillah.....
+negatif,Kisah cintaku ternyata ga sedi2 amat semenjak tau kisah norma
+positif,Menemukan sisi lain dari aku yang lebih kuat dari yang aku bayangkan sebelumnnya
+positif,melihat seorang ibu yang berjuang di tengah hujan dan panas supaya anaknya bisa makan..ini momen luar biasa bagiku untuk tahun ini...sekaligus jadi reflections moment for me :
+positif,"Teman baru yang asik kek mega dari jogja,yang seberani safa dari jateng yang sok bet asik tapi lucu kek sina dari jkt dan tentu ilmu dari coach nasional"
+positif,Ak jd hobi berdoaaaaa. Apalagi doain danur dan el
+positif,"Lulus kus mengajar, lulus wfh OJ6 dan 7, sehat, keuangan lancar, buka tabungan haji, orangtua sehat, dan lainnya"
+positif,"di taun 2022 ini ya alhamdulillah kepalanya jd 2 dan agak membuat berat dikit yh, lumayan asik si PP gegara kuliah offline jd ada effortnya walopun se sana turu dan telat wkwk, dapet asprak yg awikwok dan skrg lg minta disupport, smg aku g jadi badut"
+positif,mencintai aku
+positif,Banyak rejeki dan dia
+positif,"aku bisa jadi lebih hemat dibanding taun kemaren, meskipun baru belajar cuma se-enggaknya keuanganku jadi lebih stabil alhamdulillah"
+positif,"Eh tapi hal2 baik itu bukan terjadi sama saya, min.. maksudnya saya lihat banyak hal2 baik selama 2022."
+positif,"Banyak banget, min.. suwer deh.. 2022 banyak hal2 baik."
+negatif,"Masih bisa waras, ditengah gempuran banyak hal yang bikin ga waras."
+positif,mukjizat yg bener2 nyata
+negatif,apakah punya kebijakan ganti rugi atas pelayanan bus yang buruk dan tidak sesuai dengan yang tertera di aplikasi
+positif,Alhamdulillah banyak
+netral,Ok saya dm ya untuk detailnya
+netral,mixue belum ada disekitar rumah
+netral,Iya kak nah ini saat pengisian data diperlukan nomor passpor kan ya saat pemesanan tiket
+netral,Saat ingin memesan tiket pesawat ke luar negeri apakah dibtuhulan nomor passport dkk saat pengisian data pemesanan tiket sblm pembayaran
+positif,banyak orang yang mengasihi saya
+positif,"bertemu banyak orang baik yang mau membantu tanpa pamrih, dan alhamdulillah dipertemukan dg orang yang aku sayang banget"
+netral,Ketemu banyak orang-orang baruteman-teman baru
+negatif,Masih bisa kerja dan nabung. Dah itu aja.
+positif,Memaafkan diri sendiri untuk segala sesuatu yang sudah terjadi
+netral,"ppp admin gabut gk, ayo chat an"
+negatif,"2022 gada yang berjalan baik, tapi hal baik yang aku temukan adalah AKU yang masih tetap baik2 saja"
+netral,"Liburan pake traveloka , mulai dari tiket kereta e nginep pake traveloka semua"
+negatif,kadang hal yg nyakitin bisa ngasih dak baik
+positif,"Sabar, syukur, dan nerima"
+negatif,Jangan terlalu berharap sama manusia manapun.
+negatif,Tetap bisa berbagi walau keadaan sulit/sempit
+positif,"banyak rezeki dan lumayan dpat bnyak pengalaman juga kesehatan, MasyaAllah"
+positif,Lebih sabar dan ikhlas dari tahun sebelumnya
+positif,Punya pekerjaan meskipun cuma 2 minggu tapi sangat berkesan bngt.
+negatif,ngerep kosongan gak bisa ya
+negatif,"aku menemukan diriku,yg berani bilang gak karna selama ini selalu iyaiya aja"
+negatif,"sending me a job, ga nyangka sama yg ini"
+positif,Kamu
+positif,"alhamdulillah seiring berjalannya waktu, saya semakin bisa menerima takdir, dan 2022 ini saya belajar banyak hal baik, meskipun kebiasaan buruk masih sering saya lakukan"
+negatif,"Ga perlu nyenengin orang mulu, bukannya egois tp coba lebih sayang sama diri sendiri. Mikirin orang yg prioritas2 aja. Ga perlu cape2 jelasin berkali kali ke orang untuk membela diri, kadang ada orang yg emang gamau memahami apa yg km komunikasiin. Yaudah ga perlu dipaksa."
+negatif,Jadi rutin baca dzikir dan lebih pasrah untuk semua hal yang dijalani dan dialami
+positif,Udah mulai bisa mencintai diri sendiri
+positif,Mulai tahan banting diomeli bapak karena udah biasa di 2022
+positif,Banya bangaat bingung min. Tp sala satunya jd lebi suka olahraga pdhl dr dulu gaprna mau hahah alhamdulillah
+positif,Bisa kuat bertahan walaupun banyak sambat dan nangis tapi tetep bisa hahahihi
+positif,menuju akhir tahun banyak menemukan hal hal yg baiiik
+positif,"Ketemu temen temen baru yang super duper baik, ketemu mba galuh yang udah anggep aku kaya adik sendiri"
+positif,Mencintai diriku sendiri dan duitku
+positif,Masih diberikan kesempatan untuk hidup dan berusaha menjadi lebih baik
+positif,Banyak rejeki n temen2 baru
+positif,Mau menerima kekurangan diri dan selalu prioritasin kebahagian diri sendiri. Doain min tahun depan bisa traveling kemanapun berada pake traveloka tentunya. Banyakin promo ya
+negatif,"Lebih belajar menerima apa yang ga disuka, lebih berdamai sama diri sendiri, tau tentang artinya kerja keras dan merelakan"
+positif,Bisa nyenengin orang tua
+negatif,Ketemu ma calon mantan
+positif,punya banyak temen yg baik
+positif,"Semangat juga untuk kamu, Min. -ILY"
+positif,Ternyata tetep bisa produktif meski di rumah saja.
+negatif,Istri hamil setelah menunggu 5 tahun
+positif,"Lebih dewasa, lebih mengerti, berdamai sama diri sendiri"
+positif,mungkin gak banyak yg paham.. tapi aku harap orangnya tau tweet ini wkwkwk
+netral,"min buat pengguna baru, ada kode kupon/promo buat ke dufan ngga"
+negatif,kerabat jauh
+positif,"Hal baik yang ditemukan tahun ini yang pasti lebih sabar kak dalam menghadapi segala hal, terus berdamai sama diri sendiri juga karena bisa meredakan nafsu agar hidup bisa lebih tenang kak"
+netral,cek dm mun
+positif,Alhamdulillah..dinotis gini aja dah seneng.
+netral,Sudah saya kirim via DM min.
+netral,"minta CEK DM min , bales"
+netral,min cek DM dong. makasih
+positif,Kerenn bangettt kakkk semoga suatu saat bisa naikkkk
+netral,min cek dm
+positif,Bisa ke beberapa tempat yg aku senengin bgt dr dlu
+netral,tolong cek dm min
+netral,tlg cek dm ya
+netral,"Min tanya dong, pesawat di-reschedule sama maskapainya tapi kenapa e-tiket/voucher ngga diupdate dan dikirim ke email e-tiket saya masih schedule yg lama nih."
+netral,"hallo kak, pembayaran saya tidak memasukkan kode unik, bisa diproses segera nggak ya Terima kasih"
+netral,min tolong cek dm makasih
+netral,Kak udah saya dm yaaaaa
+netral,Udah ya kak
+netral,"malam min, bagaimana cara membatalkan quick ride yang untuk nanti karena saya order untuk jam 11 tapi masih mencari sopir hingga sekarang"
+negatif,Ah robot sueeee... hari gini..
+netral,Mana balas DM nya..
+netral,Udah dm
+netral,Irt ngga ada cuti miinn.
+netral,Min cek dm
+netral,Hallo cek dm dong
+netral,Dapet hadiah gak Min Kalau dpt aku kasih email aku

assets/stopwordbahasa.csv

@@ -0,0 +1,758 @@
+ada
+adalah
+adanya
+adapun
+agak
+agaknya
+agar
+akan
+akankah
+akhir
+akhiri
+akhirnya
+aku
+akulah
+amat
+amatlah
+anda
+andalah
+antar
+antara
+antaranya
+apa
+apaan
+apabila
+apakah
+apalagi
+apatah
+artinya
+asal
+asalkan
+atas
+atau
+ataukah
+ataupun
+awal
+awalnya
+bagai
+bagaikan
+bagaimana
+bagaimanakah
+bagaimanapun
+bagi
+bagian
+bahkan
+bahwa
+bahwasanya
+baik
+bakal
+bakalan
+balik
+banyak
+bapak
+baru
+bawah
+beberapa
+begini
+beginian
+beginikah
+beginilah
+begitu
+begitukah
+begitulah
+begitupun
+bekerja
+belakang
+belakangan
+belum
+belumlah
+benar
+benarkah
+benarlah
+berada
+berakhir
+berakhirlah
+berakhirnya
+berapa
+berapakah
+berapalah
+berapapun
+berarti
+berawal
+berbagai
+berdatangan
+beri
+berikan
+berikut
+berikutnya
+berjumlah
+berkali-kali
+berkata
+berkehendak
+berkeinginan
+berkenaan
+berlainan
+berlalu
+berlangsung
+berlebihan
+bermacam
+bermacam-macam
+bermaksud
+bermula
+bersama
+bersama-sama
+bersiap
+bersiap-siap
+bertanya
+bertanya-tanya
+berturut
+berturut-turut
+bertutur
+berujar
+berupa
+besar
+betul
+betulkah
+biasa
+biasanya
+bila
+bilakah
+bisa
+bisakah
+boleh
+bolehkah
+bolehlah
+buat
+bukan
+bukankah
+bukanlah
+bukannya
+bulan
+bung
+cara
+caranya
+cukup
+cukupkah
+cukuplah
+cuma
+dahulu
+dalam
+dan
+dapat
+dari
+daripada
+datang
+dekat
+demi
+demikian
+demikianlah
+dengan
+depan
+di
+dia
+diakhiri
+diakhirinya
+dialah
+diantara
+diantaranya
+diberi
+diberikan
+diberikannya
+dibuat
+dibuatnya
+didapat
+didatangkan
+digunakan
+diibaratkan
+diibaratkannya
+diingat
+diingatkan
+diinginkan
+dijawab
+dijelaskan
+dijelaskannya
+dikarenakan
+dikatakan
+dikatakannya
+dikerjakan
+diketahui
+diketahuinya
+dikira
+dilakukan
+dilalui
+dilihat
+dimaksud
+dimaksudkan
+dimaksudkannya
+dimaksudnya
+diminta
+dimintai
+dimisalkan
+dimulai
+dimulailah
+dimulainya
+dimungkinkan
+dini
+dipastikan
+diperbuat
+diperbuatnya
+dipergunakan
+diperkirakan
+diperlihatkan
+diperlukan
+diperlukannya
+dipersoalkan
+dipertanyakan
+dipunyai
+diri
+dirinya
+disampaikan
+disebut
+disebutkan
+disebutkannya
+disini
+disinilah
+ditambahkan
+ditandaskan
+ditanya
+ditanyai
+ditanyakan
+ditegaskan
+ditujukan
+ditunjuk
+ditunjuki
+ditunjukkan
+ditunjukkannya
+ditunjuknya
+dituturkan
+dituturkannya
+diucapkan
+diucapkannya
+diungkapkan
+dong
+dua
+dulu
+empat
+enggak
+enggaknya
+entah
+entahlah
+guna
+gunakan
+hal
+hampir
+hanya
+hanyalah
+hari
+harus
+haruslah
+harusnya
+hendak
+hendaklah
+hendaknya
+hingga
+ia
+ialah
+ibarat
+ibaratkan
+ibaratnya
+ibu
+ikut
+ingat
+ingat-ingat
+ingin
+inginkah
+inginkan
+ini
+inikah
+inilah
+itu
+itukah
+itulah
+jadi
+jadilah
+jadinya
+jangan
+jangankan
+janganlah
+jauh
+jawab
+jawaban
+jawabnya
+jelas
+jelaskan
+jelaslah
+jelasnya
+jika
+jikalau
+juga
+jumlah
+jumlahnya
+justru
+kala
+kalau
+kalaulah
+kalaupun
+kalian
+kami
+kamilah
+kamu
+kamulah
+kan
+kapan
+kapankah
+kapanpun
+karena
+karenanya
+kasus
+kata
+katakan
+katakanlah
+katanya
+ke
+keadaan
+kebetulan
+kecil
+kedua
+keduanya
+keinginan
+kelamaan
+kelihatan
+kelihatannya
+kelima
+keluar
+kembali
+kemudian
+kemungkinan
+kemungkinannya
+kenapa
+kepada
+kepadanya
+kesampaian
+keseluruhan
+keseluruhannya
+keterlaluan
+ketika
+khususnya
+kini
+kinilah
+kira
+kira-kira
+kiranya
+kita
+kitalah
+kok
+kurang
+lagi
+lagian
+lah
+lain
+lainnya
+lalu
+lama
+lamanya
+lanjut
+lanjutnya
+lebih
+lewat
+lima
+luar
+macam
+maka
+makanya
+makin
+malah
+malahan
+mampu
+mampukah
+mana
+manakala
+manalagi
+masa
+masalah
+masalahnya
+masih
+masihkah
+masing
+masing-masing
+mau
+maupun
+melainkan
+melakukan
+melalui
+melihat
+melihatnya
+memang
+memastikan
+memberi
+memberikan
+membuat
+memerlukan
+memihak
+meminta
+memintakan
+memisalkan
+memperbuat
+mempergunakan
+memperkirakan
+memperlihatkan
+mempersiapkan
+mempersoalkan
+mempertanyakan
+mempunyai
+memulai
+memungkinkan
+menaiki
+menambahkan
+menandaskan
+menanti
+menanti-nanti
+menantikan
+menanya
+menanyai
+menanyakan
+mendapat
+mendapatkan
+mendatang
+mendatangi
+mendatangkan
+menegaskan
+mengakhiri
+mengapa
+mengatakan
+mengatakannya
+mengenai
+mengerjakan
+mengetahui
+menggunakan
+menghendaki
+mengibaratkan
+mengibaratkannya
+mengingat
+mengingatkan
+menginginkan
+mengira
+mengucapkan
+mengucapkannya
+mengungkapkan
+menjadi
+menjawab
+menjelaskan
+menuju
+menunjuk
+menunjuki
+menunjukkan
+menunjuknya
+menurut
+menuturkan
+menyampaikan
+menyangkut
+menyatakan
+menyebutkan
+menyeluruh
+menyiapkan
+merasa
+mereka
+merekalah
+merupakan
+meski
+meskipun
+meyakini
+meyakinkan
+minta
+mirip
+misal
+misalkan
+misalnya
+mula
+mulai
+mulailah
+mulanya
+mungkin
+mungkinkah
+nah
+naik
+namun
+nanti
+nantinya
+nyaris
+nyatanya
+oleh
+olehnya
+pada
+padahal
+padanya
+pak
+paling
+panjang
+pantas
+para
+pasti
+pastilah
+penting
+pentingnya
+per
+percuma
+perlu
+perlukah
+perlunya
+pernah
+persoalan
+pertama
+pertama-tama
+pertanyaan
+pertanyakan
+pihak
+pihaknya
+pukul
+pula
+pun
+punya
+rasa
+rasanya
+rata
+rupanya
+saat
+saatnya
+saja
+sajalah
+saling
+sama
+sama-sama
+sambil
+sampai
+sampai-sampai
+sampaikan
+sana
+sangat
+sangatlah
+satu
+saya
+sayalah
+se
+sebab
+sebabnya
+sebagai
+sebagaimana
+sebagainya
+sebagian
+sebaik
+sebaik-baiknya
+sebaiknya
+sebaliknya
+sebanyak
+sebegini
+sebegitu
+sebelum
+sebelumnya
+sebenarnya
+seberapa
+sebesar
+sebetulnya
+sebisanya
+sebuah
+sebut
+sebutlah
+sebutnya
+secara
+secukupnya
+sedang
+sedangkan
+sedemikian
+sedikit
+sedikitnya
+seenaknya
+segala
+segalanya
+segera
+seharusnya
+sehingga
+seingat
+sejak
+sejauh
+sejenak
+sejumlah
+sekadar
+sekadarnya
+sekali
+sekali-kali
+sekalian
+sekaligus
+sekalipun
+sekarang
+sekarang
+sekecil
+seketika
+sekiranya
+sekitar
+sekitarnya
+sekurang-kurangnya
+sekurangnya
+sela
+selain
+selaku
+selalu
+selama
+selama-lamanya
+selamanya
+selanjutnya
+seluruh
+seluruhnya
+semacam
+semakin
+semampu
+semampunya
+semasa
+semasih
+semata
+semata-mata
+semaunya
+sementara
+semisal
+semisalnya
+sempat
+semua
+semuanya
+semula
+sendiri
+sendirian
+sendirinya
+seolah
+seolah-olah
+seorang
+sepanjang
+sepantasnya
+sepantasnyalah
+seperlunya
+seperti
+sepertinya
+sepihak
+sering
+seringnya
+serta
+serupa
+sesaat
+sesama
+sesampai
+sesegera
+sesekali
+seseorang
+sesuatu
+sesuatunya
+sesudah
+sesudahnya
+setelah
+setempat
+setengah
+seterusnya
+setiap
+setiba
+setibanya
+setidak-tidaknya
+setidaknya
+setinggi
+seusai
+sewaktu
+siap
+siapa
+siapakah
+siapapun
+sini
+sinilah
+soal
+soalnya
+suatu
+sudah
+sudahkah
+sudahlah
+supaya
+tadi
+tadinya
+tahu
+tahun
+tak
+tambah
+tambahnya
+tampak
+tampaknya
+tandas
+tandasnya
+tanpa
+tanya
+tanyakan
+tanyanya
+tapi
+tegas
+tegasnya
+telah
+tempat
+tengah
+tentang
+tentu
+tentulah
+tentunya
+tepat
+terakhir
+terasa
+terbanyak
+terdahulu
+terdapat
+terdiri
+terhadap
+terhadapnya
+teringat
+teringat-ingat
+terjadi
+terjadilah
+terjadinya
+terkira
+terlalu
+terlebih
+terlihat
+termasuk
+ternyata
+tersampaikan
+tersebut
+tersebutlah
+tertentu
+tertuju
+terus
+terutama
+tetap
+tetapi
+tiap
+tiba
+tiba-tiba
+tidak
+tidakkah
+tidaklah
+tiga
+tinggi
+toh
+tunjuk
+turut
+tutur
+tuturnya
+ucap
+ucapnya
+ujar
+ujarnya
+umum
+umumnya
+ungkap
+ungkapnya
+untuk
+usah
+usai
+waduh
+wah
+wahai
+waktu
+waktunya
+walau
+walaupun
+wong
+yaitu
+yakin
+yakni
+yang

indobert/config.json

@@ -0,0 +1,46 @@
+{
+ "_name_or_path": "indobenchmark/indobert-lite-base-p1",
+ "_num_labels": 3,
+ "architectures": [
+ "AlbertForSequenceClassification"
+ ],
+ "attention_probs_dropout_prob": 0,
+ "bos_token_id": 2,
+ "classifier_dropout_prob": 0.1,
+ "down_scale_factor": 1,
+ "embedding_size": 128,
+ "eos_token_id": 3,
+ "gap_size": 0,
+ "hidden_act": "gelu",
+ "hidden_dropout_prob": 0,
+ "hidden_size": 768,
+ "id2label": {
+ "0": "positif",
+ "1": "netral",
+ "2": "negatif"
+ },
+ "initializer_range": 0.02,
+ "inner_group_num": 1,
+ "intermediate_size": 3072,
+ "label2id": {
+ "positif": 0,
+ "netral": 1,
+ "negatif": 2
+ },
+ "layer_norm_eps": 1e-12,
+ "max_position_embeddings": 512,
+ "model_type": "albert",
+ "net_structure_type": 0,
+ "num_attention_heads": 12,
+ "num_hidden_groups": 1,
+ "num_hidden_layers": 12,
+ "num_memory_blocks": 0,
+ "output_past": true,
+ "pad_token_id": 0,
+ "position_embedding_type": "absolute",
+ "problem_type": "single_label_classification",
+ "torch_dtype": "float32",
+ "transformers_version": "4.20.1",
+ "type_vocab_size": 2,
+ "vocab_size": 30000
+}

indobert/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7acc22f7091c678b59d2953576814b63e8ed5339e7d43e4eedbd895e15cac77a
+size 46756497

indobert/special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+ "cls_token": "[CLS]",
+ "mask_token": "[MASK]",
+ "pad_token": "[PAD]",
+ "sep_token": "[SEP]",
+ "unk_token": "[UNK]"
+}

indobert/tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+ "cls_token": "[CLS]",
+ "do_basic_tokenize": true,
+ "do_lower_case": true,
+ "mask_token": "[MASK]",
+ "name_or_path": "indobenchmark/indobert-lite-base-p1",
+ "never_split": null,
+ "pad_token": "[PAD]",
+ "sep_token": "[SEP]",
+ "special_tokens_map_file": "/root/.cache/huggingface/transformers/b6b586d8d94e9bf6e42220e38946991ba8ef18d03b186ced76a4f19ae21ed603.dd8bd9bfd3664b530ea4e645105f557769387b3da9f79bdb55ed556bdd80611d",
+ "strip_accents": null,
+ "tokenize_chinese_chars": true,
+ "tokenizer_class": "BertTokenizer",
+ "unk_token": "[UNK]"
+}

requirements.txt

@@ -0,0 +1,9 @@
+pandas
+numpy
+matplotlib
+plotly
+wordcloud
+transformers
+sentence-transformers
+bertopic
+snscrape

script/functions.py

@@ -0,0 +1,76 @@
+import pandas as pd
+import numpy as np
+import re
+import snscrape.modules.twitter as sntwitter
+from transformers import pipeline
+import plotly.express as px 
+from sentence_transformers import SentenceTransformer
+
+def load_sentence_model():
+ embedding_model = SentenceTransformer('sentence_bert')
+ return embedding_model
+
+def get_tweets(username, length=10, option = None):
+ # Creating list to append tweet data to
+ query = "("+username + ")"+"(to:"+username+") -filter:links filter:replies lang:id"
+ if option == "Advanced":
+ query = username
+ tweets = []
+ # Using TwitterSearchScraper to scrape
+ # Using TwitterSearchScraper to scrape
+ for i,tweet in enumerate(sntwitter.TwitterSearchScraper(query).get_items()):
+ if i>=length:
+ break
+ tweets.append([tweet.content])
+ 
+ # Creating a dataframe from the tweets list above
+ tweets_df = pd.DataFrame(tweets, columns=["content"])
+ tweets_df['content'] = tweets_df['content'].str.replace('@[^\s]+','')
+ tweets_df['content'] = tweets_df['content'].str.replace('#[^\s]+','')
+ tweets_df['content'] = tweets_df['content'].str.replace('http\S+','')
+ tweets_df['content'] = tweets_df['content'].str.replace('pic.twitter.com\S+','')
+ tweets_df['content'] = tweets_df['content'].str.replace('RT','')
+ tweets_df['content'] = tweets_df['content'].str.replace('amp','')
+ # remove emoticon
+ tweets_df['content'] = tweets_df['content'].str.replace('[^\w\s#@/:%.,_-]', '', flags=re.UNICODE)
+
+ # remove whitespace leading & trailing
+ tweets_df['content'] = tweets_df['content'].str.strip()
+
+ # remove multiple whitespace into single whitespace
+ tweets_df['content'] = tweets_df['content'].str.replace('\s+', ' ')
+
+ # remove row with empty content
+ tweets_df = tweets_df[tweets_df['content'] != '']
+ return tweets_df
+
+
+def get_sentiment(df):
+ # Sentiment Analysis
+ classifier = pipeline("sentiment-analysis",model = "indobert")
+ df['sentiment'] = df['content'].apply(lambda x: classifier(x)[0]['label'])
+ # change order sentiment to first column
+ cols = df.columns.tolist()
+ cols = cols[-1:] + cols[:-1]
+ df = df[cols]
+
+ return df
+
+def get_bar_chart(df):
+ df= df.groupby(['sentiment']).count().reset_index()
+ # plot barchart sentiment
+ # plot barchart sentiment
+ fig = px.bar(df, x="sentiment", y="content", color="sentiment",text = "content", color_discrete_map={"positif": "#00cc96", "negatif": "#ef553b","netral": "#636efa"})
+ # hide legend
+ fig.update_layout(showlegend=False)
+ # set margin top 
+ fig.update_layout(margin=dict(t=0, b=100, l=0, r=0))
+ # set title in center
+ # set annotation in bar
+ fig.update_traces(textposition='outside')
+ fig.update_layout(uniformtext_minsize=8, uniformtext_mode='hide')
+
+ # set y axis title
+ fig.update_yaxes(title_text='Jumlah Komentar')
+
+ return fig

script/plotting.py

@@ -0,0 +1,116 @@
+import itertools
+import numpy as np
+from typing import List
+
+import plotly.graph_objects as go
+from plotly.subplots import make_subplots
+
+
+def visualize_barchart(topic_model,
+ topics: List[int] = None,
+ top_n_topics: int = 8,
+ n_words: int = 5,
+ custom_labels: bool = False,
+ title: str = "Kata Kunci tiap Topic",
+ width: int = 250,
+ height: int = 250) -> go.Figure:
+ """ Visualize a barchart of selected topics
+ Arguments:
+ topic_model: A fitted BERTopic instance.
+ topics: A selection of topics to visualize.
+ top_n_topics: Only select the top n most frequent topics.
+ n_words: Number of words to show in a topic
+ custom_labels: Whether to use custom topic labels that were defined using 
+ `topic_model.set_topic_labels`.
+ title: Title of the plot.
+ width: The width of each figure.
+ height: The height of each figure.
+ Returns:
+ fig: A plotly figure
+ Examples:
+ To visualize the barchart of selected topics
+ simply run:
+ ```python
+ topic_model.visualize_barchart()
+ ```
+ Or if you want to save the resulting figure:
+ ```python
+ fig = topic_model.visualize_barchart()
+ fig.write_html("path/to/file.html")
+ ```
+ <iframe src="../../getting_started/visualization/bar_chart.html"
+ style="width:1100px; height: 660px; border: 0px;""></iframe>
+ """
+ colors = itertools.cycle(['#636EFA', '#EF553B', '#00CC96', '#AB63FA', '#FFA15A', '#19D3F3', '#FF6692', '#B6E880', '#FF97FF', '#FECB52'])
+
+ # Select topics based on top_n and topics args
+ freq_df = topic_model.get_topic_freq()
+ if len(freq_df) > 1:
+ freq_df = freq_df.loc[freq_df.Topic != -1, :]
+ if topics is not None:
+ topics = list(topics)
+ elif top_n_topics is not None:
+ topics = sorted(freq_df.Topic.to_list()[:top_n_topics])
+ else:
+ topics = sorted(freq_df.Topic.to_list()[0:6])
+
+ # Initialize figure
+ if topic_model.custom_labels_ is not None and custom_labels:
+ subplot_titles = [topic_model.custom_labels_[topic + topic_model._outliers] for topic in topics]
+ else:
+ subplot_titles = [f"Topic {topic}" for topic in topics]
+ columns = 3
+ rows = int(np.ceil(len(topics) / columns))
+ fig = make_subplots(rows=rows,
+ cols=columns,
+ shared_xaxes=False,
+ horizontal_spacing=.1,
+ vertical_spacing=.4 / rows if rows > 1 else 0,
+ subplot_titles=subplot_titles)
+
+ # Add barchart for each topic
+ row = 1
+ column = 1
+ for topic in topics:
+ words = [word + " " for word, _ in topic_model.get_topic(topic)][:n_words][::-1]
+ scores = [score for _, score in topic_model.get_topic(topic)][:n_words][::-1]
+
+ fig.add_trace(
+ go.Bar(x=scores,
+ y=words,
+ orientation='h',
+ marker_color=next(colors)),
+ row=row, col=column)
+
+ if column == columns:
+ column = 1
+ row += 1
+ else:
+ column += 1
+
+ # Stylize graph
+ fig.update_layout(
+ 
+ showlegend=False,
+ title={
+ 'text': f"<b>{title}",
+ 'xanchor': 'center',
+ 'yanchor': 'top',
+ 'font': dict(
+ size=22,
+ color="Black")
+ },
+ width=width*3,
+ height=height*rows if rows > 1 else height * 1.3,
+ hoverlabel=dict(
+ bgcolor="white",
+ font_size=13,
+ font_family="Rockwell"
+ ),
+ margin=dict(l=40, r=40)
+ )
+
+ fig.update_xaxes(showgrid=True)
+ fig.update_yaxes(showgrid=True)
+
+ return fig

script/text_proc.py

@@ -0,0 +1,96 @@
+import pandas as pd
+import plotly.express as px
+from wordcloud import WordCloud
+import matplotlib.pyplot as plt
+import string 
+import re #regex library
+#umap 
+import umap
+import hdbscan
+import plotly.graph_objects as go
+from bertopic import BERTopic
+from sklearn.feature_extraction.text import CountVectorizer
+
+# import word_tokenize from NLTK
+from transformers import AutoTokenizer
+from script.plotting import visualize_barchart
+
+def load_stopwords():
+ stopwords = pd.read_csv("assets/stopwordbahasa.csv", header=None)
+ stopwords = stopwords[0].tolist()
+ more_stopword = ["ga","iya","dg",'dengan', 'ia','bahwa','oleh',"sy","kl","gak","ah","apa","kok","mau","yg","pak","bapak","ibu","krn","nya","ya"]
+ stopwords = stopwords + more_stopword + list(string.punctuation)
+ return stopwords
+
+def tokenisasi(df):
+ stopwords = load_stopwords()
+ tokenizer = AutoTokenizer.from_pretrained('indobert')
+ tokens = df.content.apply(lambda x: tokenizer.tokenize(x))
+ tokens = tokens.apply(lambda x: [x for x in x if (not x.startswith('##') and x not in stopwords and len(x) > 4)])
+ return tokens
+
+def get_wordcloud(df,kelas_sentiment):
+ cmap_dict = {'positif': 'Greens', 'negatif': 'OrRd', 'netral': 'GnBu'}
+ tokens = tokenisasi(df[df.sentiment == kelas_sentiment])
+ tokens = tokens.apply(lambda x: ' '.join(x))
+ text = ' '.join(tokens)
+ wordcloud = WordCloud(width = 800, height = 800,
+ background_color ='black',
+ min_font_size = 10,
+ colormap = cmap_dict[kelas_sentiment]).generate(text)
+ return wordcloud
+
+def plot_text(df,kelas,embedding_model):
+ df = df[df.sentiment == kelas]
+ data = embedding_model.encode(df.values.tolist())
+ umap_model = umap.UMAP(n_neighbors=min(df.shape[0],5),random_state = 42) 
+ umap_data = umap_model.fit_transform(data)
+ clusterer = hdbscan.HDBSCAN(min_cluster_size=round((df.shape[0])**(0.5)-1),min_samples=3)
+ clusterer.fit(umap_data)
+
+ labels = ['cluster ' + str(i) for i in clusterer.labels_]
+ # replace cluster -1 with outlier 
+ labels = ["outlier" if i == "cluster -1" else i for i in labels ]
+ text = df["content"].str.wrap(50).apply(lambda x: x.replace('\n', '<br>'))
+ 
+ fig = px.scatter(x=umap_data[:,0], y=umap_data[:,1],color = clusterer.labels_)
+ # remove legend
+ fig = px.scatter(x=umap_data[:,0], y=umap_data[:,1],color = labels,text = text)
+ #set text color 
+ fig.update_traces(textfont_color='rgba(0,0,0,0)',marker_size = 8)
+ # set background color
+ fig.update_layout(plot_bgcolor='rgba(0,0,0,0)')
+ # set margin 
+ fig.update_layout(margin=dict(l=40, r=5, t=45, b=40))
+ # set axis color to grey
+ fig.update_xaxes(showgrid=False, zeroline=False, linecolor='rgb(200,200,200)')
+ fig.update_yaxes( zeroline=False, linecolor='rgb(200,200,200)')
+ # set font sans-serif
+ fig.update_layout(font_family="sans-serif")
+ # remove legend
+ fig.update_layout(showlegend=False)
+
+ # set legend title to cluster
+ return df["content"],data,fig
+
+def topic_modelling(df,embed_df):
+ data = df.apply(lambda x: ' '.join([w for w in x.split() if len(w)>3]))
+ stopwords = load_stopwords()
+ # remove empty data 
+ topic_model = BERTopic(
+ calculate_probabilities=True,
+ # cluster model 
+ hdbscan_model = hdbscan.HDBSCAN(min_cluster_size=5,prediction_data=True),
+ vectorizer_model=CountVectorizer(stop_words=stopwords),
+ language="indonesian",
+ )
+ topics, probs = topic_model.fit_transform(data,embed_df)
+ topic_labels = topic_model.generate_topic_labels(
+ topic_prefix = False,
+ separator = ", ",
+ )
+ topic_model.set_topic_labels(topic_labels)
+ fig = visualize_barchart(topic_model)
+ # set title to Kata Kunci tiap Topic 
+ # fig.update_layout(title_text="Topic yang sering muncul")
+ return fig,topic_model

sentence_bert/1_Pooling/config.json

@@ -0,0 +1,7 @@
+{
+ "word_embedding_dimension": 768,
+ "pooling_mode_cls_token": false,
+ "pooling_mode_mean_tokens": true,
+ "pooling_mode_max_tokens": false,
+ "pooling_mode_mean_sqrt_len_tokens": false
+}

sentence_bert/README.md

@@ -0,0 +1,136 @@
+---
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+- transformers
+
+---
+
+# indo-sentence-bert-base
+
+This is a [sentence-transformers](https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search.
+
+<!--- Describe your model here -->
+
+## Usage (Sentence-Transformers)
+
+Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
+
+```
+pip install -U sentence-transformers
+```
+
+Then you can use the model like this:
+
+```python
+from sentence_transformers import SentenceTransformer
+sentences = ["Ibukota Perancis adalah Paris", 
+ "Menara Eifel terletak di Paris, Perancis", 
+ "Pizza adalah makanan khas Italia", 
+ "Saya kuliah di Carneige Mellon University"]
+
+model = SentenceTransformer('firqaaa/indo-sentence-bert-base')
+embeddings = model.encode(sentences)
+print(embeddings)
+```
+
+
+
+## Usage (HuggingFace Transformers)
+Without [sentence-transformers](https://www.SBERT.net), you can use the model like this: First, you pass your input through the transformer model, then you have to apply the right pooling-operation on-top of the contextualized word embeddings.
+
+```python
+from transformers import AutoTokenizer, AutoModel
+import torch
+
+
+#Mean Pooling - Take attention mask into account for correct averaging
+def mean_pooling(model_output, attention_mask):
+ token_embeddings = model_output[0] #First element of model_output contains all token embeddings
+ input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
+ return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
+
+
+# Sentences we want sentence embeddings for
+sentences = ["Ibukota Perancis adalah Paris", 
+ "Menara Eifel terletak di Paris, Perancis", 
+ "Pizza adalah makanan khas Italia", 
+ "Saya kuliah di Carneige Mellon University"]
+
+
+# Load model from HuggingFace Hub
+tokenizer = AutoTokenizer.from_pretrained('firqaaa/indo-sentence-bert-base')
+model = AutoModel.from_pretrained('firqaaa/indo-sentence-bert-base')
+
+# Tokenize sentences
+encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
+
+# Compute token embeddings
+with torch.no_grad():
+ model_output = model(**encoded_input)
+
+# Perform pooling. In this case, mean pooling.
+sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
+
+print("Sentence embeddings:")
+print(sentence_embeddings)
+```
+
+
+
+## Evaluation Results
+
+<!--- Describe how your model was evaluated -->
+
+For an automated evaluation of this model, see the *Sentence Embeddings Benchmark*: [https://seb.sbert.net](https://seb.sbert.net?model_name={MODEL_NAME})
+
+
+## Training
+The model was trained with the parameters:
+
+**DataLoader**:
+
+`sentence_transformers.datasets.NoDuplicatesDataLoader.NoDuplicatesDataLoader` of length 19644 with parameters:
+```
+{'batch_size': 16}
+```
+
+**Loss**:
+
+`sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss` with parameters:
+ ```
+ {'scale': 20.0, 'similarity_fct': 'cos_sim'}
+ ```
+
+Parameters of the fit()-Method:
+```
+{
+ "epochs": 5,
+ "evaluation_steps": 0,
+ "evaluator": "NoneType",
+ "max_grad_norm": 1,
+ "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
+ "optimizer_params": {
+ "lr": 2e-05
+ },
+ "scheduler": "WarmupLinear",
+ "steps_per_epoch": null,
+ "warmup_steps": 9930,
+ "weight_decay": 0.01
+}
+```
+
+
+## Full Model Architecture
+```
+SentenceTransformer(
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
+)
+```
+
+## Citing & Authors
+
+<!--- Describe where people can find more information -->

sentence_bert/config.json

@@ -0,0 +1,47 @@
+{
+ "_name_or_path": "C:\\Users\\syair dafiq/.cache\\torch\\sentence_transformers\\firqaaa_indo-sentence-bert-base\\",
+ "_num_labels": 5,
+ "architectures": [
+ "BertModel"
+ ],
+ "attention_probs_dropout_prob": 0.1,
+ "classifier_dropout": null,
+ "directionality": "bidi",
+ "hidden_act": "gelu",
+ "hidden_dropout_prob": 0.1,
+ "hidden_size": 768,
+ "id2label": {
+ "0": "LABEL_0",
+ "1": "LABEL_1",
+ "2": "LABEL_2",
+ "3": "LABEL_3",
+ "4": "LABEL_4"
+ },
+ "initializer_range": 0.02,
+ "intermediate_size": 3072,
+ "label2id": {
+ "LABEL_0": 0,
+ "LABEL_1": 1,
+ "LABEL_2": 2,
+ "LABEL_3": 3,
+ "LABEL_4": 4
+ },
+ "layer_norm_eps": 1e-12,
+ "max_position_embeddings": 512,
+ "model_type": "bert",
+ "num_attention_heads": 12,
+ "num_hidden_layers": 12,
+ "output_past": true,
+ "pad_token_id": 0,
+ "pooler_fc_size": 768,
+ "pooler_num_attention_heads": 12,
+ "pooler_num_fc_layers": 3,
+ "pooler_size_per_head": 128,
+ "pooler_type": "first_token_transform",
+ "position_embedding_type": "absolute",
+ "torch_dtype": "float32",
+ "transformers_version": "4.25.1",
+ "type_vocab_size": 2,
+ "use_cache": true,
+ "vocab_size": 50000
+}

sentence_bert/config_sentence_transformers.json

@@ -0,0 +1,7 @@
+{
+ "__version__": {
+ "sentence_transformers": "2.2.2",
+ "transformers": "4.20.1",
+ "pytorch": "1.11.0"
+ }
+}

sentence_bert/modules.json

@@ -0,0 +1,14 @@
+[
+ {
+ "idx": 0,
+ "name": "0",
+ "path": "",
+ "type": "sentence_transformers.models.Transformer"
+ },
+ {
+ "idx": 1,
+ "name": "1",
+ "path": "1_Pooling",
+ "type": "sentence_transformers.models.Pooling"
+ }
+]

sentence_bert/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:531e8399cbb7941b3f71bb0dc25d6abf70805ef05342f603fb4d4f158ce54b6d
+size 497833773

sentence_bert/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+ "max_seq_length": 512,
+ "do_lower_case": false
+}

sentence_bert/special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+ "cls_token": "[CLS]",
+ "mask_token": "[MASK]",
+ "pad_token": "[PAD]",
+ "sep_token": "[SEP]",
+ "unk_token": "[UNK]"
+}

sentence_bert/tokenizer_config.json

@@ -0,0 +1,16 @@
+{
+ "cls_token": "[CLS]",
+ "do_basic_tokenize": true,
+ "do_lower_case": true,
+ "mask_token": "[MASK]",
+ "model_max_length": 1000000000000000019884624838656,
+ "name_or_path": "C:\\Users\\syair dafiq/.cache\\torch\\sentence_transformers\\firqaaa_indo-sentence-bert-base\\",
+ "never_split": null,
+ "pad_token": "[PAD]",
+ "sep_token": "[SEP]",
+ "special_tokens_map_file": "/root/.cache/huggingface/transformers/b515a756d9ddf12a7a391ea596c488ac805f0576790934e590ce250a3e4ff056.dd8bd9bfd3664b530ea4e645105f557769387b3da9f79bdb55ed556bdd80611d",
+ "strip_accents": null,
+ "tokenize_chinese_chars": true,
+ "tokenizer_class": "BertTokenizer",
+ "unk_token": "[UNK]"
+}