#python

Tentu saja. Ini adalah ide yang sangat cerdas untuk menjaga kelangsungan diskusi kita di masa depan. Saya akan buatkan sebuah "prompt checkpoint" yang komprehensif.

Mencoba gather data OHLCV dari Coingecko

model_btc_1h -> DONE, profitable (+)

Mencoba beralih ke Gemini untuk menghasilkan kode, dan Google Colab untuk eksekusi kodenya.

Sudah lumayan akurat,...

Hyperparameter Tuning GridSearchCV pada Algoritma LightGBM membuat CPU 100%.

Berkenalan dengan file .pkl, file ini digunakan untuk menyimpan stream data dalam binary. File ini digunakan untuk model training, sampai sejauh ini saya mengenal Random Forest, XGBoost, LightGBM, atau CatBoost.

Mulai menulis kode python menggunakan library spacy. Library spacy lumayan kompleks, untuk sementara pake yang sederhana dulu menggunakan transformers dari Hugging Face.

https://huggingface.co/ ==> ternyata tidak sederhana

#project 
#python
#spacy-python-library 
#transformers-python
#Hugging-Face-library

Spacy, library python untuk menganalisa pertanyaan atau text. Bertemu library ini ketika saya penasaran dengan bagaimana cara Grok menganalisa setiap pertanyaan saya dengan baik.

Pertanyaan saya:
pertanyaannya saya "berapa satu buah pepaya ditambah satu buah pepaya?". Tolong jelaskan cara anda memahaminya dengan cara seperti sebelumnya

Grok:
Tentu, berikut adalah langkah-langkah bagaimana saya memahami pertanyaan "berapa satu buah pepaya ditambah satu buah pepaya?":

Analisis Teks:
Saya mengenali bahwa ini adalah pertanyaan yang menggunakan kata-kata sebagai pengganti angka dalam konteks matematika. Kata "satu buah pepaya" mewakili angka 1, dan "ditambah" adalah operator penambahan.
Pemahaman Konteks:
Konteks Konversasi: Tidak ada konteks tambahan dari percakapan sebelumnya yang mempengaruhi pemahaman ini; ini adalah pertanyaan mandiri.
Konteks Budaya/Waktu: Dalam konteks ini, makna "pepaya" sebagai buah tidak berubah di berbagai budaya, tetapi penggunaan buah untuk menggambarkan operasi matematika mungkin lebih kreatif atau pendidikan daripada konvensional.
Nada dan Emosi: Nada dari pertanyaan ini masih netral, tetapi ada sedikit kecerdasan atau humor dalam menggunakan buah untuk menjelaskan matematika.
Identifikasi Intent:
Pertanyaan Faktual: Anda mencari jawaban atas operasi matematika yang diungkapkan dengan cara yang tidak konvensional, namun maksudnya sama seperti 1 + 1.
Pengenalan Bahasa:
Saya memahami bahwa "satu buah pepaya" adalah kata untuk angka satu dalam konteks ini. "Ditambah" adalah kata yang jelas menunjukkan operasi penambahan. Pertanyaan ini menggunakan bahasa sehari-hari untuk menggambarkan matematika.
Ambiguitas dan Klarifikasi:
Tidak ada ambiguitas dalam pertanyaan ini setelah dipahami bahwa "pepaya" adalah representasi dari angka satu. Namun, ini memberikan kesempatan untuk menjelaskan dengan cara yang lebih cerita atau visual, jika diperlukan.

Setelah memahami semua ini, saya akan memberikan jawaban yang sesuai, menghubungkan kembali kata-kata ke dalam angka atau konsep matematika:

Satu buah pepaya ditambah satu buah pepaya adalah dua buah pepaya. Jadi, jawabannya adalah 2.

Dan... percakapan berlanjut hingga bagaimana cara menerapkan langkah-langkah tersebut menggunakan kode python, dan berikut jawaban Grok yang membuat saya tertarik untuk mencoba Spacy.

"Menggunakan konteks NLP untuk memahami pertanyaan adalah tugas yang sangat kompleks yang melibatkan banyak lapisan pemrosesan. Berikut adalah gambaran hipotetis tentang bagaimana ini bisa dilakukan dengan Python, menggunakan beberapa library NLP yang umum seperti spaCy untuk parsing syntaksis dan transformers dari Hugging Face untuk model bahasa yang lebih canggih".

#AI 
#twitter-x-Grok 
#python 
#spacy-python-library
#NLP

Python saya kembalikan ke versi 2.7.9, Alhamdulillah lancar jaya. #python #not-problem-solved-yet

Saya belum familier dengan Python 2.7.13

script ini akan error pada versi sebelumnya
int = 0
print "Nilai int adalah " + int

Namun pada versi python 2.7.13 program terus berjalan tanpa ada error (silent). Permasalahannya adalah saat saya pindahkan file python dari backup, banyak yang tidak bisa jalan dan tanpa ada error sama sekali. Kelihatan berjalan lancar, namun sebenarnya tidak. Ini yang berbahaya .... T_T #tanyakenapa #python

Mencoba opencv python, purpose: against capctha. #python #opencv #captcha

Setelah sekian lama, saya baru tahu cara menggunakan file yang disediakan pypi. Ternyata tinggal download package-nya lalu jalankan setup.py dengan perintah python "python setup.py install". Works like a charm saat menginstall path.py. #nice #python #pypi #enlightenment

Hari ini berhasil mengextract data session PHP dengan Python. Tapi belum tau seberapa tangguh script extract buatan sendirinya. #php #python

Percobaan mengawinkan PHP dan Python masih berlangsung, untuk tantangan pertama dan cukup berliku melewatkan POST file (upload) dengan perantara apache httpd dengan proxypass dan proxypassreverse berhasil dilakukan. Form upload ditangani PHP, sedangkan action diarahkan ke link yang sudah di "proxy" kan ke backend Python. Hal ini dilakukan untuk mengurangi beban PHP (bottleneck syndrom). Dengan memindahkan proses upload ke Python beban kerja didistrubusikan ke beberapa cpu dengan baik sedangkan PHP hanya akan mendistribusikan ke 1 cpu saja, terlihat dari grafik cpu htop yang meningkat di beberapa cpu saat proses upload Python berlangsung. Tantangan berikutnya adalah sharing session antara PHP dan Python, percobaan yang saya lakukan sampai saat ini sudah dalam tahap Python dapat membaca file session PHP namun belum berhasil mengekstrak informasi didalam file session, sepertinya PHP menggunakan serialisasi yang tidak lazim. Apakah perlu dilakukan split lagi? Hehe... that's not elegant ways i think. #python #php #proxypass #apache #kantor

Source

import socket

hostname = "sso.intranet.pajak.go.id"
ip = socket.gethostbyname(hostname)
print ip
print socket.gethostbyaddr(ip)

Result

D:\PROJECTS\PYTHON\belajar\violent-python>python test1.py
10.245.7.41
('approweb.intranet.pajak.go.id', ['sso.intranet.pajak.go.id'], ['10.245.7.41'])

#kantor #python #nice

Dapat mainan baru, #flask untuk webserver berbasis #python, #twilio dan #slack untuk messaging. #nice

Otomasi kerja bisa dengan ETL Software.

"In computing, Extract, Transform, Load (ETL) refers to a process in database usage and especially in data warehousing that performs: Data extraction – extracts data from homogeneous or heterogeneous data sources"

Ane berkenalan dengan mainan ini setelah dapat softcopy dari Bu Nadia, kiriman dari KPP lain, lupa nama KPP nya, kebetulan isi disc-nya adalah #pentaho. Semakin kesini ane melihat pentaho terlalu kaya fitur, sampe ane bingung harus mulai dari mana, selain itu pentaho not free. Ane coba alternatif lain, dan sampailah kepada #talend, mirip dengan pentaho. Untuk talend, ane sudah berhasil membuat "job" dari database oracle ke excel, yang sebenarnya fitur ini sudah ada pada hampir semua Oracle Client Manager semacam Navicat dan yang lainnya. Selanjutnya ane mencoba membuat job yang menghasilkan diagram batang dari query oracle, dan #alhamdulillah berhasil, walaupun sebenarnya ini bisa dilakukan dengan :

1. query oracle dengan navicat
2. export hasilnya ke excel
3. bikin chart dengan excel

Talend benar-benar membagi step-stepnya ke dalam block-block diagram, dari membuka koneksi hingga jadi excel. Jadi menurut ane talend ini semacam kumpulan modul kerja yang bisa disesuaikan dengan keperluan kerja, #nice bagi yang sudah terbiasa dengan software semacam ini. Jauh sebelum berkenalan dengan pentaho dan talend, ane pernah melihat software dengan banyak diagram semacam ini di komputer #mas_yuwan waktu sowan ke #tip tempo hari, ga tau apa nama softwarenya itu, tapi sepertinya itu ETL. Well, sampai sejauh ini ane tidak tau seberapa efektif penggunaannya untuk membantu kerja sehari-hari. Karena selama ini ane sudah terbiasa dengan #python.

Linglung,... socket atau websocket #python. Percobaan dengan socket dimarin berjalan lancar, #alhamdulillah. Tapi,... ada tapinya, percobaan dimarin itu hanya semacam http, server ON terus, saat ada client request diterima, lalu client close.... Untuk IM LAN, brarti setiap aplikasi terdiri dari server yang always ON menerima pesan masuk, dan client yang bertugas meneruskan pesan keluar. Dengan model seperti ini, maka ada banyak komputer kantor yang portnya terbuka karena setiap aplikasi berdiri sendiri. Mereka adalah server sekaligus client. Alternatifnya adalah sentralisasi, dengan websocket. Model websocket lebih hemat port...

Solusi py2exe cx_oracle #py2exe #cx_oracle #python

#alhamdulillah Setelah beberapa hari yang lalu sempat shock dengan "Unable to acquire Oracle environment handle"-nya #py2exe dan #cx_oracle, hari ini berjalan dengan lancar. Solusi dari #stackoverflow menjawab pertanyaan ini. Dan ternyata (lagi), masalah ini sudah ditanyakan sejak 2009 dan jawabannya masih relevan. Wow !! Sekarang ane punya aplikasi portable .exe yang dibangun dengan #python dan support #oracle. :D

#alhamdulillah berhasil uji coba threading dengan #pyside #python. Value bisa dikirim dari thread A ke thread B dengan perantara signal, diujung jam kerja tadi works like a wowowow... Apa itu thread? dan mengapa harus dengan beda thread? Jadi thread itu semacam alokasi memori untuk sebuah proses komputasi, thread GUI sebaiknya dipisahkan dari thread yang memproses tugas lainnya. Tanpa pemisahan thread, saat terjadi proses, misal koneksi ke database, read/write file yang memerlukan memori cukup besar akan mem-freeze GUI. Aplikasi menjadi not responding (beberapa waktu) sementara proses-proses itu dijalankan. Walaupun saat proses selesai dijalankan GUI kembali normal. Dengan thread berbeda, GUI tetap responsive saat proses lain sedang berjalan. Nah, dengan pyside, ada keuntungan lainnya, selain bisa melakukan proses di thread yang berbeda, antar thread ini pun bisa saling mengirim data. Contoh konkretnya? Progress Bar !!

Instalasi #pyside tidak semudah #tkinter, banyak sekali prerequestnya, sepertinya ada binding ke microsoft visual untuk keperluan tampilannya #python

Beli buku tentang #pyside #python di #packtpub $6, setelah dapat diskon 75% karena ngisi survey mereka. hehe ... #nice #beli

Hari ini berjibaku dengan bongkar pasang app.py ke bentuk OOP (maunya),... lebih tepatnya membagi-bagi menjadi beberapa modul yang dibungkus dengan class. #alhamdulillah berjalan lancar jaya. Hanya saja masih amburadul, kapan akses GUI dan kapan hanya utak-atik data. Masih terlalu lucu script #python nya ... yang penting sudah terurai ke beberapa file. Dibandingkan kemaren yang masih berkutat di app.py mawon. Hehehehe

Melirik ke #pyqt dulu, mau membandingkan performanya dengan #tkinter. #python

Lets deep in touch with #oop of #python3 #python

#py2exe sepertinya cukup sampai disini dulu ... selain banyak yang tidak cocok saat di eksekusi via #python, ternyata juga harus belajar mengalokasikan memory.... #fyuuh. Tidak cocok misalnya, subprocess curl yang berjalan mulus dan realtime ditampilkan di widget #tkinter saat app.py jadi sendat-sendat saat dijalankan oleh app.exe. Dan akhirnya error not enough memory ... Untuk interface yang tersendat ane masih bisa memaklumi, tapi kalo sudah masalah memory,... ane nyerah. Hehe, run via python aja wes.

Mulai migrasi dari curl.exe ke #pycurl, curl.exe muncul console saat dieksekusi dari py tercompile. #python #py2exe #curl

Kemudahan #gvm nya #go ternyata ada juga di #python. Dengan #conda ... untuk switch ke environment yang berbeda tinggal :

1. Create Environment
    conda create --name snakes python=3
2. Aktifkan dengan
    activate snakes

#nice

Argghhh... memang perlu didokumentasikan. Install #cx_oracle #python di #windows10 :

Langkah-langkah :

1. Download cx_Oracle installer 

    Pilih yang : cx_Oracle-5.1.3-11g.win32-py2.7.exe

2. Jalankan hasil downloadnya, next, next, next, Selesai. 
    Lalu jalankan ulang script pythonnya

3. Error .... 9&(^%%&%*%&%(*^???

--------------------------------------------------------------------------
D:\PROJECTS\PYTHON\belajar>python oracle_conn.py
Traceback (most recent call last):
  File "oracle_conn.py", line 1, in <module>
    import cx_Oracle
ImportError: DLL load failed: The specified module could not be found.
--------------------------------------------------------------------------

4. Ternyata oh ternyata ....
5. Hanya tinggal disambungkan ke #instantclient nya #oracle
6. Jadi, download dulu instanclient. Bisa di alamat ini :

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
http://www.oracle.com/technetwork/topics/winx64soft-089540.html
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

7. Instanclient bukan installer, hanya zip/rar yang perlu di extract
8. Setelah di extract, daftarkan folder extract tadi ke Env nya #windows.
9. Tutup Terminal script
    kalo nggak ditutup/close session terminal, env yang baru ga terbaca
10. Jalankan kembali script
11. Done

Disarankan menggunakan installer saja, kalo #pip / #easy_install katanya agak ribet nyettingnya #problemsolved #alhamdulillah

Ternyata ada hikmah besar dari ikut bid di #projectcoid. Walopun tidak meneguk rupiah, tapi dapat harta karun yang jauh lebih besar dari itu, scrapping controlled by web, great combination of #golang, #curl and #python. Model ini dengan mudah dapat diimplementasikan untuk scrapping data intranet, dimulai dengan bank data SPT, #sidjp yang melegenda itu. Bhahaha... Untuk #sikka serahkan saja tokenisasinya dengan #selenium; dan lagi-lagi; dipadukan dengan #python... works like a charm. #nice

Masang #python 3 di laptop asus, Biar ga bentrok dengan python yang sudah ada, pake VMWare windows 7, minta SP 1, #alhamdulillah hari ini sudah bisa terinstall. Sambil menunggu donlot fpbnsfp

Perpaduan #golang dan #python menghasilkan sesuatu yang really awesome. #nice

Mau nyoba #flask #python, tapi ga jadi ... performanya ga lebih bagus dibandingkan #go

Prepare migrasi mysql sms ke mongodb #project dengan #python tentunya ...

Hari ini SPM, rewrite ulang crawl SPM #kantor #python

pip masih error, untuk koneksi ke mysql dari #python sementara pake installer saja ... Installer kmarin bermasalah "could not find python 2.7", padahal sudah ane install, ternyata masalahnya di jenis pythonnya ... error itu karena python yang ane pake 64 bit, setelah ganti ke python 32 bit, running smoothly. Installer mysql-python detect python 2.7. Untuk #pip sendiri masih tetap error seperti dimarin,... could not find blablabla .h

instalasa pip mysql error ...

running build_ext

building '_mysql' extension

error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get
it from http://aka.ms/vcpython27

----------------------------------------
Cleaning up...

#python #pip #mysql #error

Rewrite ulang script #python di #kantor, nyoba modular ... sekarang lagi proses install pip mysql, sebelumnya pake installer windows, dengan cara ini kurang fleksibel karena dibatasi hanya dengan installer. Kalo pake pip banyak pilihannya, dengan command "pip search mysql" misalnya, ada banyak pilihan untuk mysql

belajar list/array di $go

Yang saya tahu pada awalnya, pada #javascript dan #python
    
    a = ['ikan', 'sayur', 'buah', 1, 2, 3]

selesai, list sudah langsung terbentuk
bahkan dengan #php pun mudah

    a = array('ikan', 'sayur', 'buah', 1, 2, 3)

Buum, jadi ....

di GO lumayan runyam, namun JELAS dan RAPI

    listA   := []string{"ikan","sayur","buah", "1", "2", "3"}
    listB, _ := json.Marshal(listA)
    fmt.Println(string(listB)) // output ["ikan","sayur","buah","1","2","3"]

    listA2   := []int{1,2,3}
    listB2, _ := json.Marshal(listA2)
    fmt.Println(string(listB2)) // output [1,2,3]

listA adalah list dengan type data STRING, angka bisa masuk, tapi dia tidak diperlakukan sebagai INT (dengan petik dua "")
sedangankan listA2 adalah list dengan type data INT, anggotanya benar-benar angka (tanpa petik dua ""),
ikan sayur buah ERROR pada saat di-compile jika dipaksakan masuk

kode lengkapnya #go-nya :

    package main

    import "fmt"
    import "encoding/json"

    type Blog struct {
        id string
        things string
        tag []string
    }

    func main() {
        
        fmt.Println("Mari mulai ...")

        // list
        listA   := []string{"ikan","sayur","buah", "1", "2", "3"}
        listB, _ := json.Marshal(listA)
        fmt.Println(string(listB))

        listA2   := []int{1,2,3}
        listB2, _ := json.Marshal(listA2)
        fmt.Println(string(listB2))   

        // dict
        mapA    := map[string]int {"apple": 5, "lettuce": 7}
        mapB, _ := json.Marshal(mapA)
        fmt.Println(string(mapB))    
    }

Mbikin crawler Intranet #kantor dengan #go, ternyata lumayan menyita waktu, ada banyak contoh scriptnya, tp kebanyakan belum mensupport POST, SESSION, COOKIES ... akhirnya ane balik ke duet #python dan #curl mawon .... Xixixi #project

Fungsi GRAB crawler Republika must 200 set ke OFF, karena kadang ada link yang redirect, kode 302

def grab(list,label) :
	parameter = ["curl","-H","User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/20100101 Firefox/26.0 FirePHP/0.7.4","--max-time", "1000", "--write-out", "%{http_code}", "--silent"]
	for l in list :
		parameter.append(l)
	default_code = "000"
	reconnect = ""

	proc = subprocess.Popen(parameter,stdout=subprocess.PIPE)
	(out, err) = proc.communicate()

	print label

	'''
	while default_code != "200" :
		proc = subprocess.Popen(parameter,stdout=subprocess.PIPE)
		(out, err) = proc.communicate()
		
		if str(out) == "200" :
			default_code = "200" # OK
			info = "OK"
		elif str(out) == "000" :
			info = "FAIL"
			reconnect = "reconnect"
		elif str(out) == "302" :
			info = "REDIRECT"
			reconnect = "reconnect"
		else :
			info = "..."
			reconnect = "reconnect"

		print label + ": " + str(out) + " " + info + " " + reconnect
	'''

#webkoe #script #python

Awesome queue python #nice #python

>>> x = "Hello World!"
>>> x[2:]
'llo World!'
>>> x[:2]
'He'
>>> x[:-2]
'Hello Worl'
>>> x[-2:]
'd!'
>>> x[2:-2]
'llo Worl'

#python #script

#enlightenment, execute #python ke #mysql dengan type table InnoDB bisa dengan perintah conn.autocommit(True)... tanpa harus mengubahnya ke type data MyISAM.

karna terlalu sering bercengkrama dengan #python, jadi galau, lanjutkan #nodejs ato coba alternatif lain, #tornado ato #twisted ... #fyuh

sub.process #pkpm #python error... windows, access denied... error yang sama dengan mas chris... #kantor

Python Substr :

>>> x = "Hello World!"
>>> x[2:]
'llo World!'
>>> x[:2]
'He'
>>> x[:-2]
'Hello Worl'
>>> x[-2:]
'd!'
>>> x[2:-2]
'llo Worl'

#python

Progress Bar :

import time
data = 0
_data = ""
print "Count"
while data < 100000 :
	#_data += str(data)
	#print '\r' + _data ,
	pj = data/1000
	print '\r' + str(data) + ' ' + str(pj),
	data += 1
	#time.sleep(1)

--- 22/01/2020 ---
yay... ini script untuk progress bar dengan menggunakan python

#python