Pertanyaan yang diberi tag ?bigdata?

Big data adalah istilah untuk kumpulan set data yang begitu besar dan kompleks sehingga menjadi sulit untuk diproses menggunakan alat manajemen basis data di tangan atau aplikasi pemrosesan data tradisional. Tantangannya termasuk penangkapan, kurasi, penyimpanan, pencarian, berbagi, transfer, analisis dan visualisasi.

12
Seberapa besar data besar?
Banyak orang menggunakan istilah data besar dalam cara yang agak komersial , sebagai sarana untuk menunjukkan bahwa kumpulan data besar terlibat dalam perhitungan, dan karenanya solusi potensial harus memiliki kinerja yang baik. Tentu saja, big data selalu membawa istilah yang terkait, seperti skalabilitas dan efisiensi, tetapi apa sebenarnya yang mendefinisikan …

9
Apakah bahasa R cocok untuk Big Data
R memiliki banyak perpustakaan yang ditujukan untuk Analisis Data (misalnya JAGS, BUGS, ARULES dll.), Dan disebutkan dalam buku teks populer seperti: J.Krusche, Melakukan Analisis Data Bayesian; B.Lantz, "Pembelajaran Mesin dengan R". Saya telah melihat pedoman 5TB untuk dataset yang dianggap sebagai Big Data. Pertanyaan saya adalah: Apakah R cocok untuk …
48 bigdata  r 

9
Cara menangani kontrol versi data (biner) dalam jumlah besar
Saya seorang mahasiswa PhD Geofisika dan bekerja dengan sejumlah besar data gambar (ratusan GB, puluhan ribu file). Saya tahu svndan gitcukup baik dan datang untuk menghargai sejarah proyek, dikombinasikan dengan kemampuan untuk mudah bekerja sama dan memiliki perlindungan terhadap kerusakan disk. Saya menemukan gitjuga sangat membantu untuk memiliki cadangan yang …

11
Ilmu Data dalam C (atau C ++)
Saya seorang Rprogrammer bahasa. Saya juga berada dalam kelompok orang yang dianggap sebagai Ilmuwan Data tetapi berasal dari disiplin akademis selain CS. Ini berfungsi dengan baik dalam peran saya sebagai Data Scientist, namun, dengan memulai karir saya Rdan hanya memiliki pengetahuan dasar tentang bahasa scripting / web lain, saya merasa …


5
Membuka file 20GB untuk analisis dengan panda
Saat ini saya mencoba untuk membuka file dengan panda dan python untuk tujuan pembelajaran mesin, akan ideal bagi saya untuk memiliki semuanya dalam DataFrame. Sekarang file tersebut berukuran 18GB dan RAM saya 32 GB tetapi saya terus mendapatkan kesalahan memori. Dari pengalaman Anda, mungkinkah? Jika tidak, apakah Anda tahu cara …

1
Mengapa xgboost jauh lebih cepat daripada sklearn GradientBoostingClassifier?
Saya mencoba untuk melatih model peningkatan gradien lebih dari 50k contoh dengan 100 fitur numerik. XGBClassifiermenangani 500 pohon dalam waktu 43 detik pada mesin saya, sementara GradientBoostingClassifierhanya menangani 10 pohon (!) dalam 1 menit dan 2 detik :( Saya tidak repot-repot mencoba menumbuhkan 500 pohon karena akan memakan waktu berjam-jam. …
29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 


3
Gagasan Proyek Sains Data [ditutup]
Ditutup . Pertanyaan ini didasarkan pada pendapat . Saat ini tidak menerima jawaban. Ingin meningkatkan pertanyaan ini? Perbarui pertanyaan sehingga dapat dijawab dengan fakta dan kutipan dengan mengedit posting ini . Ditutup 5 tahun yang lalu . Saya tidak tahu apakah ini tempat yang tepat untuk mengajukan pertanyaan ini, tetapi …

4
Meningkatkan kecepatan implementasi t-sne di python untuk data yang sangat besar
Saya ingin melakukan pengurangan dimensionalitas pada hampir 1 juta vektor masing-masing dengan 200 dimensi ( doc2vec). Saya menggunakan TSNEimplementasi dari sklearn.manifoldmodul untuk itu dan masalah utama adalah kompleksitas waktu. Bahkan dengan method = barnes_hut, kecepatan komputasi masih rendah. Beberapa waktu bahkan kehabisan Memori. Saya menjalankannya pada prosesor 48 core dengan …

2
Gunakan liblinear pada data besar untuk analisis semantik
Saya menggunakan Libsvm untuk melatih data dan memprediksi klasifikasi pada masalah analisis semantik . Tetapi memiliki masalah kinerja pada data skala besar, karena analisis semantik menyangkut masalah n-dimensi . Tahun lalu, Liblinear dirilis, dan itu dapat menyelesaikan hambatan kinerja. Tetapi biaya memori terlalu banyak . Apakah MapReduce satu-satunya cara untuk …


5
membuat peta panas seaborn lebih besar
Saya membuat corr()df dari df asli. The corr()df keluar 70 X 70 dan tidak mungkin untuk memvisualisasikan heatmap tersebut ... sns.heatmap(df). Jika saya mencoba untuk menampilkan corr = df.corr(), tabel tidak cocok dengan layar dan saya bisa melihat semua korelasinya. Apakah ini cara untuk mencetak keseluruhan dfterlepas dari ukurannya atau …
16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 


3
Kapan nilai-p menipu?
Apa kondisi data yang harus kita waspadai, di mana nilai-p mungkin bukan cara terbaik untuk menentukan signifikansi statistik? Apakah ada tipe masalah spesifik yang termasuk dalam kategori ini?

Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.
Judi bola 体育新闻| 8868体育| 8868体育| 体育新闻>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| 8868体育| 8868体育| 8868体育|