Data Processing(Veri İşleme)Nedir?
Data Processing , bilgileri işlemek için kullanılan bir tekniktir. Yapılandırılmamış verilerin hem anlamlı hem de makine tarafından okunabilir içeriğe dönüştürülmesini ifade eder. Ham veri, yararlı sonuçlar üretmek için işlenen bilgi kaynağıdır.
İşletmelerin daha iyi iş stratejileri geliştirmesi ve rekabet avantajı elde edebilmeleri için veri işleme kritik bir olaydır. Kurumda çalışanlar, verileri , grafikler ve belgeler gibi okunabilir bir formata dönüştürülürse anlamlandırabilir ve kullanabilir.
Veri kaynağına ve işlem biriminin bir çıktı oluşturmak için attığı adımlara bağlı olarak, çeşitli Veri işleme türleri vardır. Ham verileri işlemek için, herkese uyan tek bir çözüm diye bir şey yoktur. Farklı Veri işleme türleri şunlardır:
Batch Processing: Batch processing, aynı anda birden çok işlemin işlenmesini içeren bir veri işleme türüdür. En yaygın olarak veriler büyük miktarlarda olduğunda kullanılır ve gruplar halinde toplanır ve işlenir. Örneğin, elektronik tablolarda, veri girişi uzmanları tek bir hücrenin formülünü girebilir ve tüm sütuna uygulayabilir. Bu tür veri işleme, işlem süresini hızlandırır ve insan müdahalesi olmadan bir dizi görevi tamamlayabilir.
Real-time/Stream Processing: İnternetin gelişiyle birlikte gerçek zamanlı işlem ortaya çıktı. İnterneti kullanarak, bu işleme yöntemi aynı anda veri alır ve işler. Basitçe söylemek gerekirse, verileri gerçek zamanlı olarak yakalar ve hızlı veya otomatik raporlar oluşturur. Dolayısıyla bu, en hızlı veri işleme yöntemlerinden biridir.
Örneğin, sensörlerin yoğun trafiği algıladığı ve gerçek zamanlı olarak girdi verdiği GPS izleme sistemlerini ele alalım. Süreç sayesinde zamandan ve işçilikten tasarruf sağlar, pahalıdır ve ağır bakım gerektirir.
Online Processing: Bu yöntem, önce verileri depolamak veya biriktirmek ve ardından işlemek yerine doğrudan veri girişi ve işlemeye izin verir. Yöntem, verileri birden çok noktada doğrulayarak ve yalnızca doğru verilerin girilmesini sağlayarak veri girişi hatalarını azaltmak için tasarlanmıştır. Bu yöntem genellikle çevrimiçi uygulamalar için kullanılır.
MultiProcessing: MultiProcessing iki veya daha fazla işlemcinin aynı veri kümesi üzerinde aynı anda çalıştığı bir veri işleme yöntemidir. Bu durumda aynı sistem içinde birden fazla işlemci bulunur. Veriler karelere bölünür ve her kare aynı anda tek bir bilgisayar sisteminde iki veya daha fazla CPU tarafından işlenir. Örn: Hava Durumu
Time-Sharing:Bu, birden çok kullanıcının bir çevrimiçi bilgisayar sisteminin kaynaklarını paylaşmasına olanak tanıyan başka bir çevrimiçi veri işleme türüdür. Hızlı sonuçlar gerektiğinde bu yöntem kullanılır. Ayrıca adından da anlaşılacağı gibi bu sistem zamana dayanmaktadır.
Data processing Örnekleri
Data processing farkında olsak da olmasak da günlük hayatımızda gerçekleşir. İşte bazı gerçek hayattan data processing örnekleri:
✓ Milyonlarca hisse senedi verisini basit bir grafiğe dönüştüren bir hisse senedi alım satım yazılımı
✓ Bir e-ticaret şirketi, benzer ürünleri önermek için müşterilerin arama geçmişini kullanır.
✓ Bir dijital pazarlama şirketi, konuma özgü kampanyaları strateji haline getirmek için insanların demografik verilerini kullanması
✓ Kendi kendine giden bir araba, yolda yayalar ve başka arabalar olup olmadığını tespit etmek için sensörlerden gelen gerçek zamanlı verileri kullanır.
Batch Processing vs Stream Processing Temel Farklar
| BATCH PROCESSING | STREAM PROCESSING |
| Batch processing, yüksek değerli verilerin belirli bir zaman aralığında toplu olarak işlenmesini ifade eder. | Stream Processing, sürekli veri akışının üretildiği anda işlenmesini ifade eder. |
| Batch processing,veri boyutu bilinir ve sınırlıdır. | Stream processing veri boyutu önceden bilinmez ve sonsuzdur. |
| Genellikle veriler birden çok geçişte işlenir. | Genellikle veriler birkaç geçişte işlenir. |
| Verileri işlemesi daha uzun sürer. | Verileri işlemesi birkaç saniye veya milisaniye sürer. |
| Bordro ve faturalama sisteminde, gıda işleme sisteminde vb. kullanılır. | Akış işleme, borsa, e-ticaret işlemleri, sosyal medya vb. |
| Geri bildirim iş tamamlandıktan sonra sağlanır. | İşlem esnasında yanıt hemen sağlanır. |
Hayatımızın her alanında kullandığımız verileri, işlemek ve anlamlı sonuçlar çıkarabilmek bir noktada işlerimizi kolaylaştırıyor.
Yukarıda veriyi nasıl anlamlı hale getirebiliriz, ne tür veri işleme türleri vardır bunlar ile ilgili temel bilgilere değindik.
Bir sonraki makalede görüşmek üzere…
Referanslar
https://www.precisely.com/blog/big-data/big-data-101-batch-process-streams
https://learn.microsoft.com/en-us/azure/architecture/data-guide/big-data/real-time-processing
https://www.voxco.com/blog/data-processing-what-exactly-does-it-mean/