Nieuwe gegevenscompressiemethode vermindert big-data knelpunt

Nieuwe gegevenscompressiemethode vermindert big-data knelpunt

Anonim

door Matthew Chin, Universiteit van Californië, Los Angeles

Image

(Phys.org) - Bij het creëren van een geheel nieuwe manier om gegevens te comprimeren, heeft een team van onderzoekers van de UCLA Henry Samueli School of Engineering en Applied Science inspiratie getrokken uit de natuurkunde en de kunsten. Het resultaat is een nieuwe methode voor gegevenscompressie die beter presteert dan bestaande technieken, zoals JPEG voor afbeeldingen, en die uiteindelijk zou kunnen worden gebruikt voor medische, wetenschappelijke en videostreamingtoepassingen.

In datacommunicatie, wetenschappelijk onderzoek en geneeskunde, vereisen steeds meer toepassingen van vandaag de realisatie en analyse van enorme hoeveelheden gegevens in realtime.

Maar 'big data', zoals het bekend is, kan grote problemen opleveren, met name op gespecialiseerde gebieden waar de te onderzoeken evenementen plaatsvinden met snelheden die te snel zijn om te worden bemonsterd en in realtime worden omgezet in digitale data. Om bijvoorbeeld zeldzame kankercellen in bloed te detecteren, moeten onderzoekers miljoenen cellen screenen in een snelle stroom.

Om het proces te helpen verbeteren, heeft de UCLA-groep, geleid door Bahram Jalali, houder van de Northrop Grumman Opto-elektronische leerstoel in Elektrotechniek, en inclusief postdoctoraal onderzoeker Mohammad Asghari, een geheel nieuwe methode voor datacompressie ontwikkeld. De techniek hervormt het signaal dat de gegevens draagt ​​op een manier die lijkt op de grafische kunsttechniek bekend als anamorfisme, die sinds 1500 wordt gebruikt om optische illusies in kunst en, later, film te creëren.

De Jalali-groep ontdekte dat het mogelijk is om datacompressie te bereiken door de gegevens uit te rekken en te kromtrekken op een specifieke manier die wordt voorgeschreven door een nieuw ontwikkelde wiskundige functie. De technologie, genaamd "anamorfe rek-transformatie" of AST, werkt zowel in analoge als digitale domeinen. In analoge toepassingen maakt AST het mogelijk om niet alleen signalen vast te leggen en te digitaliseren die sneller zijn dan de snelheid van de sensor en de digitizer, maar ook om het volume van de gegevens die tijdens het proces worden gegenereerd te minimaliseren.

AST kan ook digitale records comprimeren, bijvoorbeeld medische gegevens, zodat deze via internet kunnen worden verzonden voor een telefonisch consult. De transformatie zorgt ervoor dat het signaal zodanig wordt hervormd dat "scherpe" kenmerken - de meest bepalende kenmerken ervan - meer worden uitgerekt dan de "grove" kenmerken van gegevens.

De techniek vereist geen voorkennis van de gegevens om de transformatie te laten plaatsvinden; het komt van nature en op een streaming manier voor.

"Onze transformatie zorgt voor functie-selectieve uitrekking van de gegevens en toewijzing van meer pixels aan scherpere functies waar ze het meest nodig zijn, " zei Asghari. "Als we bijvoorbeeld de techniek gebruiken om een ​​foto van een zeilboot op de oceaan te maken, zou onze anamorfische rek-transformatie ervoor zorgen dat de functies van de zeilboot veel meer worden uitgerekt dan de oceaan, om de boot te identificeren terwijl een kleine bestandsgrootte wordt gebruikt."

AST kan ook worden gebruikt voor beeldcompressie, als een op zichzelf staand algoritme of worden gecombineerd met bestaande digitale compressietechnieken om de snelheid of kwaliteit te verbeteren of om te verbeteren hoeveel beelden kunnen worden gecomprimeerd. Resultaten hebben aangetoond dat AST het standaard JPEG-beeldcompressieformaat kan overtreffen, met een dramatische verbetering in beeldkwaliteit en compressiefactor.

De nieuwe techniek vindt zijn oorsprong in een andere technologie die is ontwikkeld door de Jalali-groep, time stretch dispersive Fourier transform, een methode voor het vertragen en versterken van zwakke maar zeer snelle signalen zodat ze in realtime kunnen worden gedetecteerd en gedigitaliseerd.

High-speed instrumenten gemaakt met deze technologie hebben de ontdekking van optische schurkengolven in 2007 mogelijk gemaakt en de detectie van kankercellen in bloed met een-op-een-miljoen gevoeligheid in 2012. Maar deze instrumenten produceren een brandslang met gegevens die zelfs de meest geavanceerde computers. De noodzaak om met dergelijke gegevensladingen om te gaan, motiveerde het UCLA-team om te zoeken naar een nieuwe datacompressietechnologie.

Jalali zei dat de ontdekking is geworteld in - en geïnspireerd door - zowel natuurkunde als kunst.

"De gegevens opnieuw vormgeven door ze op de voorgeschreven manier uit te rekken en in te pakken, comprimeert ze zonder relevante informatie te verliezen", zei hij. "Het emuleert wat er gebeurt met golven als ze door fysieke media met specifieke eigenschappen reizen. Het doet ook denken aan aspecten van surrealisme en de optische effecten van anamorfisme."

Het onderzoek is gepubliceerd in Applied Optics . De toepassing ervan op digitale beeldcompressie werd deze maand gepresenteerd op de IEEE Global Conference on Signal and Information Processing en op het IEEE International Symposium on Signal Processing and Information Technology, waar het de beste papieren prijs van de conferentie ontving.