Thursday, 24 January 2008
Hu Yoshida, CTO, Hitachi Data Systems
1. Controlling Carbon Emissions: With increasing concern about global warming we will see more governments impose guidelines and legislation around carbon emissions. Major corporations will set targets for reduction of carbon emissions.
A major source of carbon emissions comes from the generation of electricity. The increasing demand for computer power, network bandwidth, and storage capacity will increase the need for data centre power and cooling.The US government just completed a study which estimated that the IT sector consumed about 61 billion kilowatt-hours (kWh) in 2006 (1.5 percent of total U.S. electricity consumption) for a total electricity cost of about $4.5 billion. This is expected to double in the next 5 years. Some cities like London and New York are running out of electrical capacity and data centres are forced to relocate to other areas where power is available. This will require facility upgrades and investment in Green technology.
In September of 2007 Hitachi ltd, announced a program in Japan that is known as CoolCentre50 which is targeted at reducing power consumption in their Yokohama and Okayama data centre by 50% in 5 years. This effort encompasses all of the groups in Hitachi including, air conditioning, power generation, IT equipment and management software. In support of this goal, Naoya Takahashi, the Executive General Manager and Vice President of the Hitachi’s Information and Telecommunications Group announced the Harmonious Green Plan which aims to reduce 330,000 tons of CO2 in the next 5 years through the development of power saving IT products like storage and server virtualisation.
2. Economic Uncertainty: The collapse of the housing market in the US, high oil prices and the falling dollar will create economic uncertainty. Budgets will be tight and IT will have to do more with less. Doing more with less will drive It to consider ways to consolidate IT resources through virtualisation, increase utilisation of resources such as server cycles and storage capacities, eliminate redundancies where ever possible through de-duplication and single instance store, and reduce the working set of production data through the aggressive use of archive products.
3. Increasing Use of Archiving: Structured data like databases are exploding as they are required to hold more data, longer, for compliance reasons. Semi structured data, like email, web pages, and document management data are increasing dramatically. Corporate email quotas will increase from less than 200 MB to 2GB in order to support new knowledge workers and compete with free mail box offerings from Google and AOL. An avalanche of unstructured data will be driven by RFID tags, Smart cards, and sensors that monitor everything from heartbeats to border crossings. The new Airbus and Boeing Dream Liners will generate terabytes (TBs) of data on each flight. All these pressures will drive the need to archive data in order to reduce the working set of production data. This will call for new types of archiving systems that can scale to petabytes and provide the ability to search for content across different modalities of data. Creating a separate archive for each type of data will not help the problem.
4. Awareness of Storage Deficiencies: There will be a growing awareness that the storage of data has become highly inefficient, with low utilisation, stranded storage, too many redundant copies, low access speeds, inefficient search, and disruptive movement and migration. Continuing to buy more of the same old storage architectures will no longer be an option. Buying faster storage processors with larger capacity disks on the same 20 year old architectures will no longer be viable. New storage architectures will be required to meet these changing demands. A new architecture that can scale performance, connectivity, and capacity, non-disruptively to multiple petabytes is required. It must also be able to provide new data and storage services like multi-protocol ingestion and common search, across heterogeneous storage arrays with centralised management and secure protection.
5. Data Mobility will be a Key Requirement: With the need for continuous application availability, IT will need the ability to move data without disruption to the application. While software data movers have been used in the past, they steal processor cycles from the application and are limited to slow speed IP links to move data. As the volume of data increases, this becomes too disruptive. The movement of data will have to be offloaded to a storage system which can move data over high speed Fibre Channel links without the need for the application’s processor cycles. This will be increasingly more important for migration of data during storage upgrades to larger and larger storage capacity frames.
6. Control Unit Virtualisation of Storage: Control Unit Virtualisation of Storage will be recognised as the only approach to storage virtualisation that can add value to existing storage arrays. Industry analysts like Dr. Kevin McIsaac, of Intelligent Business Research Services Pty in Australia points out ”The idea of being able to layer (network-based) virtualisation over existing storage arrays is seriously flawed”. He points out that this “results in a lowest common denominator view of the infrastructure, eliminating the value-added features of the array.” This type of virtualisation adds another layer of complexity introduces a performance bottleneck, becomes another potential source of failure, and a vendor lock-in. A control unit based approach to virtualisation is able to leverage all the rich functionality of the control unit to enhance the functionality of lower cost or legacy tiers of storage arrays. A control unit based approach to virtualisation will enable less capable storage systems to utilise the value added services in that control unit like data mobility functions or thin provisioning capabilities.
7. Services Oriented Storage: Services Oriented Storage will become a requisite complement to Services Oriented Architecture (SOA) in the application space and to Services Oriented Infrastructure in the infrastructure space in order to achieve the dynamic data centre of the future. SOA depends on a virtualisation layer provided by XML which enables applications to share information and utilise common services like billing. Services Oriented Infrastructure depends on a virtualisation layer provided by products like VMWare which enables operating systems to share the resources of a processor platform. Services Oriented Storage requires a virtualisation layer in the storage control unit which enables other storage systems to leverage its services like a high performance global cache, distance replication, tiered storage, and thin provisioning.
8. Convergence of Content, File, and Block based Storage Services: Instead of separate stove pipe storage systems for content (archive), file and block storage system, we will see the convergence of these storage types to a common virtualisation platform. High availability clusters of content servers and file servers will use a common block virtualisation services platform, under one common set of management tools. This will enable content servers or file servers to leverage common block services like distance replication, thin provisioning, or virtualisation of heterogeneous storage systems
9. Thin Provisioning: Thin provisioning will provide the biggest benefit in increasing the utilisation of storage by eliminating the waste of allocated but unused storage capacity. This savings is multiplied many times over by eliminating the need to copy that allocated but unused capacity every time a copy is required for backup cycles, replication, data mining, development test, data distribution, etc. The implementation of thin provisioning should be provided as a service on a storage virtualisation platform so that it can benefit existing storage systems through virtualisation. The benefits of thin provisioning would be defeated if it requires yet another stand alone storage system. This ability to increase utilisation will be embraced by Green advocate and will be seen as a way to contain costs.
10. Deduplication: Deduplication will be implemented by all the major backup vendors. Deduplication is especially effective in eliminating duplicated data in backups. The ability to reduce a stream of data by 20 to 30 times will be extremely valuable in reducing the cost of storing data to the point that it will be feasible to store backup data to disk rather than to tape where the operational, availability, and reliability characteristics are better. Other forms of deduplication like single instance store for archives, and copy on write for snapshots will become more prevalent.
Feb 21, 2008
IDC's 2008 Storage Predictions
IDC recently released their 2008 Top 10 Storage Predictions (Doc #209796, Worldwide Storage 2008 Top 10 Predictions: New Paradigms.) In my previous post I listed our Top 10 predictions, let's look at IDC's take...
IDC's 2008 Storage Predictions:
1. Storage as a Service (SaaS): See our Trend #10, looks like this may be the year for SaaS. The best thing that SaaS does is this: It lowers the barrier of entry for start ups. Want a perfect example? SmugMug.com stores approx. 205,000,000 photos for its customers using Amazon S3 and estimates they will save around $2M in storage costs just this year.
2. Ro le-based Storage Systems: I had to read deeper into the report to see what IDC is talking about here. Their summary describes it as storage solutions that will target a specific issue (backup/restore, archive, etc.) and one that will leverage "standard server architectures" and add value through "advanced software." Hmmm, sounds an awful lot like Sun's Open Storage Platform (see trend #1) - Standard server architecture: check. Advanced software features: ZFS? - check. Role-based: well, add VTL software to Sun's X4500 and you have a backup/restore device, add IPconfigure software and you have a Digital Video Recorder (DVR), add Greenplum software and you have a Data Warehouse application - check!
3. Object -based Storage Systems: See our trend #7. IDC makes an excellent distinction in their report that I must highlight...a lot of storage applications classify data (moving it to the appropriate storage tier) by looking at data workloads. But several different types of workloads can be used by a single application. The type of data + the application it is tied to may be a better way to classify it.
4. Solid-State Disk (SSD): See our trend #9. IDC states that SSD will enter into the data center as storage tier 0 and I agree. Flash promoters and disk vendors are already starting to pull up benchmarks against each other, but an integrated approach will probably prevail. For a fun SSD RAID implementation see the "Battleship Mtron." StorageMojo has a balanced take on SSD.
5. Virtual Servers (e.g. VMware) will be killer app for iSCSI: IDC predicts that just under half of virtualized servers connected to SANs will be connected to iSCSI. They state that manufactures selling iSCSI systems will find the servers they are connected to will be running server virtualization. (As virtual server admins are more comfortable with IP & Ethernet technology).
6. Value-Added Storage Services Will Begin to Be Divorced from Storage Subsystems, Resulting in Further Commoditization of Storage Subsystems: Quite a mouthful - but if you want an example, check out Sun's ZFS and its point-in-time-copy, volume management, administration, Copy-on-write and RAID Storage Services!
7. Disk Encryption: See our trend #5. We did it for tape, disk is a logical next step. Key Management continues to be the key part of encryption solutions, whether they are tape or disk based...
8. Vendors Will Create More Attractive "All In One" Solutions Using an Integrated Storage and Server Approach: Look no further than the SunFire X4500 (aka "Thumper")
9. "Green" Initiatives Will Spark Some Hardware Refreshes: IDC predicts that Eco messaging will evolve to vendors helping users connect business practices to green storage, as well as IT focusing on how to address the environmental impacts of manufacturing and disposing of older storage equipment.
10. De-Dup, VTL & Thin Provisioning become standard options: See our #3 and #4 trends. What were emerging technologies in 2007, will become "rights to play" in 2008 …
IDC's 2008 Storage Predictions:
1. Storage as a Service (SaaS): See our Trend #10, looks like this may be the year for SaaS. The best thing that SaaS does is this: It lowers the barrier of entry for start ups. Want a perfect example? SmugMug.com stores approx. 205,000,000 photos for its customers using Amazon S3 and estimates they will save around $2M in storage costs just this year.
2. Ro le-based Storage Systems: I had to read deeper into the report to see what IDC is talking about here. Their summary describes it as storage solutions that will target a specific issue (backup/restore, archive, etc.) and one that will leverage "standard server architectures" and add value through "advanced software." Hmmm, sounds an awful lot like Sun's Open Storage Platform (see trend #1) - Standard server architecture: check. Advanced software features: ZFS? - check. Role-based: well, add VTL software to Sun's X4500 and you have a backup/restore device, add IPconfigure software and you have a Digital Video Recorder (DVR), add Greenplum software and you have a Data Warehouse application - check!
3. Object -based Storage Systems: See our trend #7. IDC makes an excellent distinction in their report that I must highlight...a lot of storage applications classify data (moving it to the appropriate storage tier) by looking at data workloads. But several different types of workloads can be used by a single application. The type of data + the application it is tied to may be a better way to classify it.
4. Solid-State Disk (SSD): See our trend #9. IDC states that SSD will enter into the data center as storage tier 0 and I agree. Flash promoters and disk vendors are already starting to pull up benchmarks against each other, but an integrated approach will probably prevail. For a fun SSD RAID implementation see the "Battleship Mtron." StorageMojo has a balanced take on SSD.
5. Virtual Servers (e.g. VMware) will be killer app for iSCSI: IDC predicts that just under half of virtualized servers connected to SANs will be connected to iSCSI. They state that manufactures selling iSCSI systems will find the servers they are connected to will be running server virtualization. (As virtual server admins are more comfortable with IP & Ethernet technology).
6. Value-Added Storage Services Will Begin to Be Divorced from Storage Subsystems, Resulting in Further Commoditization of Storage Subsystems: Quite a mouthful - but if you want an example, check out Sun's ZFS and its point-in-time-copy, volume management, administration, Copy-on-write and RAID Storage Services!
7. Disk Encryption: See our trend #5. We did it for tape, disk is a logical next step. Key Management continues to be the key part of encryption solutions, whether they are tape or disk based...
8. Vendors Will Create More Attractive "All In One" Solutions Using an Integrated Storage and Server Approach: Look no further than the SunFire X4500 (aka "Thumper")
9. "Green" Initiatives Will Spark Some Hardware Refreshes: IDC predicts that Eco messaging will evolve to vendors helping users connect business practices to green storage, as well as IT focusing on how to address the environmental impacts of manufacturing and disposing of older storage equipment.
10. De-Dup, VTL & Thin Provisioning become standard options: See our #3 and #4 trends. What were emerging technologies in 2007, will become "rights to play" in 2008 …
Top 10 Storage Technology Trends
Source Friday Nov 30, 2007
It’s getting to be the end of the year – and Sun, like every other vendor I assume, is looking at the new technology trends that have (or will) impact our industry.
My team and I were asked to evaluate some – to see where to prioritize future investments, evaluate current and future competitive threats, etc. Ensuring we stay ahead of the technology game. So below is our very own top 10 list of emerging technologies. (As well as some color to what Sun is doing here)
I’m sure we’re missing some and comments and claims are our own, they don’t represent any commitment or position from Sun Corporate (For official news on Sun go here…)
Top 10 Storage Technology Trends:
1. Open Storage Platform (aka general purpose storage, open source storage): Trend #1 is a term we coined, so it may not sound familiar. It is a combination of market trends as well as a direction Sun is taking with its newer products. The concept of a common platform is not new – several vendors have tried to build one platform that can run multiple storage applications, saving users time and money. “Open” is a relatively new concept for storage, but not for software or servers. There are generally three components that make up an Open Storage Platform:
. General Purpose Components: General-purpose servers, processors, storage and operating systems are now being deployed in enterprise-class storage devices. Previously, storage vendors had built proprietary operating systems, ASIC chips and other custom-built components. As commodity chips, components and software have matured, storage vendors are now using general purpose components in their systems. The cost savings are significant - however, most vendors' prices remain the same (contributing to vendor margin). Sun's philosophy is to pass these savings to the consumer. Enterprise-class systems based on general purpose components give customers higher-value systems at a fraction of the cost (see graphic below). They are also much more flexible, as they can be re-purposed for other uses.
. OS/File System Storage Services: Traditional appliances charge customers extra in software licensing costs for data management services like administration, replication or volume management. What if this functionality came already embedded in the storage system itself? Sun's newest file system, ZFS, has started to incorporate these services at the File System level. ZFS deploys point-in-time-copy, volume management, administration and data integrity features like Copy-on-write and RAID. Storage services deployed at the OS-level have several benefits, including efficiency, performance, reliability and affordability (no more licenses for extra software needed). And before we think this is a new concept, mainframe has been doing it for years . The new concept is doing this in the open systems space – and Sun Solaris ZFS is leading the charge.
. Open Source Storage Software: The ability to download software, test it and add features to it is critical to developers building new applications – we’ve seen this in the OS market. But what about storage? This has been an investment area of Sun’s - Sun actually offers one of the most complete open source storage software stacks (from protocols to drivers to data management software). Developers can build their own storage solutions and sell them by leveraging Sun’s open source software (see the Nexenta Storage Appliance for a perfect example). Open source has an added benefit to customers with in-house development resources - customers can deploy new software features by searching for it in the open source community or even developing it themselves (why wait for vendor roadmaps?). This is not possible with a proprietary appliance.
The simplest way to show the impact the Open Storage Platform concept will have on the storage industry is a basic economic comparison. We used IDC's Pricing Database to compare over 50 actual purchase orders of enterprise disk (Sun ST9900, EMC DMC3), Midrange Disk (Sun ST6140, EMC CX3) and a Sun product built on our Open Storage Platform (the SunFire X4500):
- Enterprise Disk = $18.84/GB
- Midrange Disk = $10.39/GB
- Open Storage Platform = $1.50/GB
(7x less than Midrange and 13x less than Enterprise )
NOTE: There are certain applications and features that must run on higher-end disk. But at a $1.50, customers will be compelled to find which applications should be running on the SunFire X4500. What is even more remarkable, the SunFire X4500 includes the server, OS, data services, storage and networking components - all for $1.50/GB!
Game-changing economics…
2. Virtualization : Where to begin? The benefits are obvious – massive savings through optimization, consolidation and optimization. The best definition of virtualization I have seen came from the 4 51 Group’s Virtualization Report which defined Virtualization as, “A software abstraction layer that permits aggregation, emulation or partitioning.” Let’s look at the different types of virtualization out there today
. Server Virtualization: The ability to host Windows, Linux and Solaris operating systems on one platform has literally taken the market by storm. A huge boon to IT managers and developers alike. VMWare led the charge with some start-ups and open source initiatives in tow. On October 5, 2007 Sun entered the race with Sun xVM. (And if virtualization has hit the systems world, expect to see it hit the desktop market soon…)
. File Virtualization (a.k.a Clustering, Global Namespace, Unified Namespace, NAS Virtualization): A few years ago we were talking about Grid Storage – a bunch of storage nodes acting as one, single system. File virtualization is shaping up to be the technology that will take us there. In 2005 & 2006 we saw EMC buy Rainfinity, NetApp buy Spinnaker and Brocade buy NuView. In recent years we we have seen EMC announce Rainfinity, NetApp announce a rough start to Data OnTap GX (based on Spinnaker technology) and file virtualization start ups Ibrix, Isilon and LeftHand Networks continue to grow. Expect this market to heat up, and consolidate as start ups are either bought, or simply run out of runway.
Virtual Tape: A disk system that emulates a tape library. Virtual Tape has been in the mainframe market for years, and Sun is the market leader here. Virtual Tape Libraries (VTL) in the open systems market are relatively new – disk prices have eroded to a point where backup administrators can now take advantage of disk’s access speeds without replacing their exiting backup infrastructure. IDC pegs this market as small, but growing at 16.2% (2006-2011 CAGR).
. Virtual Disk (aka Storage Virtualization): A disk system that aggregates 3rd-party disk and offers disk partitioning. A necessity for anyone that needs to consolidate their environment and/or make data migration between independent systems easier. Virtual Disk Systems include IBM’s San Volume Controller (SVC), FalconStor’s IPStor and Sun’s award-winning StorageTek 9000 arrays.
3. Thin Provisioning: Better system utilization is the name of the game. Most admins know that the utilization rates on their disk systems ar e not where they need to be. Thin Provisioning allows admins to allocate or provision space to specific applications, making full use of their system’s capacity. 3PAR spearheaded open systems Thin Provisioning and NetApp offers it as a part of Data OnTap. Sun announced Thin Provisioning on its StorageTek 9990V system in May – meaning consumers can have the world’s fastest enterprise array, Virtual Disk AND Thin Provisioning all on one platform.
Pretty cool…
4. Data Deduplication (aka De-dup, Single-instance storage): In a world where there is more data coming into a company than can possibly be managed – data compression ratios ranging from 10:1 to 50:1 sound pretty darn nice ( See how De-dup works here). Data Domain, Diligent, FalconStor and other upstarts get credit for bringing this new technology to market and larger vendors are quickly following suite. De-dup is still emerging, can have performance issues and does not work perfectly for every application – but economics dictate its worth consumers investigating where it can work for them.
There are two emerging de-dup architectures: “Inline” – where the de-dup magic happens in real-time, as data comes into the system, as found in Diligent's ProtecTIER appliance. Or “Post-Processing” where the magic happens as a secondary process after the backup job, as found in FalconStor’s Single Instance Repository (SIR) software. Both have their pros and cons, and deciding which approach to use depends on balancing your performance vs. complexity needs. For the record, Sun sells both….
5. Data Encryption: One need only read the horror stories of lost tape and disk drives to see the importance of data encryption. While it has been around for a while – the need has never been greater. Growing storage capacity has caused another problem – one can store a lot of personnel records on a single cartridge or drive. In an age of identify theft, losing one storage device can put a company out of business. The new trend is not how to encrypt, but where to encrypt… On the host server? On an appliance in the network? In the storage device itself? Decru (since bought by NetApp) benefited from this trend with their encryption appliance.
I once worked with a brilliant engineer whose favorite saying was “never put a product where a feature should be. ” I’ d say this was Sun’s philosophy when we delivered the Sun StorageTek T10000 tape drive. Put simply, Sun put an encryption chip next to the compression chip on the drive – so data is encrypted as it is fed onto the tape. Simple and affordable – no extra appliance needed. Sun also offers the StorageTek Crypto Key Management Station to centrally authorize, secure and manage encryption keys.
6. Eco Storage (aka Green Storage/IT): I freely admit that when I was first approached with “Green Storage” I was a skeptic. I would have also never guessed Al Gore would win the Nobel Peace Prize! But Eco also stands for Economics. If you save power and footprint, and the world while you are at it – who can argue with that? But the challenge for storage customers will be sorting through the vendors who make REAL Eco investments vs. the ones that just add “Eco” or “Green” to their marketing collateral. Sun’s in the “real” category, investing heavily in Eco IT. Sun’s Eco efforts can be seen here...
7. Object Archive (aka CAS, Application Aware Archive): The dizzying array of regulations, compliance requirements and influx of data have made the archive market one of the fastest growing markets in IT and stor age. And customers must continually evaluate which archive approach will work best for them. The trend here is to “build a better mousetrap archive.” The challenge is this, an archive system must:
- Store a lot of data affordably
- Have WORM functionality so documents show up un-altered in an audit or court of law
- Be easily and quickly accessible
- For more than 100 years…
Easier said than done. While tape continues to be the old staple in archive, and faster and denser tape systems are coming out each year – a lot of new innovations are happening on the disk and software side. Disk-based object-level archive systems include EMC’s Centera, HP’s RISS and Sun’s StorageTek 5800 “Honeycomb” pictured at right. Sun’s ST5800 system uses advanced meta data features and processors close to each storage cluster for fast access to deep archives – great for digital library, Web 2.0 and HPC applications and environments.
But do keep in mind for deep archive; Sun’s StorageTek SL8500 Tape Library is tough to beat – just one library's max raw capacity is 56 Petabytes, and data sitting on tape consumes 0 kilowatts and generates 0 CO2… (see above trend #6)
8. New Interfaces, Protocols & Configurations: There is a lot of change happening in storage systems and how they are configured. The three primary ways storage is attached is Direct Attached Storage ( DAS ), Storage Area Networks (SAN) and Network Attached Storage (NAS). A disk system can also be configured in a couple different ways. RAID configurations stripe data across multiple drives and impact a system’s reliability and performance. JBOD (Just a Bunch of Disks) is more affordable because it does not require a disk controller, but provides no data redundancy. New interfaces and protocols will impact each of these markets significantly.
. SAS: In DAS, Serial Attached SCSI (SAS) is a newer serial communication protocol that will make data transfer speeds much faster and at a lower cost. SAS drives have replaced parallel SCSI for internal storage, and SAS HBA external host interfaces are just starting to ship in volume. SAS disk arrays started shipping this year and SAS JBOD are starting to ship. To complement the SAS HBA's and SAS arrays, there are new network components called expanders which are basically switches. Generally SAS disk will be cheaper than Fibre Channel (FC) with similar performance and capacity. (Sun has SAS host I/F, disk I/F and SAS disk drives)
. iSCSI: In the SAN market, the iSCSI protocol is making a significant impact by taking the cost out of expensive Fibre Channel SANs. iSCSI allows users to send SCSI commands over their existing IP networks.
. File Virtualization: In the NAS market, file virtualization is making NAS farms much more scalable and manageable (See trend #2)
. Clustered RAID: A new innovation to watch in the RAID market is horizontally scalable RAID or clustered RAID for large applications. Digi-Data is a small storage company pushing this innovation.
. JBOD: Keep your eye on Sun in the JBOD market. JBOD is more affordable than RAID, but does not have RAID’s redundancy and reliability features. But what if you had an infinitely scalable file system with data integrity and RAID features running on JBOD, say, something like ZFS?
. Unified Storage: Another trend in this area are unified or hybrid devices – storage systems that can handle multiple protocols and interfaces, including iSCSI, Fibre Channel, and NAS – all in one unit. Makes sense to users with a dizzying array of choices in the market.
. 10GbE: Lastly, 10 Gigabit Ethernet or 10GbE is the latest and fastest of the Ethernet standards that will re-shape data center networking – offering a fast, common and affordable network technology for IT and Web 2.0 applications from supercomputing to networked storage.
9. Solid State Disk (aka SSD, Flash, Memory): We see the perfect storm happening around SSD. SSD has no moving parts, making it one of the most reliable and fastest storage mediums in the world. But it is incredibly expensive when you compare $/GB vs. Disk and Tape storage. However, SSD has made a name for itself in the consumer market (digital cameras, phones, iPods, etc.) The price pressure in the consumer arena is enormous – and this had been rapidly eroding the price of SSD. As SSD prices drop, expect to see hybrid disk drives and storage systems that leverage more SSD for greater speed and IOPS.
10. Storage as a Service:
Storage as a service offered over the Internet has been talked about for years – but poor performance and implementations have cooled this trend. However, Amazon has given Storage as a Service a power boost with its Amazon Simple Storage Service (Amazon S3). By leveraging Amazon’s existing e-commerce and storage infrastructure, the company is offering customers storage capacity for $0.15 per GB-Month of storage used – possibly the cheapest $/GB on the planet. And while this may have more play in the consumer market, Amazon could re-invigorate the storage as a service trend. Also keep an eye on Sun’s Internet Service offerings over Network.com … Continue Reading »
It’s getting to be the end of the year – and Sun, like every other vendor I assume, is looking at the new technology trends that have (or will) impact our industry.
My team and I were asked to evaluate some – to see where to prioritize future investments, evaluate current and future competitive threats, etc. Ensuring we stay ahead of the technology game. So below is our very own top 10 list of emerging technologies. (As well as some color to what Sun is doing here)
I’m sure we’re missing some and comments and claims are our own, they don’t represent any commitment or position from Sun Corporate (For official news on Sun go here…)
Top 10 Storage Technology Trends:
1. Open Storage Platform (aka general purpose storage, open source storage): Trend #1 is a term we coined, so it may not sound familiar. It is a combination of market trends as well as a direction Sun is taking with its newer products. The concept of a common platform is not new – several vendors have tried to build one platform that can run multiple storage applications, saving users time and money. “Open” is a relatively new concept for storage, but not for software or servers. There are generally three components that make up an Open Storage Platform:
. General Purpose Components: General-purpose servers, processors, storage and operating systems are now being deployed in enterprise-class storage devices. Previously, storage vendors had built proprietary operating systems, ASIC chips and other custom-built components. As commodity chips, components and software have matured, storage vendors are now using general purpose components in their systems. The cost savings are significant - however, most vendors' prices remain the same (contributing to vendor margin). Sun's philosophy is to pass these savings to the consumer. Enterprise-class systems based on general purpose components give customers higher-value systems at a fraction of the cost (see graphic below). They are also much more flexible, as they can be re-purposed for other uses.
. OS/File System Storage Services: Traditional appliances charge customers extra in software licensing costs for data management services like administration, replication or volume management. What if this functionality came already embedded in the storage system itself? Sun's newest file system, ZFS, has started to incorporate these services at the File System level. ZFS deploys point-in-time-copy, volume management, administration and data integrity features like Copy-on-write and RAID. Storage services deployed at the OS-level have several benefits, including efficiency, performance, reliability and affordability (no more licenses for extra software needed). And before we think this is a new concept, mainframe has been doing it for years . The new concept is doing this in the open systems space – and Sun Solaris ZFS is leading the charge.
. Open Source Storage Software: The ability to download software, test it and add features to it is critical to developers building new applications – we’ve seen this in the OS market. But what about storage? This has been an investment area of Sun’s - Sun actually offers one of the most complete open source storage software stacks (from protocols to drivers to data management software). Developers can build their own storage solutions and sell them by leveraging Sun’s open source software (see the Nexenta Storage Appliance for a perfect example). Open source has an added benefit to customers with in-house development resources - customers can deploy new software features by searching for it in the open source community or even developing it themselves (why wait for vendor roadmaps?). This is not possible with a proprietary appliance.
The simplest way to show the impact the Open Storage Platform concept will have on the storage industry is a basic economic comparison. We used IDC's Pricing Database to compare over 50 actual purchase orders of enterprise disk (Sun ST9900, EMC DMC3), Midrange Disk (Sun ST6140, EMC CX3) and a Sun product built on our Open Storage Platform (the SunFire X4500):
- Enterprise Disk = $18.84/GB
- Midrange Disk = $10.39/GB
- Open Storage Platform = $1.50/GB
(7x less than Midrange and 13x less than Enterprise )
NOTE: There are certain applications and features that must run on higher-end disk. But at a $1.50, customers will be compelled to find which applications should be running on the SunFire X4500. What is even more remarkable, the SunFire X4500 includes the server, OS, data services, storage and networking components - all for $1.50/GB!
Game-changing economics…
2. Virtualization : Where to begin? The benefits are obvious – massive savings through optimization, consolidation and optimization. The best definition of virtualization I have seen came from the 4 51 Group’s Virtualization Report which defined Virtualization as, “A software abstraction layer that permits aggregation, emulation or partitioning.” Let’s look at the different types of virtualization out there today
. Server Virtualization: The ability to host Windows, Linux and Solaris operating systems on one platform has literally taken the market by storm. A huge boon to IT managers and developers alike. VMWare led the charge with some start-ups and open source initiatives in tow. On October 5, 2007 Sun entered the race with Sun xVM. (And if virtualization has hit the systems world, expect to see it hit the desktop market soon…)
. File Virtualization (a.k.a Clustering, Global Namespace, Unified Namespace, NAS Virtualization): A few years ago we were talking about Grid Storage – a bunch of storage nodes acting as one, single system. File virtualization is shaping up to be the technology that will take us there. In 2005 & 2006 we saw EMC buy Rainfinity, NetApp buy Spinnaker and Brocade buy NuView. In recent years we we have seen EMC announce Rainfinity, NetApp announce a rough start to Data OnTap GX (based on Spinnaker technology) and file virtualization start ups Ibrix, Isilon and LeftHand Networks continue to grow. Expect this market to heat up, and consolidate as start ups are either bought, or simply run out of runway.
Virtual Tape: A disk system that emulates a tape library. Virtual Tape has been in the mainframe market for years, and Sun is the market leader here. Virtual Tape Libraries (VTL) in the open systems market are relatively new – disk prices have eroded to a point where backup administrators can now take advantage of disk’s access speeds without replacing their exiting backup infrastructure. IDC pegs this market as small, but growing at 16.2% (2006-2011 CAGR).
. Virtual Disk (aka Storage Virtualization): A disk system that aggregates 3rd-party disk and offers disk partitioning. A necessity for anyone that needs to consolidate their environment and/or make data migration between independent systems easier. Virtual Disk Systems include IBM’s San Volume Controller (SVC), FalconStor’s IPStor and Sun’s award-winning StorageTek 9000 arrays.
3. Thin Provisioning: Better system utilization is the name of the game. Most admins know that the utilization rates on their disk systems ar e not where they need to be. Thin Provisioning allows admins to allocate or provision space to specific applications, making full use of their system’s capacity. 3PAR spearheaded open systems Thin Provisioning and NetApp offers it as a part of Data OnTap. Sun announced Thin Provisioning on its StorageTek 9990V system in May – meaning consumers can have the world’s fastest enterprise array, Virtual Disk AND Thin Provisioning all on one platform.
Pretty cool…
4. Data Deduplication (aka De-dup, Single-instance storage): In a world where there is more data coming into a company than can possibly be managed – data compression ratios ranging from 10:1 to 50:1 sound pretty darn nice ( See how De-dup works here). Data Domain, Diligent, FalconStor and other upstarts get credit for bringing this new technology to market and larger vendors are quickly following suite. De-dup is still emerging, can have performance issues and does not work perfectly for every application – but economics dictate its worth consumers investigating where it can work for them.
There are two emerging de-dup architectures: “Inline” – where the de-dup magic happens in real-time, as data comes into the system, as found in Diligent's ProtecTIER appliance. Or “Post-Processing” where the magic happens as a secondary process after the backup job, as found in FalconStor’s Single Instance Repository (SIR) software. Both have their pros and cons, and deciding which approach to use depends on balancing your performance vs. complexity needs. For the record, Sun sells both….
5. Data Encryption: One need only read the horror stories of lost tape and disk drives to see the importance of data encryption. While it has been around for a while – the need has never been greater. Growing storage capacity has caused another problem – one can store a lot of personnel records on a single cartridge or drive. In an age of identify theft, losing one storage device can put a company out of business. The new trend is not how to encrypt, but where to encrypt… On the host server? On an appliance in the network? In the storage device itself? Decru (since bought by NetApp) benefited from this trend with their encryption appliance.
I once worked with a brilliant engineer whose favorite saying was “never put a product where a feature should be. ” I’ d say this was Sun’s philosophy when we delivered the Sun StorageTek T10000 tape drive. Put simply, Sun put an encryption chip next to the compression chip on the drive – so data is encrypted as it is fed onto the tape. Simple and affordable – no extra appliance needed. Sun also offers the StorageTek Crypto Key Management Station to centrally authorize, secure and manage encryption keys.
6. Eco Storage (aka Green Storage/IT): I freely admit that when I was first approached with “Green Storage” I was a skeptic. I would have also never guessed Al Gore would win the Nobel Peace Prize! But Eco also stands for Economics. If you save power and footprint, and the world while you are at it – who can argue with that? But the challenge for storage customers will be sorting through the vendors who make REAL Eco investments vs. the ones that just add “Eco” or “Green” to their marketing collateral. Sun’s in the “real” category, investing heavily in Eco IT. Sun’s Eco efforts can be seen here...
7. Object Archive (aka CAS, Application Aware Archive): The dizzying array of regulations, compliance requirements and influx of data have made the archive market one of the fastest growing markets in IT and stor age. And customers must continually evaluate which archive approach will work best for them. The trend here is to “build a better mousetrap archive.” The challenge is this, an archive system must:
- Store a lot of data affordably
- Have WORM functionality so documents show up un-altered in an audit or court of law
- Be easily and quickly accessible
- For more than 100 years…
Easier said than done. While tape continues to be the old staple in archive, and faster and denser tape systems are coming out each year – a lot of new innovations are happening on the disk and software side. Disk-based object-level archive systems include EMC’s Centera, HP’s RISS and Sun’s StorageTek 5800 “Honeycomb” pictured at right. Sun’s ST5800 system uses advanced meta data features and processors close to each storage cluster for fast access to deep archives – great for digital library, Web 2.0 and HPC applications and environments.
But do keep in mind for deep archive; Sun’s StorageTek SL8500 Tape Library is tough to beat – just one library's max raw capacity is 56 Petabytes, and data sitting on tape consumes 0 kilowatts and generates 0 CO2… (see above trend #6)
8. New Interfaces, Protocols & Configurations: There is a lot of change happening in storage systems and how they are configured. The three primary ways storage is attached is Direct Attached Storage ( DAS ), Storage Area Networks (SAN) and Network Attached Storage (NAS). A disk system can also be configured in a couple different ways. RAID configurations stripe data across multiple drives and impact a system’s reliability and performance. JBOD (Just a Bunch of Disks) is more affordable because it does not require a disk controller, but provides no data redundancy. New interfaces and protocols will impact each of these markets significantly.
. SAS: In DAS, Serial Attached SCSI (SAS) is a newer serial communication protocol that will make data transfer speeds much faster and at a lower cost. SAS drives have replaced parallel SCSI for internal storage, and SAS HBA external host interfaces are just starting to ship in volume. SAS disk arrays started shipping this year and SAS JBOD are starting to ship. To complement the SAS HBA's and SAS arrays, there are new network components called expanders which are basically switches. Generally SAS disk will be cheaper than Fibre Channel (FC) with similar performance and capacity. (Sun has SAS host I/F, disk I/F and SAS disk drives)
. iSCSI: In the SAN market, the iSCSI protocol is making a significant impact by taking the cost out of expensive Fibre Channel SANs. iSCSI allows users to send SCSI commands over their existing IP networks.
. File Virtualization: In the NAS market, file virtualization is making NAS farms much more scalable and manageable (See trend #2)
. Clustered RAID: A new innovation to watch in the RAID market is horizontally scalable RAID or clustered RAID for large applications. Digi-Data is a small storage company pushing this innovation.
. JBOD: Keep your eye on Sun in the JBOD market. JBOD is more affordable than RAID, but does not have RAID’s redundancy and reliability features. But what if you had an infinitely scalable file system with data integrity and RAID features running on JBOD, say, something like ZFS?
. Unified Storage: Another trend in this area are unified or hybrid devices – storage systems that can handle multiple protocols and interfaces, including iSCSI, Fibre Channel, and NAS – all in one unit. Makes sense to users with a dizzying array of choices in the market.
. 10GbE: Lastly, 10 Gigabit Ethernet or 10GbE is the latest and fastest of the Ethernet standards that will re-shape data center networking – offering a fast, common and affordable network technology for IT and Web 2.0 applications from supercomputing to networked storage.
9. Solid State Disk (aka SSD, Flash, Memory): We see the perfect storm happening around SSD. SSD has no moving parts, making it one of the most reliable and fastest storage mediums in the world. But it is incredibly expensive when you compare $/GB vs. Disk and Tape storage. However, SSD has made a name for itself in the consumer market (digital cameras, phones, iPods, etc.) The price pressure in the consumer arena is enormous – and this had been rapidly eroding the price of SSD. As SSD prices drop, expect to see hybrid disk drives and storage systems that leverage more SSD for greater speed and IOPS.
10. Storage as a Service:
Storage as a service offered over the Internet has been talked about for years – but poor performance and implementations have cooled this trend. However, Amazon has given Storage as a Service a power boost with its Amazon Simple Storage Service (Amazon S3). By leveraging Amazon’s existing e-commerce and storage infrastructure, the company is offering customers storage capacity for $0.15 per GB-Month of storage used – possibly the cheapest $/GB on the planet. And while this may have more play in the consumer market, Amazon could re-invigorate the storage as a service trend. Also keep an eye on Sun’s Internet Service offerings over Network.com … Continue Reading »
Feb 18, 2008
[MWC] 美TI의 Android폰 시제품 데모, 관람자로 인산인해
Nikkeibp, 2008/02/12 TI(Texas Instruments)가 구글의 Android를 탑재한 시제품 데모를 Mobile World Congress2008에서 처음 공개했다. TI는 자사의 애플리케이션 프로세서 OMAP를 이용해 Android폰 시제품을 제작했는데, 이번 전시회에서는 시제품을 직접 조작해 볼 수 있는 기회가 주어졌기 때문에 관람자로 인산인해를 이루었다.
전시모델은 OMAP850와 OMAP3430 탑재모델 두 가지로, OMAP850은 무선랜 기능이 있어 무선통신으로 인터넷에 접속할 수 있고, GPRS/EDGE 지원단말로 Gmail과 Google Maps, Google Calender 등을 이용할 수 있다.
한편 OMAP3430은 무선통신 기능이 없기 때문에 유선랜으로 인터넷접속을 이용할 수 있고, 터치패널 기능을 탑재했다.
구글, "수년내 웹검색은 모바일이 추월, 이통사 포탈 중심의 검색은 무의미"…iPhone 사례 거론
FT, 2008/02/13
Google이 iPhone에서의 검색이용률이 타 단말의 50배에 달하는 것으로 나타났다며, 모바일 인터넷을 주 수익창출원으로 삼겠다는 자사의 목표에 자신감을 나타냈다.
Google의 모바일부문 Vic Gundotra 부사장은 바르셀로나에서 개최된 Mobile World Congress 2008에서 "수치 집계에 실수가 있었을 것으로 생각하고 엔지니어들에게 로그 기록을 다시 한번 확인하도록 했다"고 말했다.
Gundotra 부사장은 "이러한 추세가 이어지고 다른 단말 제조업체들도 Apple을 따라 모바일 인터넷 접속을 보다 용이하게 한다면, 모바일 검색수가 수년 내로 유선 인터넷 검색수를 앞지를 것"으로 예상했다.
모바일 검색수가 증가한다는 것은 곧 검색 결과에 수반되는 Google의 광고 수익이 늘어난다는 것을 의미한다. Google은 현재 모바일 부문 실적을 따로 분리하고 있진 않지만, Gundotra 부사장은 이용량과 수익 측면 모두에서 기대 이상으로 성장하고 있다고 말했다.
모바일 인터넷에 대한 Google의 이러한 전망은 미국 AT&T와 영국 O2 등 iPhone을 독점 공급하고 있는 이통사들의 실적 발표를 반영하고 있다.
AT&T는 iPhone 유저들의 ARPU가 평균치의 2배 정도에 달하며, 이는 데이터 패키지 이용에 따른 것이라고 밝혔다. 또한 영국의 O2는 데이터 이용률이 높은 iPhone을 통해 초기단계에 있는 모바일광고 시장을 활성화시키고, 상당한 수익을 창출해 낼 수 있길 기대하고 있다.
지난 주 Yahoo는 Google과 제휴를 맺고 있던 T-Mobile과 모바일 검색엔진 oneSearch 공급에 대한 독점 제휴를 체결했다. 이에 따라 T-Mobile의 모바일 인터넷 사이트에 Yahoo의 검색엔진이 탑재되게 된다.
이에 대해 Google은 이통사가 제공하는 포털에 국한되지 않으려는 모바일인터넷 수요가 늘어나면서, 이러한 제휴의 중요성은 점차 퇴색되고 있다고 반박했다.
Gundotra 부사장은 "세계는 변하고 있다. 유저들은 울타리 없는 인터넷을 원한다. 모바일 Google을 이용하려면 Google.com을 타이핑해 들어갈 수 있다는 사실도 알고 있다. 2년전까지만 해도 이통사들이 모바일인터넷의 게이트키퍼(gate-keeper) 역할을 했지만, 이제는 더 이상 의미가 없다"고 지적했다.
한편 Gundotra 부사장은 Google이 기술적으로는 아무런 문제가 없음에도 불구하고 Google폰 제작을 원치 않았다고 밝혔다. 그는 "모든 휴대전화가 Google폰이 되기를 원한다. 개방형 모바일 OS인 Android를 가능한 한 많은 종류의 단말에 탑재하는 것이 최선의 방법이 될 것"이라고 말했다.
올해 초 Google은 오픈소스 기반의 Android OS를 발표하고 개발을 위해 휴대전화 제조업체, 소프트웨어 업체, 이통사 등 총 34개의 업체와 제휴를 체결했다. Android 탑재 단말은 2008년 하반기에 출시될 것으로 예상된다.
Google이 iPhone에서의 검색이용률이 타 단말의 50배에 달하는 것으로 나타났다며, 모바일 인터넷을 주 수익창출원으로 삼겠다는 자사의 목표에 자신감을 나타냈다.
Google의 모바일부문 Vic Gundotra 부사장은 바르셀로나에서 개최된 Mobile World Congress 2008에서 "수치 집계에 실수가 있었을 것으로 생각하고 엔지니어들에게 로그 기록을 다시 한번 확인하도록 했다"고 말했다.
Gundotra 부사장은 "이러한 추세가 이어지고 다른 단말 제조업체들도 Apple을 따라 모바일 인터넷 접속을 보다 용이하게 한다면, 모바일 검색수가 수년 내로 유선 인터넷 검색수를 앞지를 것"으로 예상했다.
모바일 검색수가 증가한다는 것은 곧 검색 결과에 수반되는 Google의 광고 수익이 늘어난다는 것을 의미한다. Google은 현재 모바일 부문 실적을 따로 분리하고 있진 않지만, Gundotra 부사장은 이용량과 수익 측면 모두에서 기대 이상으로 성장하고 있다고 말했다.
모바일 인터넷에 대한 Google의 이러한 전망은 미국 AT&T와 영국 O2 등 iPhone을 독점 공급하고 있는 이통사들의 실적 발표를 반영하고 있다.
AT&T는 iPhone 유저들의 ARPU가 평균치의 2배 정도에 달하며, 이는 데이터 패키지 이용에 따른 것이라고 밝혔다. 또한 영국의 O2는 데이터 이용률이 높은 iPhone을 통해 초기단계에 있는 모바일광고 시장을 활성화시키고, 상당한 수익을 창출해 낼 수 있길 기대하고 있다.
지난 주 Yahoo는 Google과 제휴를 맺고 있던 T-Mobile과 모바일 검색엔진 oneSearch 공급에 대한 독점 제휴를 체결했다. 이에 따라 T-Mobile의 모바일 인터넷 사이트에 Yahoo의 검색엔진이 탑재되게 된다.
이에 대해 Google은 이통사가 제공하는 포털에 국한되지 않으려는 모바일인터넷 수요가 늘어나면서, 이러한 제휴의 중요성은 점차 퇴색되고 있다고 반박했다.
Gundotra 부사장은 "세계는 변하고 있다. 유저들은 울타리 없는 인터넷을 원한다. 모바일 Google을 이용하려면 Google.com을 타이핑해 들어갈 수 있다는 사실도 알고 있다. 2년전까지만 해도 이통사들이 모바일인터넷의 게이트키퍼(gate-keeper) 역할을 했지만, 이제는 더 이상 의미가 없다"고 지적했다.
한편 Gundotra 부사장은 Google이 기술적으로는 아무런 문제가 없음에도 불구하고 Google폰 제작을 원치 않았다고 밝혔다. 그는 "모든 휴대전화가 Google폰이 되기를 원한다. 개방형 모바일 OS인 Android를 가능한 한 많은 종류의 단말에 탑재하는 것이 최선의 방법이 될 것"이라고 말했다.
올해 초 Google은 오픈소스 기반의 Android OS를 발표하고 개발을 위해 휴대전화 제조업체, 소프트웨어 업체, 이통사 등 총 34개의 업체와 제휴를 체결했다. Android 탑재 단말은 2008년 하반기에 출시될 것으로 예상된다.
Feb 12, 2008
Yellow Page
자료
- 전자통신동향분석
- Anual Reviews
- Royal Society of Chemistry
- Proceedings of the National Academy of Sciences
- Proceedings of the National Nature Photonics
- Springer 출판사의 전자도서
- Wiley 출판사의 전자도서
- 온라인 도서요약 서비스
- Expert NOW - IEEE Tutorial 동영상
Web Tech
- Web2Hub
Art
- Fairy Art
Low Power
- Less Watts Saving Power with Linux on Intel Platforms
Android
- Android
표준화
- 정보통신분야의 국제 표준화 회의 활동내용에 관한 분석정보 제공
- 전자통신동향분석
- Anual Reviews
- Royal Society of Chemistry
- Proceedings of the National Academy of Sciences
- Proceedings of the National Nature Photonics
- Springer 출판사의 전자도서
- Wiley 출판사의 전자도서
- 온라인 도서요약 서비스
- Expert NOW - IEEE Tutorial 동영상
Web Tech
- Web2Hub
Art
- Fairy Art
Low Power
- Less Watts Saving Power with Linux on Intel Platforms
Android
- Android
표준화
- 정보통신분야의 국제 표준화 회의 활동내용에 관한 분석정보 제공
리눅스는 그린화를 위한 준비 완료
미국의 정보기술 컨설팅 회사인 Unisys는 2008년의 주요 IT 분야에서 나타날 3가지 트렌드 중 하나로 IT와 환경문제가 서로 연관관계를 가지고 소위 그린 컴퓨팅이 점점 대두되고 있다고 말하였다. 2008년에는 기업들이 친환경 IT에 많은 투자를 할 것이며, 기업들의 데이터 센터들은 이전보다 효율적인 스토리지, 더욱 개선된 전력설비, 멀티코어 프로세스들을 사용하는 서버, 가상화 기술 등을 정비하게 될 것으로 예측하였다[GTB2007120749].
이러한 그린 IT화에 제일 앞장선 것이 Linux일 것이다. Linux의 아버지로 불리는 Linus Torvalds씨는 Linux operating system(OS)의 그린화에 필요한 인프라와 툴의 환경이 갖추어지고 있다고 말했다. Torvalds씨는 Linux는 소비 전력 관리툴이나 에너지 진단 툴에 뒤지고 있다고 인정했다. 하지만, 그 작업의 대부분이 완료됐다고 그는 말했다.
그러나, 이것이 최종 작업은 아니고, 향후 인프라가 갖추어지면 소비 전력을 측정하여 소비 전력의 증가와 그 이유를 알리기 위한 툴도 갖추어질 것이다고 Torvalds씨는 말했다.
이러한 움직임으로 이미 지난해 1월 OSDL(Open Source Development Labs)과 FSG(Free Standard Group)가 합병해 만든 리눅스 재단(http://www.linux-foundation.org)은 `그린 리눅스`란 워킹그룹(http://www.linux-foundation.org/en/Green_Linux)을 결성하여 친환경 리눅스 전원관리 시스템 개발을 진행하고 있다.
실제적으로 IBM은 `빅 그린 리눅스 이니셔티브`란 프로젝트에서 3,900여 대의 서버를 통합한 30여 개 메인프레임을 리눅스로 교체하여 지금 시스템보다 80%의 에너지를 절감할 수 있었다고 발표한 바 있다.
리눅스 전문업체 노벨도 이런 움직임에 동참하고 있다. 노벨 CEO인 론 호세피안(Ron Hovsepian)은 지난해 “리눅스 월드 컨퍼런스”의 기조연설의 대부분을 노벨의 리눅스 기반 친환경 데이터센터 기술을 소개하는데 할애했다. 그는 "리눅스가 데스크톱 시장의 10%를 차지하게 되고 노트북 전원 기능이 20% 향상된다면, 5억시간 분량의 전원이 절감될 수 있을 것"이라고 리눅스의 환경 친화적 가치를 강조했다.
HP는 `차세대 데이터센터`를 리눅스 기반으로 구축하여 보다 효율적이고 안전하고 쉬운 시스템으로 만들겠다고 발표하였다.
ㅇ Linux는 지속적으로 안정화
Torvalds씨는 Linux 커넬이 안정되고 있으며, 커넬의 보수에 공헌하고 있는 사람들의 커뮤니티도 커넬의 안정성을 유지하려고 하는 것도 기쁜 일이라고 말했다. “우리는 여전히, 특히 새로운 하드웨어에 대해서 많은 작업을 하고 있다. 현재, 우리가 힘을 쏟고 있는 것은 보전성의 향상과 코드의 개선이다.코드를 개선하는 것으로 기능을 보다 간단하게 추가할 수 있게 된다”고 Torvalds씨는 말한다.
ㅇ DRM은 없어져야 한다
Torvalds씨는 디지털 저작권 관리(DRM) 기술에 의해 보호되고 있는 음악이 사장되는 것처럼 보이는 것을 기쁘게 생각한다고 말했다. Torvalds씨는 2007년에도 DRM은 “완전히 넌센스”라고 말하였는데, 현재 同씨의 당시 코멘트는 서서히 증명되고 있다. “DRM은 너무나 소비자의 이익에 반하고 있어 DRM이 정말 성공했다고는 생각되지 않는다”고 Torvalds씨는 말했다.
이러한 일들은 지난달 Sony BMG가 카피 방지 기술을 배제한 음악 판매를 개시한 것과 일맥상통한다 할 수 있다. 또, EMI, Warner Music Group, Universal도 이미 DRM기술 사용을 중단한 상태이다.
KISTI 『글로벌동향브리핑(GTB)』 2008-02-10
이러한 그린 IT화에 제일 앞장선 것이 Linux일 것이다. Linux의 아버지로 불리는 Linus Torvalds씨는 Linux operating system(OS)의 그린화에 필요한 인프라와 툴의 환경이 갖추어지고 있다고 말했다. Torvalds씨는 Linux는 소비 전력 관리툴이나 에너지 진단 툴에 뒤지고 있다고 인정했다. 하지만, 그 작업의 대부분이 완료됐다고 그는 말했다.
그러나, 이것이 최종 작업은 아니고, 향후 인프라가 갖추어지면 소비 전력을 측정하여 소비 전력의 증가와 그 이유를 알리기 위한 툴도 갖추어질 것이다고 Torvalds씨는 말했다.
이러한 움직임으로 이미 지난해 1월 OSDL(Open Source Development Labs)과 FSG(Free Standard Group)가 합병해 만든 리눅스 재단(http://www.linux-foundation.org)은 `그린 리눅스`란 워킹그룹(http://www.linux-foundation.org/en/Green_Linux)을 결성하여 친환경 리눅스 전원관리 시스템 개발을 진행하고 있다.
실제적으로 IBM은 `빅 그린 리눅스 이니셔티브`란 프로젝트에서 3,900여 대의 서버를 통합한 30여 개 메인프레임을 리눅스로 교체하여 지금 시스템보다 80%의 에너지를 절감할 수 있었다고 발표한 바 있다.
리눅스 전문업체 노벨도 이런 움직임에 동참하고 있다. 노벨 CEO인 론 호세피안(Ron Hovsepian)은 지난해 “리눅스 월드 컨퍼런스”의 기조연설의 대부분을 노벨의 리눅스 기반 친환경 데이터센터 기술을 소개하는데 할애했다. 그는 "리눅스가 데스크톱 시장의 10%를 차지하게 되고 노트북 전원 기능이 20% 향상된다면, 5억시간 분량의 전원이 절감될 수 있을 것"이라고 리눅스의 환경 친화적 가치를 강조했다.
HP는 `차세대 데이터센터`를 리눅스 기반으로 구축하여 보다 효율적이고 안전하고 쉬운 시스템으로 만들겠다고 발표하였다.
ㅇ Linux는 지속적으로 안정화
Torvalds씨는 Linux 커넬이 안정되고 있으며, 커넬의 보수에 공헌하고 있는 사람들의 커뮤니티도 커넬의 안정성을 유지하려고 하는 것도 기쁜 일이라고 말했다. “우리는 여전히, 특히 새로운 하드웨어에 대해서 많은 작업을 하고 있다. 현재, 우리가 힘을 쏟고 있는 것은 보전성의 향상과 코드의 개선이다.코드를 개선하는 것으로 기능을 보다 간단하게 추가할 수 있게 된다”고 Torvalds씨는 말한다.
ㅇ DRM은 없어져야 한다
Torvalds씨는 디지털 저작권 관리(DRM) 기술에 의해 보호되고 있는 음악이 사장되는 것처럼 보이는 것을 기쁘게 생각한다고 말했다. Torvalds씨는 2007년에도 DRM은 “완전히 넌센스”라고 말하였는데, 현재 同씨의 당시 코멘트는 서서히 증명되고 있다. “DRM은 너무나 소비자의 이익에 반하고 있어 DRM이 정말 성공했다고는 생각되지 않는다”고 Torvalds씨는 말했다.
이러한 일들은 지난달 Sony BMG가 카피 방지 기술을 배제한 음악 판매를 개시한 것과 일맥상통한다 할 수 있다. 또, EMI, Warner Music Group, Universal도 이미 DRM기술 사용을 중단한 상태이다.
KISTI 『글로벌동향브리핑(GTB)』 2008-02-10
네트워크 보안, 이제 통합 관리로 한방에!
2003년의 인터넷 대란 이후 5년이 지났다. 그 동안 큰 보안 사고는 없었지만, 때문에 사용자들의 보안 관리는 느슨해졌고 IT강국이라는 수식어가 무색할 정도로 보안 의식은 결핍되어 있다. 특히 개인사용자들이 유료 백신 구입에 무관심해진 데다 웹사이트들의 회원 대상 서비스가 강화됨에 따라, ‘알약’(이스트소프트), ‘PC그린’(네이버), ‘빛자루’(안철수연구소) 등 개인용 컴퓨터 보안 시장에는 무료 백신의 시대가 열렸다.
작년 한 해를 돌아보면 매달 1천여 개의 새로운 멀웨어가 등장해 PC, 서버, 네트워크 할 것 없이 공격했다. 실행파일 감염 바이러스가 증가했고 악성코드의 은폐기법 및 자기 보호 기능이 고도화되었으며 공격 루트는 더욱 다양해졌다. 제2의 인터넷 대란의 가능성도 점쳐지는 DDos(분산서비스 거부)의 공격도 여전히 위협적이다.
이처럼 사이버 공격의 위협이 커짐에 따라 보다 철저한 보안 관리가 절실해진 것은 기업체들. 인터넷 환경의 급속한 변화 및 지능화∙광범위화되는 멀웨어에 대응하자면, 정보보호에 있어 사전 예방이 가능한 자동화 및 보안 단계의 통합화가 이루어져야 한다는 목소리가 높다.
특히 공격 양상이 고도화∙다양화되면서 보안 담당자의 관리 포인트 또한 다양하고 복합적이 됨에 따라, 비효율∙고비용 방식이 되어버린 기존 정책을 대신할 수 있는 보안 시스템에 대한 요구가 커지고 있다. 이런 요구를 충족시키는 대표적인 제품이 마이크로소프트의 Forefront 제품군이다.
마이크로소프트는 지난해 Forefront를 출시하며 안철수연구소, 트렌드마이크로, 시만텍 등이 선점하고 있는 국내 보안서비스 시장에 출사표를 던졌다.
Forefront는 IT 인프라 관리에 있어 보안과 관리 업무를 하나의 프로세스 상에서 처리할 수 있는 '통합된 프레임워크'를 강점으로 내세우는 제품. 소프트웨어나 서비스 등을 개발∙배포하고 보안성을 유지하며 어떻게 사용되고 있는지 모니터링 하는 것을, 개별 작업이 아니라 하나의 프로세스로서 통합적으로 다루는 것이 가능하도록 했다.
이는 기업의 전사적 네트워크 보호와 모든 기기 및 구성원이 기업의 보안 정책을 준수할 수 있도록 돕는 모든 솔루션을 제공함으로써, 단순한 접근 통제가 아니라 협업과 연결의 관점에서 지식과 정보의 흐름에 맞는 네트워크 보안 체제를 구축할 수 있도록 해주는 것이다.
보안 전문 업체가 아닌 곳에서 나온 보안 제품이지만, Forefront는 '마이크로소프트 멀웨어 예방 센터'라는 전 세계적인 멀웨어 조사 시스템을 구축함으로써 신뢰도에 대한 우려를 불식시켰다. 전 세계 MS 보안 제품 사용자들로부터 전달되는 피드백을 기반으로 한 보안 정보들과 우수한 자동 분석 기술을 통해 각종 위협에 대해 신속히 발견하고 대처한다.
백신의 생명이라 할 수 있는 샘플 수집 및 엔진 업데이트에 있어서도 '마이크로소프트 윈도우'의 수많은 사용자들이 보내는 데이터 등을 바탕으로 매우 빠른 대응 속도를 보여주고 있다.
Forefront의 또 하나의 장점은 세계 유수의 8개 백신업체의 멀티 엔진을 Forefront 사용자에게 무상으로 제공한다는 것이다. 하나의 백신으로 불안하다면 둘 또는 그 이상의 타사 엔진을 이용하여 2중, 3중의 방어막을 구성함으로써 멀웨어 검출률을 최대화할 수 있도록 해준다.
이러한 우수한 성능과 통합된 관리∙제어 기능의 편리함을 내세운 Forefront 제품을 통해 마이크로소프트는 올해 보안서비스 사업의 안정화를 꾀하고 있다. 날이 갈수록 보안 관리의 중요성이 높아지는 가운데, 새로운 보안서비스의 움직임에 귀추가 주목된다.
* 참고 사이트
http://www.microsoft.com/security/portal (마이크로소프트 멀웨어 예방 센터 포털)
http://www.microsoft.com/clientsecurity (Forefront Client Security)
http://blogs.technet.com/antimalware (안티 멀웨어 팀 블로그)
http://www.microsoft.com/korea/infrastructure
http://www.microsoft.com/korea/business/peopleready/infrastructure
조인스닷컴(Joins.com) 2008.02.12
작년 한 해를 돌아보면 매달 1천여 개의 새로운 멀웨어가 등장해 PC, 서버, 네트워크 할 것 없이 공격했다. 실행파일 감염 바이러스가 증가했고 악성코드의 은폐기법 및 자기 보호 기능이 고도화되었으며 공격 루트는 더욱 다양해졌다. 제2의 인터넷 대란의 가능성도 점쳐지는 DDos(분산서비스 거부)의 공격도 여전히 위협적이다.
이처럼 사이버 공격의 위협이 커짐에 따라 보다 철저한 보안 관리가 절실해진 것은 기업체들. 인터넷 환경의 급속한 변화 및 지능화∙광범위화되는 멀웨어에 대응하자면, 정보보호에 있어 사전 예방이 가능한 자동화 및 보안 단계의 통합화가 이루어져야 한다는 목소리가 높다.
특히 공격 양상이 고도화∙다양화되면서 보안 담당자의 관리 포인트 또한 다양하고 복합적이 됨에 따라, 비효율∙고비용 방식이 되어버린 기존 정책을 대신할 수 있는 보안 시스템에 대한 요구가 커지고 있다. 이런 요구를 충족시키는 대표적인 제품이 마이크로소프트의 Forefront 제품군이다.
마이크로소프트는 지난해 Forefront를 출시하며 안철수연구소, 트렌드마이크로, 시만텍 등이 선점하고 있는 국내 보안서비스 시장에 출사표를 던졌다. Forefront는 IT 인프라 관리에 있어 보안과 관리 업무를 하나의 프로세스 상에서 처리할 수 있는 '통합된 프레임워크'를 강점으로 내세우는 제품. 소프트웨어나 서비스 등을 개발∙배포하고 보안성을 유지하며 어떻게 사용되고 있는지 모니터링 하는 것을, 개별 작업이 아니라 하나의 프로세스로서 통합적으로 다루는 것이 가능하도록 했다.
이는 기업의 전사적 네트워크 보호와 모든 기기 및 구성원이 기업의 보안 정책을 준수할 수 있도록 돕는 모든 솔루션을 제공함으로써, 단순한 접근 통제가 아니라 협업과 연결의 관점에서 지식과 정보의 흐름에 맞는 네트워크 보안 체제를 구축할 수 있도록 해주는 것이다.
보안 전문 업체가 아닌 곳에서 나온 보안 제품이지만, Forefront는 '마이크로소프트 멀웨어 예방 센터'라는 전 세계적인 멀웨어 조사 시스템을 구축함으로써 신뢰도에 대한 우려를 불식시켰다. 전 세계 MS 보안 제품 사용자들로부터 전달되는 피드백을 기반으로 한 보안 정보들과 우수한 자동 분석 기술을 통해 각종 위협에 대해 신속히 발견하고 대처한다.
백신의 생명이라 할 수 있는 샘플 수집 및 엔진 업데이트에 있어서도 '마이크로소프트 윈도우'의 수많은 사용자들이 보내는 데이터 등을 바탕으로 매우 빠른 대응 속도를 보여주고 있다.
Forefront의 또 하나의 장점은 세계 유수의 8개 백신업체의 멀티 엔진을 Forefront 사용자에게 무상으로 제공한다는 것이다. 하나의 백신으로 불안하다면 둘 또는 그 이상의 타사 엔진을 이용하여 2중, 3중의 방어막을 구성함으로써 멀웨어 검출률을 최대화할 수 있도록 해준다.
이러한 우수한 성능과 통합된 관리∙제어 기능의 편리함을 내세운 Forefront 제품을 통해 마이크로소프트는 올해 보안서비스 사업의 안정화를 꾀하고 있다. 날이 갈수록 보안 관리의 중요성이 높아지는 가운데, 새로운 보안서비스의 움직임에 귀추가 주목된다.
* 참고 사이트
http://www.microsoft.com/security/portal (마이크로소프트 멀웨어 예방 센터 포털)
http://www.microsoft.com/clientsecurity (Forefront Client Security)
http://blogs.technet.com/antimalware (안티 멀웨어 팀 블로그)
http://www.microsoft.com/korea/infrastructure
http://www.microsoft.com/korea/business/peopleready/infrastructure
조인스닷컴(Joins.com) 2008.02.12
Feb 11, 2008
검색엔진이 어떻게 바뀌어야 하는가?
마이크로소프트사의 야후 인수 제시와 구글의 반발에 대한 다양한 뉴스가 쏟아져 나오는 가운데, 구글사에 의하여 발표된 연구결과는 다음과 같이 흥미로운 검색엔진의 결과에 대한 새로운 사실들을 알려주고 있다. 바로 일반적인 사용자들은 검색엔진에서의 자신의 검색결과가 로그인을 하고 다양한 시각에서 살펴보고 있는 사용자와 이미지와 유튜브 비디오를 단순한 링크에 의하여 조회하는 사용자와는 다른 검색패턴을 보이고 있다고 말하고 있다. 구글사의 제품관리자는 이번 실험결과가 검색엔진 회사들의 사용자 검색결과에 대한 관심을 증가시키는데 사용될 수 있을 것이라고 말하고 있다. 구글의 이번 실험은 대중을 위한 느리지만 꾸준한 엔지니어와 디자이너들의 노력을 대변하고 있는 것으로서, 지난 몇 년간 검색엔진 회사들의 검색 알고리즘은 꾸준히 기능적인 측면에서 향상되었지만, 사용자와의 의사소통 구조인 인터페이스는 여전히 별다른 변화 없이 제공되고 있다. 바로 사용자들은 검색엔진 사이트에 접속하여 키워드를 입력하고, 검색엔진은 이에 따른 링크가 제공된 결과 리스트를 쭉 제공하는 형식으로, 지난 1997년 검색엔진 Infoseek사의 검색결과와 오늘날 구글사의 검색결과를 비교한다면 광고를 제외하고는 거의 놀라울 만큼 일치한다는 웃지 못할 사실이 존재할 것이라고 언급하고 있다.
기존의 이러한 표준적인 인터페이스를 변화시키고자 하는 다양한 시도가 새롭게 지속되고 있는데, 예를 들어 Ask.com 사이트의 경우는 사용자에게 검색결과에 대한 링크를 사용자가 클릭하기 전에, 웹페이지에 대한 다양한 썸네일 이미지를 미리 제공함으로써 클릭 유무를 사용자가 미리 결정할 수 있게 지원하고 있고, Clusty.com사이트는 검색결과들로부터 키워드를 추출하여 사용자에게 따로 제공함으로써, 사용자가 보다 전문적인 검색을 수행할 수 있게끔 지원하고 있다.
그렇지만, 이러한 시도는 여전히 커다란 검색엔진 인터페이스 시장에서는 그다지 크게 나타나고 있는 현상이 아닌 것으로 평가되고 있는 것으로, 여전히 구글의 시장지배력과 사용자들의 보수적인 검색엔진 사용패턴은 크게 바뀌는 것이 없이 제공되고 있는 실정이다. 이러한 이유로 관련 전문가들은 두 가지를 제시하고 있다. 첫째는 다양한 사람들을 커다란 덩어리 같이 함께 함으로써, 범용적인 검색엔진 인터페이스로 작용하기 위함이고, 두 번째는 사용자들이 지난 20년간 익숙하여 왔던 검색엔진 사용과 인터페이스를 쉽게 바꾸지 못한다. 일반적으로 사용자들은 조금 불편하더라도, 새로운 것을 찾기 보다는 기존의 것을 고집하는 경향이 지속적으로 발견된다는 점에 주목할 필요가 있다. 누구보다도 가장 단순한 인터페이스 화면을 제공하고 있는 구글사는 지금까지 성공적으로 평가되고 있기 때문에, 사용자들이 크게 바꾸고 있지 않은 상황에서 지금까지 이러한 인터페이스를 지속하고 있는 것으로 평가된다.
이번 실험에서 어떤 사용자가 구글랩 페이지의 "대안뷰; alternative view"에 가입할 때, 결과 페이지는 세 가지 필터를 거쳐서 제공되는데, 첫 번째는 "Info view", 두 번째는 "Map view`, 세 번째는 "List view"이다(첨부 그림 참조). 예를 들어, 사용자가 "Map view"를 선택하게 되면, 다양한 이미지와 위치정보에 기안 새로운 정보를 제공하게 되고 "Info View"의 경우에는 사용자에게 날짜, 조치, 위치, 이미지별로 정보를 필터링할 수 있게 지원하고, 이를 통하여 보다 개인화되고 정확한 검색결과를 사용자가 획득할 수 있게끔 지원한다.
구글 관계사는 본 실험 사이트에 가입한 사용자가 어떠한 부분에 관심을 보였고, 어디서 많이 클릭을 하고, 시간을 보내었는지 데이타를 제공받을 수 있었다고 언급하면서, 이를 통하여 새로운 검색 엔진 인터페이스를 구축하는 기본적인 데이터로 사용될 수 있을 것이라 언급하고 있다. 검색엔진 인터페이스를 향상시키는 것은 쉬운 작업이 아니다. 워싱턴 대학의 컴퓨터 공학과의 Etzioni 교수는 전세계에는 수십억 개의 웹 페이지가 존재하고 있고, 관련 있는 정보를 찾는다는 것은 소방호수로 물을 마시는 과정과 비슷하다고 비유하면서, 사용자 인터페이스를 개선하는 것이 무엇보다 중요한 작업이라고 강조하면서, 기존 인터페이스를 새로운 시각으로 개선하고자 하는 구글의 이번 시도를 주의 깊게 관찰할 필요가 있다고 강조하고 있다.
검색은 계속 변화하고 있다. 그러나 점진적인 프로세스로 제공되어야 하고, 유용한 정보를 제공하는 것과 사용자에게 정보과부하를 초래하는 것 사이에 균형을 갖출 필요가 있다. 기억하여야 할 분명한 사실은, 검색 인터페이스는 여전히 원시시대에 살고 있는 것이며, 위키 검색엔진과 같은 새로운 인터페이스가 등장하고 있으며[GTB2008010087], 검색엔진 인터페이스와 사용자들의 사용자 습관이 변화하는 가운데, 상상치도 못할 기회가 펼쳐지게 될 것이라는 사실이다.
KISTI 『글로벌동향브리핑(GTB)』 2008-02-09
UCC와 분산비디오코딩
왜 UCC(User Created Contents)인가?
인터넷과 PC는 개인이 발휘할 수 있는 능력을 증대시키고 있다. 능력 증대와 함께 자존감이 커져서, 자신을 과시하고 싶어하는 욕구가 커진다.
그 옛날 베이비 붐 시대에 출생한 세대는 라디오 방송과 TV 방송을 즐긴다. 방송은 말 그대로 방송이므로 하나의 방송국에서 만든 콘텐츠를 여러 사람이 수신하는 형태이다. 그러나 그 이후 세대는 일방적인 수신을 넘어서서 자신이 참여하고 싶어한다. 아날로그 라디오에서 전화 목소리로 참여하는 형태가 이러한 욕구를 처음으로 충족시켜 주었다. 최근 인터넷과 PC의 발달은 참여 욕구를 충족시키는 형태가 다양화하고 있다.
2000년 초반 이후 디지털 카메라가 일반화되면서 dcinside.co.kr에서 일반인이 이제는 자기가 찍은(또는 만든) 정지 영상을 올리고, 댓글을 달면서 즐기는 새로운 문화가 생겨났다. 아마추어가 만든 조악한 작품을 서로 칭찬도 하고 비판도 하는 가상공간이며, 초딩이라고 불리는 초등학생도 참여하는 매우 열린 공간이다. 멀티미디어 기기의 발달과 초고속 인터넷의 발전으로 이제 동영상을 올리는 UCC 문화가 새로 정착되고 있다.
2007년 봄 youtube.com에 올라온 전자기타 연주 동영상이 세계적인 주목을 받은 바 있다. Cannon이라는 곡을 연주한 임정현씨는 홍대앞 클럽에서 일하는 평범한 연주자에서 세계적으로 유명해졌다. 이외에도 국내 UCC 사이트를 통해 유명해진 사람들로, 구두 손질하는 동영상을 올리는 이복현씨와 머리손질 동영상으로 유명해진 김창림씨 등은 개인 사업의 대박으로까지 연결되었다.
왜 분산비디오코딩(DVC Distributed Video Coding)인가?
UCC와 같이 일반인들이 제작하는 동영상은 방송국에서 제작하는 동영상에 비해 품질이 매우 떨어진다. 부족한 품질과 서투른 편집 등이 일반 사람들에게 나도 만들 수 있다는 자신감을 주어서 더 친근하게 느끼게 하는 효과가 있긴 하다. 그러나, 품질이 떨어지는 가장 큰 이유는 장비가 방송국에 비해 좋지 않고, 이용할 수 있는 전송 채널의 대역폭이 작기 때문이다.
지금은 이미 촬영되어 저장된 동영상을 올리고 있지만, 다음 단계로는 개인이 생중계하는 것을 원하게 되며, 이때에는 장비와 대역폭 문제가 더욱 커진다. DVC는 인코딩하는 장비의 복잡도를 줄이는 것이 목표이다. 현재의 휴대전화로 동영상을 촬영할 수 있지만, 그 품질이 매우 열악한 이유는 첫째로 휴대전화에서 사용하는 CPU 또는 하드웨어의 성능이 충분하지 않은 탓이다.
휴대전화에서 동영상 인코딩은 MPEG-4나, 아니면 H.264 알고리즘을 이용한다. 이 알고리즘에서 인코딩은 디코딩보다 10~15배 복잡하다. 즉, 동영상 한 프레임을 인코딩하는데 걸리는 시간은 디코딩 한 프레임하는데 걸리는 시간의 10~15배이다. 다르게 얘기해서, 프레임당 속도를 똑같이 맞추려면 화면의 크기를 1/15 ~ 1/10으로 줄여야 한다. DVC는 인코더의 복잡도를 디코더 쪽으로 옮기는 목적으로 만들어졌다. 인코딩이 디코더보다 복잡해지는 이유는 움직임 예측이 매우 많은 계산량을 요구하기 때문이다. 따라서 DVC에서는 움직임 예측을 디코더 측에서 하도록 되어 있다.
DVC의 응용 범위
방송국에서 만들고 시청자들이 보는 서비스에서는 인코더 쪽의 알고리즘이 복잡해도 상관없다. 왜냐하면 방송국에서 비싼 장비를 쓸 수 있기 때문이다. 그러나, 인코더 쪽이 복잡하면 작동이 안되는 동영상 응용 서비스도 많이 있다. 이에 대한 내용은 유럽에서 DVC 관련 국제 공동 연구인 DISCOVER의 백서(http://www.discoverdvc.org/deliverables/Discover-D4.pdf)에 자세히 나와 있다.
몇 가지 예를 들면, 첫째, 수십 대의 카메라로 인코딩 하지만 디코딩은 그 중에 하나만 하는 경우가 그렇다. 야구 중계는 보통 24개의 카메라로 하게 되지만 그 중 하나만 디코딩해서 본다. 영화 매트릭스에서는 주인공을 둘러싼 40여 개의 카메라가 찍지만 한 순간에 디스플레이되는 것은 그 중 하나만이다.
둘째로 인코더 쪽에 CPU를 좋은 것을 쓸 수 없는 경우가 있다. 우선 휴대 전화에 들어가는 비디오 카메라가 그렇지만 이보다 더 절실한 응용으로는 일회용 비디오 카메라(disposable video camera)라든가, 환경감시지역에 뿌려진 비디오 카메라들, 또한 삼키는 내시경(PillCam, 아래 그림) 같은 경우를 예를 들 수 있다. 앞으로 DVC가 보편화 된다면 더 많은 종류의 응용서비스가 개발될 수 있을 것이다.
그런데, 화상전화와 같이 인코딩과 디코딩이 동시에 되어야 하는 경우에는 휴대 단말기에서 인코딩은 DVC로 하고 디코딩은 H.264와 같은 기존 디코더로 하고, 네트워크 중간에 DVC에서 H.264로 트랜스코딩하는 방법을 생각해볼 수 있다. 이 방식은 Stanford 대학의 Girod 박사가 2000년 초반에 제안하였다.
DVC의 역사
현재 DVC를 연구하는 그룹은 크게 3그룹으로 나눌 수 있다. Stanford 대학 Girod 박사 연구팀, Berkeley 대학의 Ramchandran 교수 연구팀, 그리고 유럽의 DISCOVER 연구그룹이다. DISCOVER는 포르투칼, 이탈리아, 스페인의 대학들이 참여한 국제공동연구로 2002년부터 2006년 12월까지 연구가 진행되었다.
이들 그룹에 의해 2000년 초반부터 시작된 DVC 연구의 이론적 배경은 1973년 Slepian과 Wolf의 보조정보를 이용한 무손실 압축 연구와 1976년 Wyner와 Ziv 논문에 제시되어 있다. 둘 다 IEEE Tr. on Information Theory에 게재되었다. IEEE 논문지의 데이터베이스에서 DVC를 검색해보면 약 150편의 논문이 검색된다. 아직 한국 연구자의 논문은 없다.
DVC와 국제 표준화
DVC는 MPEG 회의의 'Future MPEG Workshop'에서 2차례 정도 소개되었다. DISCOVER에서도 아직 표준화를 진행할 만큼 효율적이지 못하다고 결론을 맺고 있다. DVC의 성능은 기존 H.263 코덱의 Intra 코딩보다는 훨씬 좋고, Predictive 코딩의 성능에 근접하고 있다. 그러나, 이는 DVC로서는 불리한 비교이다. 왜냐하면, 기존의 비디오 코덱에서는 갖가지 부수 알고리즘(variable block size, multi-frame motion estimation, 1/4 pel motion estimation, CABAC 등등)이 사용되고 있지만, DVC는 매우 기본적인 알고리즘만 구현된 상태이기 때문이다. 현재 MPEG에서 진행 중인 MVC(multi-view coding)가 2008년에 끝나면 다음 표준화의 방향은 어느 쪽일까?
본인이 DVC를 중요하게 생각하는 이유는 이러한 기술적인 제한을 넘어설 것으로 보는 문화적인 트렌드 때문이다. Web 2.0이나 Amazon의 long tail적 판매(소량 다품종 판매) 등등이 상징하듯, 이제 일반 개개인들이 참여하는 의지가 더욱 강해지고 있고, 개인이 참여하는 응용 서비스가 더욱 다양화해지고 있다. 개인이 언제 어디서나 동영상 콘텐츠를 생산/분배해야 하는 요구조건이 더욱 커진다면 DVC의 등장이 멀지 않은 것이다.
서덕영 (경희대학교 전자정보학부 교수, suh@khu.ac.kr)
인터넷과 PC는 개인이 발휘할 수 있는 능력을 증대시키고 있다. 능력 증대와 함께 자존감이 커져서, 자신을 과시하고 싶어하는 욕구가 커진다.
그 옛날 베이비 붐 시대에 출생한 세대는 라디오 방송과 TV 방송을 즐긴다. 방송은 말 그대로 방송이므로 하나의 방송국에서 만든 콘텐츠를 여러 사람이 수신하는 형태이다. 그러나 그 이후 세대는 일방적인 수신을 넘어서서 자신이 참여하고 싶어한다. 아날로그 라디오에서 전화 목소리로 참여하는 형태가 이러한 욕구를 처음으로 충족시켜 주었다. 최근 인터넷과 PC의 발달은 참여 욕구를 충족시키는 형태가 다양화하고 있다.
2000년 초반 이후 디지털 카메라가 일반화되면서 dcinside.co.kr에서 일반인이 이제는 자기가 찍은(또는 만든) 정지 영상을 올리고, 댓글을 달면서 즐기는 새로운 문화가 생겨났다. 아마추어가 만든 조악한 작품을 서로 칭찬도 하고 비판도 하는 가상공간이며, 초딩이라고 불리는 초등학생도 참여하는 매우 열린 공간이다. 멀티미디어 기기의 발달과 초고속 인터넷의 발전으로 이제 동영상을 올리는 UCC 문화가 새로 정착되고 있다.
2007년 봄 youtube.com에 올라온 전자기타 연주 동영상이 세계적인 주목을 받은 바 있다. Cannon이라는 곡을 연주한 임정현씨는 홍대앞 클럽에서 일하는 평범한 연주자에서 세계적으로 유명해졌다. 이외에도 국내 UCC 사이트를 통해 유명해진 사람들로, 구두 손질하는 동영상을 올리는 이복현씨와 머리손질 동영상으로 유명해진 김창림씨 등은 개인 사업의 대박으로까지 연결되었다.
왜 분산비디오코딩(DVC Distributed Video Coding)인가?
UCC와 같이 일반인들이 제작하는 동영상은 방송국에서 제작하는 동영상에 비해 품질이 매우 떨어진다. 부족한 품질과 서투른 편집 등이 일반 사람들에게 나도 만들 수 있다는 자신감을 주어서 더 친근하게 느끼게 하는 효과가 있긴 하다. 그러나, 품질이 떨어지는 가장 큰 이유는 장비가 방송국에 비해 좋지 않고, 이용할 수 있는 전송 채널의 대역폭이 작기 때문이다.
지금은 이미 촬영되어 저장된 동영상을 올리고 있지만, 다음 단계로는 개인이 생중계하는 것을 원하게 되며, 이때에는 장비와 대역폭 문제가 더욱 커진다. DVC는 인코딩하는 장비의 복잡도를 줄이는 것이 목표이다. 현재의 휴대전화로 동영상을 촬영할 수 있지만, 그 품질이 매우 열악한 이유는 첫째로 휴대전화에서 사용하는 CPU 또는 하드웨어의 성능이 충분하지 않은 탓이다.
휴대전화에서 동영상 인코딩은 MPEG-4나, 아니면 H.264 알고리즘을 이용한다. 이 알고리즘에서 인코딩은 디코딩보다 10~15배 복잡하다. 즉, 동영상 한 프레임을 인코딩하는데 걸리는 시간은 디코딩 한 프레임하는데 걸리는 시간의 10~15배이다. 다르게 얘기해서, 프레임당 속도를 똑같이 맞추려면 화면의 크기를 1/15 ~ 1/10으로 줄여야 한다. DVC는 인코더의 복잡도를 디코더 쪽으로 옮기는 목적으로 만들어졌다. 인코딩이 디코더보다 복잡해지는 이유는 움직임 예측이 매우 많은 계산량을 요구하기 때문이다. 따라서 DVC에서는 움직임 예측을 디코더 측에서 하도록 되어 있다.
DVC의 응용 범위
방송국에서 만들고 시청자들이 보는 서비스에서는 인코더 쪽의 알고리즘이 복잡해도 상관없다. 왜냐하면 방송국에서 비싼 장비를 쓸 수 있기 때문이다. 그러나, 인코더 쪽이 복잡하면 작동이 안되는 동영상 응용 서비스도 많이 있다. 이에 대한 내용은 유럽에서 DVC 관련 국제 공동 연구인 DISCOVER의 백서(http://www.discoverdvc.org/deliverables/Discover-D4.pdf)에 자세히 나와 있다.
몇 가지 예를 들면, 첫째, 수십 대의 카메라로 인코딩 하지만 디코딩은 그 중에 하나만 하는 경우가 그렇다. 야구 중계는 보통 24개의 카메라로 하게 되지만 그 중 하나만 디코딩해서 본다. 영화 매트릭스에서는 주인공을 둘러싼 40여 개의 카메라가 찍지만 한 순간에 디스플레이되는 것은 그 중 하나만이다.
둘째로 인코더 쪽에 CPU를 좋은 것을 쓸 수 없는 경우가 있다. 우선 휴대 전화에 들어가는 비디오 카메라가 그렇지만 이보다 더 절실한 응용으로는 일회용 비디오 카메라(disposable video camera)라든가, 환경감시지역에 뿌려진 비디오 카메라들, 또한 삼키는 내시경(PillCam, 아래 그림) 같은 경우를 예를 들 수 있다. 앞으로 DVC가 보편화 된다면 더 많은 종류의 응용서비스가 개발될 수 있을 것이다.
그런데, 화상전화와 같이 인코딩과 디코딩이 동시에 되어야 하는 경우에는 휴대 단말기에서 인코딩은 DVC로 하고 디코딩은 H.264와 같은 기존 디코더로 하고, 네트워크 중간에 DVC에서 H.264로 트랜스코딩하는 방법을 생각해볼 수 있다. 이 방식은 Stanford 대학의 Girod 박사가 2000년 초반에 제안하였다.
DVC의 역사
현재 DVC를 연구하는 그룹은 크게 3그룹으로 나눌 수 있다. Stanford 대학 Girod 박사 연구팀, Berkeley 대학의 Ramchandran 교수 연구팀, 그리고 유럽의 DISCOVER 연구그룹이다. DISCOVER는 포르투칼, 이탈리아, 스페인의 대학들이 참여한 국제공동연구로 2002년부터 2006년 12월까지 연구가 진행되었다.
이들 그룹에 의해 2000년 초반부터 시작된 DVC 연구의 이론적 배경은 1973년 Slepian과 Wolf의 보조정보를 이용한 무손실 압축 연구와 1976년 Wyner와 Ziv 논문에 제시되어 있다. 둘 다 IEEE Tr. on Information Theory에 게재되었다. IEEE 논문지의 데이터베이스에서 DVC를 검색해보면 약 150편의 논문이 검색된다. 아직 한국 연구자의 논문은 없다.
DVC와 국제 표준화
DVC는 MPEG 회의의 'Future MPEG Workshop'에서 2차례 정도 소개되었다. DISCOVER에서도 아직 표준화를 진행할 만큼 효율적이지 못하다고 결론을 맺고 있다. DVC의 성능은 기존 H.263 코덱의 Intra 코딩보다는 훨씬 좋고, Predictive 코딩의 성능에 근접하고 있다. 그러나, 이는 DVC로서는 불리한 비교이다. 왜냐하면, 기존의 비디오 코덱에서는 갖가지 부수 알고리즘(variable block size, multi-frame motion estimation, 1/4 pel motion estimation, CABAC 등등)이 사용되고 있지만, DVC는 매우 기본적인 알고리즘만 구현된 상태이기 때문이다. 현재 MPEG에서 진행 중인 MVC(multi-view coding)가 2008년에 끝나면 다음 표준화의 방향은 어느 쪽일까?
본인이 DVC를 중요하게 생각하는 이유는 이러한 기술적인 제한을 넘어설 것으로 보는 문화적인 트렌드 때문이다. Web 2.0이나 Amazon의 long tail적 판매(소량 다품종 판매) 등등이 상징하듯, 이제 일반 개개인들이 참여하는 의지가 더욱 강해지고 있고, 개인이 참여하는 응용 서비스가 더욱 다양화해지고 있다. 개인이 언제 어디서나 동영상 콘텐츠를 생산/분배해야 하는 요구조건이 더욱 커진다면 DVC의 등장이 멀지 않은 것이다.
서덕영 (경희대학교 전자정보학부 교수, suh@khu.ac.kr)
Feb 1, 2008
그린 OS로 거듭난 리눅스
Munir Kotadia ( ZDNet ) 2008/02/01 원문보기
리눅스 커널 리더 리누스 톨바즈(Linus Torvalds)는, 리눅스를 환경 친화적 운영 체제로 만들어 줄 인프라와 툴들이 드디어 완성됐다고 밝혔다.
최근 개최된 ‘Linux.conf.au’ 컨퍼런스의 인터뷰에서, 톨바즈는 이전까지 리눅스가 전력 소모량 관리 및 에너지 분석 툴 부문에서 상당히 뒤떨어져 있었음을 인정했다.
톨바즈는 "불과 몇 년 전까지만 해도 상당히 취약한 부문이었고, 이를 개선하기 위한 인프라를 구축하는데 상당한 시간이 걸렸다. 현재 이러한 작업들이 거의 완료되는 단계에 있다"고 말했다.
그는 이어 "그렇다고 모든 게 준비 된 것은 아니다. 이제 겨우 인프라가 자리 잡혔을 뿐이다. 현재 소비되는 전력을 측정할 수 있는 툴이 구비되어 있고, 전력 소모량이 높을 경우에는 그 이유가 무엇인지 분석할 수 있는 능력도 갖추었다. 상당히 중요한 기능이라고 생각한다. 예전에는 이런 정보들에 대해 전혀 파악할 수 없었다"고 주장했다.
리누스가 있든 없든 리눅스는 안전하다
리눅스의 미래에 대한 이야기가 나오자 톨바즈는 안정성에 대한 문제로 인해 더 이상 부담을 느끼지 않을 정도가 된 것에 대해 매우 기쁘게 생각하고, 또 커뮤니티의 많은 사람들이 문제 해결을 도와주고 있기 때문에 걱정이 없다고 말했다.
그는 "물론 우리 또한 여러 새로운 것들을 시도해 보고 있다. 특히 새로운 하드웨어들과 관련한 실험을 많이 하고 있다. 하지만 전체적은 관점에서 살펴보면 결국엔 기본적인 부분들을 챙기고 있는 것이라 볼 수 있다. 우리는 항상 안정성을 유지하고, 새로운 기능들을 더욱 쉽게 적용할 수 있도록 코드를 향상시키는 것을 목표로 하고 있다"고 말했다.
은퇴에 대해 물어보자, 톨바즈는 아직까지 은퇴에 대한 계획은 없고, 설사 물러난다 하더라도, 운영체제 자체가 매우 강력한 지원 커뮤니티를 보유하고 있기 때문에 유저들은 자신이 은퇴했다는 사실 조차 모를 가능성이 높다고 답했다.
그는 "은퇴에 대한 질문을 종종 받지만, 내가 걱정하는 이슈는 아니다. 내가 할 수 있는 일을 해낼 수 있는 대체 인력들이 무수히 많기 때문이다. 물론 나는 그들이 나보다 실력이 떨어진다고 믿고 싶지만 전혀 그렇지 않고, 나의 거취 때문에 리눅스가 사라지거나 위기에 처하지는 않을 것"이라고 답했다.
DRM 음악의 실패를 기념하며
톨바즈는 또한 DRM을 통해 보호받던 음악들이 점점 사라지고 있다는 사실 또한 기쁘다고 밝혔다. 톨바즈는 지난해에 있었던 한 인터뷰에서 DRM이 상당히 ‘과장돼’ 있다고 언급한 적이 있는데, 그의 말이 결국 사실로 들어났기 때문이다.
톨바즈는 "결국 나의 의견이 어느 정도 옳았음을 증명한 것 같다. DRM은 반소비자적인 성격이 너무 강해 성공할 것이라 생각하지 않았다"고 말했다.
이러한 톨바즈의 발언은, 소니 BMG이 앞으로 복제 방지 기능을 삽입하지 않은 음악들을 제공할 것이라 밝혔기 때문에 나온 것으로 보인다. 이미 EMI, 워너 뮤직 그룹, 그리고 유니버셜은 미국 내에서 DRM 기능 사용을 중단한 상태이다.@
리눅스 커널 리더 리누스 톨바즈(Linus Torvalds)는, 리눅스를 환경 친화적 운영 체제로 만들어 줄 인프라와 툴들이 드디어 완성됐다고 밝혔다.
최근 개최된 ‘Linux.conf.au’ 컨퍼런스의 인터뷰에서, 톨바즈는 이전까지 리눅스가 전력 소모량 관리 및 에너지 분석 툴 부문에서 상당히 뒤떨어져 있었음을 인정했다.
톨바즈는 "불과 몇 년 전까지만 해도 상당히 취약한 부문이었고, 이를 개선하기 위한 인프라를 구축하는데 상당한 시간이 걸렸다. 현재 이러한 작업들이 거의 완료되는 단계에 있다"고 말했다.
그는 이어 "그렇다고 모든 게 준비 된 것은 아니다. 이제 겨우 인프라가 자리 잡혔을 뿐이다. 현재 소비되는 전력을 측정할 수 있는 툴이 구비되어 있고, 전력 소모량이 높을 경우에는 그 이유가 무엇인지 분석할 수 있는 능력도 갖추었다. 상당히 중요한 기능이라고 생각한다. 예전에는 이런 정보들에 대해 전혀 파악할 수 없었다"고 주장했다.
리누스가 있든 없든 리눅스는 안전하다
리눅스의 미래에 대한 이야기가 나오자 톨바즈는 안정성에 대한 문제로 인해 더 이상 부담을 느끼지 않을 정도가 된 것에 대해 매우 기쁘게 생각하고, 또 커뮤니티의 많은 사람들이 문제 해결을 도와주고 있기 때문에 걱정이 없다고 말했다.
그는 "물론 우리 또한 여러 새로운 것들을 시도해 보고 있다. 특히 새로운 하드웨어들과 관련한 실험을 많이 하고 있다. 하지만 전체적은 관점에서 살펴보면 결국엔 기본적인 부분들을 챙기고 있는 것이라 볼 수 있다. 우리는 항상 안정성을 유지하고, 새로운 기능들을 더욱 쉽게 적용할 수 있도록 코드를 향상시키는 것을 목표로 하고 있다"고 말했다.
은퇴에 대해 물어보자, 톨바즈는 아직까지 은퇴에 대한 계획은 없고, 설사 물러난다 하더라도, 운영체제 자체가 매우 강력한 지원 커뮤니티를 보유하고 있기 때문에 유저들은 자신이 은퇴했다는 사실 조차 모를 가능성이 높다고 답했다.
그는 "은퇴에 대한 질문을 종종 받지만, 내가 걱정하는 이슈는 아니다. 내가 할 수 있는 일을 해낼 수 있는 대체 인력들이 무수히 많기 때문이다. 물론 나는 그들이 나보다 실력이 떨어진다고 믿고 싶지만 전혀 그렇지 않고, 나의 거취 때문에 리눅스가 사라지거나 위기에 처하지는 않을 것"이라고 답했다.
DRM 음악의 실패를 기념하며
톨바즈는 또한 DRM을 통해 보호받던 음악들이 점점 사라지고 있다는 사실 또한 기쁘다고 밝혔다. 톨바즈는 지난해에 있었던 한 인터뷰에서 DRM이 상당히 ‘과장돼’ 있다고 언급한 적이 있는데, 그의 말이 결국 사실로 들어났기 때문이다.
톨바즈는 "결국 나의 의견이 어느 정도 옳았음을 증명한 것 같다. DRM은 반소비자적인 성격이 너무 강해 성공할 것이라 생각하지 않았다"고 말했다.
이러한 톨바즈의 발언은, 소니 BMG이 앞으로 복제 방지 기능을 삽입하지 않은 음악들을 제공할 것이라 밝혔기 때문에 나온 것으로 보인다. 이미 EMI, 워너 뮤직 그룹, 그리고 유니버셜은 미국 내에서 DRM 기능 사용을 중단한 상태이다.@
Subscribe to:
Posts (Atom)