ストレージシステムの進化
現代のストレージシステムの進展と課題を覗いてみる。
― 1 分で読む
目次
- ハードディスクドライブ - HDDのレビュー
- ストレージ企業
- ハイパースケーラーとクラウドストレージ
- シンプルディスクパフォーマンスキューイングモデル
- 高いテールレイテンシへの対処
- データ圧縮、圧縮、デデュプリケーション
- 発見されていないディスクエラー - UDEとサイレントデータ破損 - SDC
- RAIDの分類と拡張
- 最大距離分離可能 - MDS最小冗長アレイ
- 回転対角パリティ - RDPコーディングアレイ
- ディスク適応冗長性スキーム
- 高い信頼性のための多次元コーディング
- グリッドファイル
- 階層RAID - HRAID
- エクサバイトスケールでの信頼性 - RESAR
- 2Dスクエア-および3Dキューブ-RAIDの信頼性
- ローカル回復可能コード - LRC
- 既存のLRCスキームの体系的比較
- ワイドストライプ消失コード
- ワイドストライプLRCの実用的設計考慮事項
- 分散RAIDにおける再構築トラフィックの削減
- ピラミッドコード
- Hadoop分散ファイルシステム - HDFS-Xorbas
- コピーセットレプリケーションによるデータ損失頻度の削減
- より効率的なデータストレージ:レプリケーションと消失コーディングの組み合わせ
- クラスタ化RAID5 - CRAID
- バランスの取れた不完全ブロックデザイン - BIBD
- CRAIDのスロープシャッフル実装
- ほぼランダムな置換 - NRP
- フラッシュソリッドステートドライブ - SSD
- Hadoop適応コーディング分散ファイルシステム - HACDFS
- ファーストアレイオブウィンピーノード - FAWN
- SSDのための差分RAID
- DRAMベースの分散ストレージ - RAMCloud
- ワイトワンスメモリ - WOMコードでSSDの寿命を向上
- 独立ゾーンの冗長アレイ - RAIZN
- NVMe-SSDとフラッシュに対する予測可能なマイクロ秒サポート
- コンピュータストレージドライブ - CSD
- 相互接続ネットワーク
- 結論:クラウドストレージ
- オリジナルソース
- 参照リンク
ストレージシステムはデータを安全に保ち、アクセス可能にするために必要不可欠だよ。大きなディスクから小さなディスクのアレイに進化してきたんだ。この変化は主に1990年代に小さなディスクがもっと大きく、手頃な価格になったからだよ。このストレージ技術の進歩により、より良い信頼性とパフォーマンスが実現されてる。
ハードディスクドライブ - HDDのレビュー
ハードディスクドライブ(HDD)は、長い間データストレージの主流だったね。手頃な価格で大量のデータを保存できる。ただ、技術が進化するにつれて、より新しいストレージタイプが出てきて、特にソリッドステートドライブ(SSD)はスピードが速くて消費電力も低いんだ。
ストレージ企業
ストレージデバイスを専門にしてる企業はいくつかあるよ。ウェスタンデジタル、シーゲート、東芝なんかが有名だね。市場がSSDにシフトする中、いくつかの企業はHDDとSSDのミックスを生産して適応してるよ。
ハイパースケーラーとクラウドストレージ
ハイパースケーラーは、大量のストレージ容量が必要な大きなデータセンターのこと。コスト効果から通常はHDDを好むけど、もっと多くの企業がクラウドに移行するにつれて、より速いストレージオプションが求められて、SSDへのシフトが進んでる。
シンプルディスクパフォーマンスキューイングモデル
ディスクのパフォーマンスは、どれくらい速くリクエストを処理するかで測れる。キューイングモデルを使うと、ディスクがさまざまな負荷にどのように反応するかを予測するのに役立って、ストレージ管理を効率的にできるよ。
高いテールレイテンシへの対処
高いテールレイテンシは、平均よりもはるかに長くかかるリクエストが引き起こす遅延のことだね。これらの遅延の原因を特定することで、全体のシステムパフォーマンスを改善できる。
データ圧縮、圧縮、デデュプリケーション
データ圧縮はファイルのサイズを縮小することでスペースを節約するよ。デデュプリケーションのような技術はデータの重複コピーを取り除いて、追加のストレージを空けるのに役立つ。これらの方法は効率的なストレージシステムを維持するために不可欠なんだ。
発見されていないディスクエラー - UDEとサイレントデータ破損 - SDC
見落とされたディスクエラーは、重大なデータ損失を引き起こす可能性があるんだ。これらのエラーをチェックしてデータを保つための技術が存在していて、信頼できるストレージシステムには重要だよ。
RAIDの分類と拡張
RAID(独立したディスクの冗長アレイ)は、複数のディスクドライブを一つのユニットに統合する方法だね。このセットアップは、ディスクの配置と管理方法によって、パフォーマンスと信頼性を改善できる。
最大距離分離可能 - MDS最小冗長アレイ
MDSコードはRAIDシステムで失ったデータを回復するのに必要なディスクの数を少なくするために使われるよ。信頼性を維持しつつ、回復に必要なディスクの数を最小限にする効率的な方法を提供するんだ。
回転対角パリティ - RDPコーディングアレイ
RDPは、複数のディスクにまたがってデータを保護するコーディング方法だね。一部のディスクが故障しても、データを復元できるようにしているよ。
ディスク適応冗長性スキーム
このスキームは、ストレージシステムの特定のニーズに応じて冗長性の管理を調整するよ。適応的なことで、現在のワークロードに基づいてパフォーマンスを最適化できるんだ。
高い信頼性のための多次元コーディング
多次元コーディング技術は、データを複数の次元に分散させることで信頼性を向上させて、特定の失敗に対して脆弱さを減らしているよ。
グリッドファイル
グリッドファイルはデータを効率的にアクセス・処理できるように整理する方法だね。特にデータを早く取り出す必要がある環境で役立つんだ。
階層RAID - HRAID
階層RAIDセットアップは、データを管理するために層状のアプローチを使うよ。この構造は、異なるストレージレベルで信頼性とパフォーマンスを向上させる。
エクサバイトスケールでの信頼性 - RESAR
RESARは、膨大な量のデータを扱うために設計された先進的なストレージシステムで、エクサバイトスケールでも信頼性を確保している。
2Dスクエア-および3Dキューブ-RAIDの信頼性
これらのRAID構造は、データを複数の次元に渡って整理するユニークな方法を提供していて、アクセス速度と信頼性を向上させるよ。
ローカル回復可能コード - LRC
LRCは、ディスクから読み取る必要のあるデータ量を最小限に抑えながらデータを回復する方法を提供するよ。このアプローチは、パフォーマンスと信頼性のバランスを取ってる。
既存のLRCスキームの体系的比較
異なるLRCメソッドを比較することで、組織は特定のデータストレージニーズに最適なアプローチを特定できるよ。
ワイドストライプ消失コード
ワイドストライプ消失コードは、データを広範囲のディスクに分散させて回復プロセスを改善することに役立つよ、信頼性も向上する。
ワイドストライプLRCの実用的設計考慮事項
LRCを実装する際には、最適なパフォーマンスと信頼性を確保するためにいくつかの実用的な考慮事項を考えなきゃいけない。
分散RAIDにおける再構築トラフィックの削減
再構築プロセス中のトラフィックを管理するのは、パフォーマンスを維持するために重要だね。この影響を最小限に抑えるための戦略が作られているよ。
ピラミッドコード
ピラミッドコードは、データの信頼性を確保しつつ効率的なデータアクセスを実現する方法だね。データがどのように整理され、取り出されるかを管理するんだ。
Hadoop分散ファイルシステム - HDFS-Xorbas
HDFSはビッグデータアプリケーション用の人気ストレージソリューションだよ。Xorbasのようなバリエーションはデータの取り出しや信頼性を向上させるんだ。
コピーセットレプリケーションによるデータ損失頻度の削減
このレプリケーション戦略は、データを複数のサーバーに分散させてデータ損失の可能性を最小限に抑えることを目的としているよ。
より効率的なデータストレージ:レプリケーションと消失コーディングの組み合わせ
レプリケーションと消失コーディングを組み合わせることで、高いレベルの信頼性を維持しながらデータをより効率的に保存できる方法が得られるんだ。
クラスタ化RAID5 - CRAID
クラスタ化RAID5システムは、複数のディスクに負荷を分散させることでパフォーマンスを向上させるよ、単一のディスクに頼るよりいいね。
バランスの取れた不完全ブロックデザイン - BIBD
BIBDは、データをディスク全体にバランスよく分散させ、信頼性を向上させるための統計方法だよ。
CRAIDのスロープシャッフル実装
この実装技術は、RAIDシステム全体にデータを分配する方法を最適化してパフォーマンスを向上させるんだ。
ほぼランダムな置換 - NRP
NRPはRAIDセットアップ内でデータを配置する方法で、全体的なパフォーマンスと信頼性を向上させるんだ。
フラッシュソリッドステートドライブ - SSD
SSDはそのスピードと信頼性からますます人気になってきてるよ。伝統的なHDDとはテクノロジーとパフォーマンスが大きく異なるんだ。
Hadoop適応コーディング分散ファイルシステム - HACDFS
HACDFSは、Hadoop環境におけるストレージパフォーマンスと信頼性を最適化するために高度なコーディング技術を利用しているよ。
ファーストアレイオブウィンピーノード - FAWN
FAWNは、低消費電力のコンポーネントを使用しながらデータを効率的に処理するために設計されたストレージアーキテクチャなんだ、いろんなアプリケーションに適してるよ。
SSDのための差分RAID
このタイプのRAIDは、SSD技術専用に設計されていて、フラッシュメモリに関連する特有の特性と課題に対処しているよ。
DRAMベースの分散ストレージ - RAMCloud
RAMCloudは、データをDRAMに保持する革新的なストレージソリューションで、高速アクセスを提供し、低レイテンシのパフォーマンスを実現しているんだ。
ワイトワンスメモリ - WOMコードでSSDの寿命を向上
WOMコードは、データの書き込みと管理方法を最適化することでSSDの寿命を延ばすんだ。
独立ゾーンの冗長アレイ - RAIZN
RAIZNは、データをゾーンに整理することでストレージパフォーマンスを向上させ、データの取り出しや冗長性を効率的にする新しいアプローチだよ。
NVMe-SSDとフラッシュに対する予測可能なマイクロ秒サポート
NVMe-SSDはストレージ技術の飛躍的な進展を代表するもので、高速データアクセスを提供し、予測可能なパフォーマンスを実現しているよ。
コンピュータストレージドライブ - CSD
CSDは、ストレージデバイスに直接処理機能を持ち込んで、特定のアプリケーションにおけるデータの取り扱いや処理をより効率的にするんだ。
相互接続ネットワーク
現代のストレージシステムは、高度な相互接続ネットワークを利用してデータトラフィックを効率的に管理し、全体のパフォーマンスを向上させてるよ。
クラウドストレージ
結論:クラウドストレージはデータをアクセス可能で安全に保つ柔軟なソリューションを提供するけど、接続依存やプライバシーの懸念などの独自の課題もあるんだ。それでも、クラウドストレージの利点はさまざまな業界での採用を促進してるよ。
タイトル: RAID Organizations for Improved Reliability and Performance: A Not Entirely Unbiased Tutorial (1st revision)
概要: RAID proposal advocated replacing large disks with arrays of PC disks, but as the capacity of small disks increased 100-fold in 1990s the production of large disks was discontinued. Storage dependability is increased via replication or erasure coding. Cloud storage providers store multiple copies of data obviating for need for further redundancy. Varitaions of RAID based on local recovery codes, partial MDS reduce recovery cost. NAND flash Solid State Disks - SSDs have low latency and high bandwidth, are more reliable, consume less power and have a lower TCO than Hard Disk Drives, which are more viable for hyperscalers.
最終更新: 2024-01-06 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2401.03235
ソースPDF: https://arxiv.org/pdf/2401.03235
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://www.storagenewsletter.com/2019/10/22/history-1989-ibm-3390-hdds-finally-arrived/
- https://en.wikipedia.org/wiki/History_of_IBM_magnetic_disk_drives
- https://en.wikipedia.org/wiki/History_of_hard_disk_drives
- https://en.wikipedia.org/wiki/MEMS
- https://www.symmetryelectronics.com/blog/is-mems-technology-fragile-a-guide-to-caring-for-your-mems-products-symmetry-blog/
- https://www.nakivo.com/blog/how-tape-backup-software-works-short-overview/
- https://en.wikipedia.org/wiki/Ransomware
- https://en.wikipedia.org/wiki/Tape_library
- https://trilio.io/resources/cost-of-downtime/
- https://www.trustradius.com/disk-based-backup
- https://en.wikipedia.org/wiki/Backup_Exec
- https://www.snia.org/sites/default/files/SNIA_TCOCALC_Workpaper_Final_0.pdf
- https://www.networkworld.com/article/3325397/
- https://en.wikipedia.org/wiki/Dark_data
- https://www.mongodb.com/databases/ephemeral-storage
- https://nexstor.com/hdd-vs-flash-storage/
- https://jcmit.net/flashprice.htm
- https://en.wikipedia.org/wiki/SCSI
- https://en.wikipedia.org/wiki/SATA
- https://en.wikipedia.org/wiki/Serial_Storage_Architecture
- https://en.wikipedia.org/wiki/Fibre_Channel
- https://www.backblaze.com/blog/object-file-block-storage-guide/
- https://aws.amazon.com/what-is/block-storage/
- https://en.wikipedia.org/wiki/Hard_disk_drive
- https://en.wikipedia.org/wiki/Zone_bit_recording
- https://www.tomshardware.com/news/seagate-launches-2nd-gen-dual-actuator-hdds-18-tb
- https://www.storagereview.com/news/seagate-exos-2x18
- https://www.anandtech.com/show/21100/seagate-unveils-exos-x24-24tb-and-28-tb-setting-the-stage-for-hamr-hdds
- https://blocksandfiles.com/2023/04/21/seagate-30tb-hamr/
- https://www.thic.org/pdf/Mar03/tarnotek.gtarnopolsky.030304.pdf
- https://blocksandfiles.com/2023/03/01/300tb-flash-drives-coming-from-pure-storage/
- https://www.tpc.org/tpcc/detail5.asp
- https://www.digikey.com/en/articles/how-to-use-mram-to-improve-edge-computing
- https://en.wikipedia.org/wiki/Western_Digital
- https://en.wikipedia.org/wiki/SanDisk
- https://www.techtarget.com/searchstorage/news/366557538/Western-Digital-to-split-flash-HDD-business-units-in-two
- https://www.techradar.com/news/ssd-vs-hdd-which-is-best-for-your-needs
- https://www.enterprisestorageforum.com/hardware/ssd-vs-hdd-speed/
- https://www.theverge.com/2023/10/30/23938334/western-digital-separating-hard-drive-flash-business
- https://www.academia.edu/25337525/One_Architecture_Fits_All_IBM_Mainframe?email_work_card=abstract-read-more
- https://www.precisely.com/blog/mainframe/9-mainframe-statistics
- https://en.wikipedia.org/wiki/Vertical_integration
- https://en.wikipedia.org/wiki/EMC_Symmetrix
- https://siliconangle.com/2020/09/29/dell-emc-sees-30-years-of-symmetrix-storage-array-innovation-cubeconversations/
- https://en.wikipedia.org/wiki/IBM_XIV_Storage_System
- https://en.wikipedia.org/wiki/IBM_FlashSystem
- https://www.cybersecuritydive.com/press-release/20230615-infinidat-enhances-cyber-storage-resilience-with-infinisafe-cyber-detection/
- https://en.wikipedia.org/wiki/IBM_Cloud_Object_Storage
- https://www.eecs.harvard.edu/~michaelm/TALKS/RabinIDA.pdf
- https://www.spectrumscale.org/wp-content/uploads/2016/12/IBM-Cleversafe-Object-Storage-Overview-022016.pdf
- https://en.wikipedia.org/wiki/IBM_Storwize
- https://www.ibm.com/docs/en/zos-basic-skills?topic=concepts-mainframe-hardware-disk-devices
- https://en.wikipedia.org/wiki/IBM_DS8000_series
- https://www.redbooks.ibm.com/redbooks/pdfs/sg248323.pdf
- https://patents.google.com/patent/US20060107135
- https://en.wikipedia.org/wiki/Tandem_Computers
- https://en.wikipedia.org/wiki/Digital_Equipment_Corporation
- https://en.wikipedia.org/wiki/Hewlett-Packard
- https://en.wikipedia.org/wiki/DBC_1012
- https://en.wikipedia.org/wiki/NCR_Voyix
- https://en.wikipedia.org/wiki/BUNCH
- https://en.wikipedia.org/wiki/Unisys
- https://en.wikipedia.org/wiki/Sun_Microsystems
- https://en.wikipedia.org/wiki/Oracle_Solaris
- https://en.wikipedia.org/wiki/Oracle_Exadata
- https://www.mercurynews.com/2017/01/20/oracle-lays-off-450-employees/
- https://www.purestorage.com/resources/gartner-magic-quadrant-primary-storage.html
- https://en.wikipedia.org/wiki/NetApp
- https://en.wikipedia.org/wiki/Hewlett_Packard_Enterprise
- https://en.wikipedia.org/wiki/Dell
- https://en.wikipedia.org/wiki/IBM
- https://en.wikipedia.org/wiki/Huawei
- https://en.wikipedia.org/wiki/Infinidat
- https://www.hitachivantara.com/en-us/home.html
- https://en.ieisystem.com/
- https://www.ddn.com/
- https://www.crn.com/news/storage/the-10-hottest-storage-startups-of-2023
- https://www.datacenterknowledge.com/manage/2023-these-are-world-s-12-largest-hyperscalers
- https://home.cern/news/news/computing/exabyte-disk-storage-cern
- https://en.wikipedia.org/wiki/CERN
- https://www.microsoft.com/en-us/research/publication/project-silica-towards-sustainable-cloud-archival-storage-in-glass/
- https://www.techradar.com/pro/microsoft-inches-closer-to-glass-storage-breakthrough-
- https://learn.microsoft.com/en-us/azure/storage/common/storage-redundancy
- https://en.wikipedia.org/wiki/Nearline_storage
- https://www.thic.org/pdf/Jul05/copansys.aguha.050720.pdf
- https://www.google.com/about/datacenters/efficiency/
- https://en.wikipedia.org/wiki/M/M/c_queue
- https://en.wikipedia.org/wiki/Long-tail_traffic
- https://en.wikipedia.org/wiki/Self-Similarity_of_Network_Data_Analysis
- https://en.wikipedia.org/wiki/Lagrange_multiplier
- https://en.wikipedia.org/wiki/Defragmentation
- https://queue-it.com/blog/ecommerce-website-speed-statistics/
- https://en.wikipedia.org/wiki/DEFLATE
- https://patents.google.com/patent/US4905297A/en
- https://www.proquest.com/openview/62157a4dcd72d24d0038014e888c7af6/1?pq-origsite=gscholar&cbl=1936364
- https://en.wikipedia.org/wiki/Zstd
- https://en.wikipedia.org/wiki/Asymmetric_numeral_systems
- https://www.theregister.com/2022/02/17/microsoft_ans_patent/
- https://en.wikipedia.org/wiki/Magnetic_tape
- https://www.techtarget.com/searchdatabackup/news/252495598/Potential-magnetic-tape-storage-capacity-surges-in-renaissance
- https://en.wikipedia.org/wiki/Disk_compression
- https://lenovopress.lenovo.com/lp1600-thinksystem-sr630-v3-server
- https://www.intel.com/content/www/us/en/content-details/784036
- https://en.wikipedia.org/wiki/Advanced_Encryption_Standard
- https://www.redbooks.ibm.com/redbooks/pdfs/sg248951.pdf
- https://www.ibm.com/downloads/cas/AM1PYZBB
- https://www.amd.com/content/dam/amd/en/documents/epyc-business-docs/white-papers/memory-encryption-white-paper.pdf
- https://en.wikipedia.org/wiki/SHA-2
- https://en.wikipedia.org/wiki/Data_deduplication
- https://en.wikipedia.org/wiki/Data_corruption
- https://atg.netapp.com/wp-content/uploads/2018/08/TECH_ONTAP-Private_Lives_of_Disk_Drives.pdf
- https://ioflood.com/blog/2021/02/04/optimal-raid-stripe-size-and-filesystem-readahead-for-raid-10/
- https://en.wikipedia.org/wiki/ZFS
- https://pve.proxmox.com/wiki/ZFS_on_Linux
- https://en.wikipedia.org/wiki/Software-defined_storage
- https://en.wikipedia.org/wiki/Hamming_code
- https://en.wikipedia.org/wiki/Connection_Machine
- https://en.wikipedia.org/wiki/Redundant_array_of_independent_memory
- https://blocksandfiles.com/2021/10/08/quantums-exabyte-munching-scale-out-modular-tape-library/
- https://en.wikipedia.org/wiki/Plug_compatible
- https://en.wikipedia.org/wiki/Amdahl_Corporation
- https://www.prnewswire.com/news-releases/hitachi-to-deliver-new-mainframe-based-on-ibm-z-systems-in-japan-300461913.html
- https://en.wikipedia.org/wiki/Count_key_data
- https://en.wikipedia.org/wiki/Disk_array_controller
- https://en.wikipedia.org/wiki/Disk_sector
- https://en.wikipedia.org/wiki/Error_correction_code
- https://en.wikipedia.org/wiki/Advanced_Format
- https://en.wikipedia.org/wiki/List_of_disk_drive_form_factors
- https://en.wikipedia.org/wiki/Singleton_bound
- https://en.wikipedia.org/wiki/Reed-Solomon_error_correction
- https://www.oracle.com/it-infrastructure/
- https://en.wikipedia.org/wiki/Thin_provisioning
- https://web.archive.org/web/20061118125440/
- https://www.byteandswitch.com/document.asp?doc_id=35674
- https://www.hyperscalers.com/jetstor-raidix-1185mbs-storage-nas-san-record
- https://www.raidix.com/files/raid_7_3_en.pdf
- https://en.wikipedia.org/wiki/Poisson_binomial_distribution
- https://en.wikipedia.org/wiki/Amazon_Elastic_Compute_Cloud
- https://vastdata.com/whitepaper
- https://vastdata.com/blog/breaking-resiliency-trade-offs-with-locally-decodable-erasure-codes
- https://vastdata.com/blog/providing-resilience-efficiently-part-ii
- https://www.microsoft.com/en-us/research/blog/better-way-store-data/
- https://en.wikipedia.org/wiki/Data-centric_computing
- https://www.hitechnectar.com/blogs/learn-more-about-computing-environment-and-its-different-types/
- https://en.wikipedia.org/wiki/Edge_computing
- https://hadoop.apache.org/
- https://en.wikipedia.org/wiki/Apache_Hadoop
- https://cseweb.ucsd.edu/~burkhard/
- https://en.wikipedia.org/wiki/Silicon_Graphics
- https://en.wikipedia.org/wiki/Flash_memory
- https://www.techtarget.com/searchstorage/definition/P-E-cycle
- https://blocksandfiles.com/2019/08/07/penta-level-cell-flash/
- https://e.huawei.com/en/products/storage/all-flash-storage/dorado-8000-18000-v6
- https://www.tomshardware.com/features/ssd-benchmarks-hierarchy
- https://www.theregister.com/2016/05/13/disak_versus_ssd_raid_rebuild_times/
- https://www.tomshardware.com/pc-components/hdds/wds-latest-enterprise-hdds-store-up-to-28tb-with-max-transfer-rates-of-298-mbs
- https://www.backblaze.com/blog/backblaze-hard-drive-stats-q1-2021/
- https://download.semiconductor.samsung.com/resources/white-paper/best-practices-for-mysql-with-ssds.pdf
- https://www.intel.com/content/www/us/en/products/docs/memory-storage/solid-state-drives/ssd-vs-hdd.html
- https://www.intel.com/content/www/us/en/
- https://blocksandfiles.com/2023/02/15/pure-the-disk-flash-crossover-event-is-closer-than-you-think/
- https://blocksandfiles.com/2023/05/09/pure-no-more-hard-drives-2028/
- https://en.wikipedia.org/wiki/Flash_memory_controller
- https://www.intelice.com/ssd-or-hdd-hard-drives/
- https://www.datacenterknowledge.com/archives/2014/05/07/emc-acquires-flash-storage-startup-dssd
- https://www.storageconference.us/2016/Slides/JeffBonwick.pdf
- https://en.wikipedia.org/wiki/Precision_and_recall
- https://blog.cloudera.com/blog/2012/09/what-do-real-life-hadoop-workloads-look-like/
- https://www.kdnuggets.com/2021/04/nosql-explained-understanding-key-value-databases.html
- https://en.wikipedia.org/wiki/Joule
- https://aiimpacts.org/trends-in-dram-price-per-gigabyte/
- https://thememoryguy.com/dram-prices-hit-historic-low/
- https://en.wikipedia.org/wiki/Phase-change_memory
- https://en.wikipedia.org/wiki/Dynamic_random-access_memory
- https://en.wikipedia.org/wiki/Static_random-access_memory
- https://linux.die.net/man/8/mdadm
- https://en.wikipedia.org/wiki/Wear_leveling
- https://en.wikipedia.org/wiki/NVM_Express
- https://www.superannotate.com/blog/intersection-over-union-for-object-detection
- https://www.snia.org/education/what-is-computational-storage
- https://en.wikipedia.org/wiki/Channel_I/O
- https://en.wikipedia.org/wiki/Ethernet
- https://en.wikipedia.org/wiki/Network-attached_storage
- https://www.computerweekly.com/feature/Mainframe-storage-Three-players-in-a-market-thats-here-to-stay
- https://en.wikipedia.org/wiki/64b/66b_encoding
- https://en.wikipedia.org/wiki/Disaggregated_storage
- https://en.wikipedia.org/wiki/Fungible_Inc
- https://blogs.nvidia.com/blog/whats-a-dpu-data-processing-unit/
- https://www.nextplatform.com/2019/08/18/the-future-of-networks-depends-on-hyperscalers-and-big-clouds/
- https://cloud.google.com/blog/topics/systems/the-evolution-of-googles-jupiter-data-center-network
- https://nvmexpress.org
- https://en.wikipedia.org/wiki/Remote_direct_memory_access
- https://en.wikipedia.org/wiki/RDMA_over_Converged_Ethernet
- https://en.wikipedia.org/wiki/InfiniBand
- https://network.nvidia.com/pdf/whitepapers/IB_Intro_WP_190.pdf
- https://assets.teradata.com/resourceCenter/downloads/Datasheets/Teradata-Vantage-on-Google-Cloud-MD006022.pdf
- https://quickstarts.teradata.com/vantage.express.gcp.html
- https://www.theregister.com/2023/11/29/aws_launch_ibms_db2_database/
- https://cloud.google.com/compute/docs/disks
- https://aws.amazon.com/pm/ec2/
- https://aws.amazon.com/blogs/aws/new-amazon-s3-storage-class-glacier-deep-archive/
- https://aws.amazon.com/archive/?nc2=h_ql_sol_use_ar
- https://aws.amazon.com/ebs/pricing/
- https://en.wikipedia.org/wiki/Internet_of_things
- https://www.oracle.com/internet-of-things/what-is-iot/
- https://www.automate.org/editorials/the-relationship-between-real-time-computing-and-the-internet-of-things-iot
- https://dl.acm.org/doi/pdf/10.1145/321479.321484
- https://www.pdl.cmu.edu/PDL-FTP/Storage/TOS1602-09.pdf
- https://www.fsl.cs.stonybrook.edu/docs/kml/kml-tr-fsl-21-02.pdf
- https://www.researchgate.net/publication/3758381_Declustered_Disk_Array_Architectures_with_Optimal_and_Near-optimal_Parallelism
- https://www.usenix.org/conference/fast-03/more-interface
- https://pages.cs.wisc.edu/~remzi/OSTEP/
- https://research.cs.wisc.edu/adsl/Publications/latent-sigmetrics07.pdf
- https://www.barroso.org/publications/AttackoftheKillerMicroseconds.pdf
- https://www.usenix.org/legacy/events/usenix08/tech/full_papers/baek/baek_html/index.html
- https://www.researchgate.net/publication/220330745_Striping-Aware_
- https://www2.eecs.berkeley.edu/Pubs/TechRpts/2015/EECS-2015-4.pdf
- https://dl.acm.org/doi/pdf/10.1145/192007.192033
- https://arxiv.org/abs/1908.09903
- https://arxiv.org/pdf/1205.0997.pdf
- https://www.icsi.berkeley.edu/icsi/node/2720
- https://storageconference.us/2016/Slides/JeffBonwick.pdf
- https://svn.apache.org/repos/asf/hadoop/common/tags/release-0.16.3/docs/hdfs_design.pdf
- https://people.eecs.berkeley.edu/~brewer/papers/GiantScale.pdf
- https://www.usenix.org/sites/default/files/conference/protected-files/fast16_slides_brewer.pdf
- https://storage.googleapis.com/pub-tools-public-publication-data/pdf/44830.pdf
- https://dominoweb.draco.res.ibm.com/a02f4c58a90728dc85257689002da58e.html
- https://dl.acm.org/doi/pdf/10.1145/176979.176981
- https://lihaoxu.eng.wayne.edu/NISL/Papers/Journals/Code_Perf.pdf
- https://www.usenix.org/system/files/conference/atc13/atc13-cidon.pdf
- https://www.usenix.org/legacy/events/fast04/tech/corbett/corbett_html/index.html
- https://www.pdl.cmu.edu/PDL-FTP/RAID/CMU-CS-97-142.pdf
- https://www.columbia.edu/~ww2040/CrowGoldbergOR2007.pdf
- https://www.barroso.org/publications/TheTailAtScale.pdf
- https://dominoweb.draco.res.ibm.com/2aa9ed7474f1b38f85256593006fe2b3.html
- https://doi.org/10.1007/978-1-4757-4828-4_3
- https://www.researchgate.net/publication/242406497_Transient_Solutions_for_Markov_Chains
- https://dl.acm.org/doi/pdf/10.1145/1465482.1465485
- https://dominoweb.draco.res.ibm.com/reports/rz3689.pdf
- https://www.usenix.org/system/files/fastpw13-final25.pdf
- https://www.dbs.ifi.lmu.de/Publikationen/Papers/KDD-96.final.frame.pdf
- https://www.pdl.cmu.edu/PDL-FTP/PDSI/pdsw09-fan.pdf
- https://www.usenix.org/legacy/events/osdi10/tech/full_papers/Ford.pdf
- https://storageconference.us/2004/Presentations/25.pdf
- https://z-library.se/book/646905/f126fb/code-design-for-dependable-systems-theory-and-practical-applications.html
- https://www2.eecs.berkeley.edu/Pubs/TechRpts/1991/6373.html
- https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.159.7216&rep=rep1&type=pdf
- https://www.pdl.cmu.edu/PDL-FTP/RAID/JPDC.pdf
- https://www.usenix.org/conference/hotstorage12/workshop-program/presentation/Goldszmidt
- https://arxiv.org/pdf/1106.3625.pdf
- https://www.researchgate.net/publication/220331546_A_Unified_Framework_for_Simulating_Markovian_Models_of_Highly_Dependable_Systems
- https://books.apple.com/us/book/interconnection-network-reliability-evaluation/id1538109816
- https://www.cse.psu.edu/~buu1/teaching/spring07/598d/_assoc/877B57ECA8AF4F8FA4B459DD1434EE84/RulesOfThumbInDataEngineering.pdf
- https://www.usenix.org/legacy/publications/library/proceedings/fast02/gray/sld001.htm
- https://www.researchgate.net/publication/330250269_Analyzing_Modeling_and_Provisioning_QoS_for_NVMe_SSDs
- https://www.usenix.org/system/files/conference/fast18/fast18-gunawi.pdf
- https://dl.acm.org/doi/pdf/10.1145/3239563
- https://dominoweb.draco.res.ibm.com/c311e7efd209b90c85256ee8004fb73a.html
- https://about.att.com/content/dam/sites/
- https://pubsonline.informs.org/doi/10.1287/ited.1110.0080
- https://dl.acm.org/doi/pdf/10.1145/70082.68194
- https://www.pdl.cmu.edu/PDL-FTP/Declustering/DAPD.pdf
- https://www.usenix.org/conference/fast21/presentation/hu
- https://www.usenix.org/legacy/events/fast05/tech/full_papers/huang/huang.pdf
- https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2007-25.pdf
- https://www.usenix.org/system/files/conference/atc12/atc12-final181_0.pdf
- https://www.youtube.com/watch?v=YypaVjzpQsgRedbook
- https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.83.6244&rep=rep1&type=pdf
- https://www.redbooks.ibm.com/redbooks/pdfs/sg248532.pdf
- https://personales.upv.es/thinkmind/dl/conferences/ctrq/ctrq_2015/ctrq_2015_1_20_70008.pdf
- https://www.iariajournals.org/software/
- https://www.iaria.org/conferences2022/filesCTRQ22/CTRQ_70005.pdf
- https://pages.cs.wisc.edu/~remzi/Classes/838/Fall2001/Papers/hp-sched.pdf
- https://www.usenix.org/system/files/fast22-jaffer.pdf
- https://www.usenix.org/legacy/events/fast08/tech/full_papers/jiang/jiang_html/index.html
- https://www.usenix.org/system/files/osdi22-kadekodi.pdf
- https://uk.sun.com/sunnews/events/2006/mar/javauk06/presentations/Peter_Karlsson_Containers_ZFS.pdf
- https://www.usenix.org/legacy/event/fast07/tech/full_papers/kenchammana/kenchammana_html/index.html
- https://www.usenix.org/conference/atc22/presentation/kim-juwon
- https://www.usenix.org/conference/atc18/presentation/kolosov
- https://sites.computer.org/debull/A13june/TimesTen1.pdf
- https://lib-nlwupsahz52aopffh7hbfqvk.must.wf/book/1061136/bfd135
- https://homes.cs.washington.edu/~lazowska/qsp/
- https://citeseer.ist.psu.edu/viewdoc/download?doi=10.1.1.159.9634&rep=rep1&type=pdf
- https://storage.cs.tsinghua.edu.cn/papers/tc10preventing.pdf/
- https://www.usenix.org/conference/fast14/technical-sessions/presentation/li-mingqiang
- https://www.usenix.org/conference/atc15/technical-session/presentation/li-mingqiang
- https://www.usenix.org/conference/fast23/presentation/lu
- https://dl.acm.org/doi/10.5555/1251229.1251236
- https://www.pdl.cmu.edu/PDL-FTP/SelfStar/CMU-CS-03-202.pdf
- https://www.usenix.org/conference/atc17/technical-sessions/presentation/mahdisoltani
- https://www.usenix.org/publications/login/august-2010-volume-35-number-4/ceph-scalable-alternative-hadoop-distributed-file
- https://jrxv.net/x/16/ism.pdf
- https://www.cstheory.com/[email protected]/agerj.pdf
- https://citeseer.ist.psu.edu/viewdoc/download;jsessionid=98B39B4BD1C2FE11F5D64568E757646D?doi=10.1.1.35.7823&rep=rep1&type=pdf
- https://www2.eecs.berkeley.edu/Pubs/TechRpts/1991/CSD-91-625.pdf
- https://dl.acm.org/doi/pdf/10.1145/191995.192036
- https://www.vldb.org/pvldb/vol6/p1092-ovsiannikov.pdf
- https://www.usenix.org/conference/atc19/presentation/panda
- https://www.sciencedirect.com/science/article/abs/pii/S0166531623000020?via%3Dihub
- https://www.researchgate.net/publication/246546671_Three-Dimensional_Redundancy_Codes_for_Archival_Storage
- https://www2.cs.uh.edu/~paris/MYPAPERS/
- https://www2.cs.uh.edu/~paris/MYPAPERS/Icecet21.pdf
- https://haslab.uminho.pt/jtpaulo/
- https://course.ece.cmu.edu/~ece740/f13/lib/exe/fetch.php?media=lcp.pdf
- https://escholarship.org/uc/item/65s546pq
- https://web.eecs.utk.edu/~jplank/plank/papers/FAST-2013-SD.pdf
- https://web.eecs.utk.edu/~jplank/plank/papers/CS-13-708.pdf
- https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&doi=74c7e01e91c5eac9cb6125a541cd410cfbc1067b
- https://www.usenix.org/conference/osdi16/technical-sessions/presentation/rashmi
- https://john.e-wilkes.com/papers/HPL-OSR-93-23.pdf
- https://www.cs.cmu.edu/~natassa/courses/15-721/papers/IEEEComputer.DiskModel.pdf
- https://john.e-wilkes.com/papers/IEEEComputer.DiskModel.pdf
- https://lib-nlwupsahz52aopffh7hbfqvk.must.wf/book/2871993/1dd841
- https://www.fgarciasanchez.es/thesisfelipe.pdf
- https://www.vldb.org/pvldb/vol6/p325-sathiamoorthy.pdf
- https://www.khoury.northeastern.edu/home/vip/teach/DMcourse/2_cluster_EM_mixt/notes_slides/revisitofrevisitDBSCAN.pdf
- https://z-library.se/book/491106/9dbbb3/resilient-storage-networks-designing-flexible-scalable-data-infrastructures.html
- https://www-cse.ucsd.edu/groups/gemini/PAPER/spdp96.ps
- https://www.cse.scu.edu/~tschwarz/TechReports/spdp96.pdf
- https://www.ssrc.us/media/pubs/495396c0b29a40d17d4c6e7bc2627abce18ffc1c.pdf
- https://sefibenvwh.cluster023.hosting.ovh.net/wp-content/uploads/2017/07/Competency-based-curriculum-incl-ads.pdf
- https://www.usenix.org/publications/login/april-2010-volume-35-number-2/hdfs-scalability-limits-growth
- https://www.usenix.org/system/files/login/articles/105470-Shvachko.pdf
- https://www.cs.cmu.edu/~natassa/courses/15-721/papers/sloan92teradata.pdf
- https://dl.acm.org/doi/pdf/10.1145/358722.358737
- https://z-libraryse/book/25974976/8340b7
- https://www.netapp.com/go/techontap/matl/sample/0206tot_resiliency.htm
- https://www.hpl.hp.com/techreports/tandem/TR-87.4.pdf
- https://arxiv.org/pdf/1801.08873.pdf
- https://www.elsevier.com/books/storage-systems/thomasian/978-0-323-90796-5
- https://www.sciencedirect.com/book/9780323907965/storage-systems
- https://arxiv.org/abs/2205.06330
- https://arxiv.org/abs/2306.08763
- https://dl.acm.org/doi/fullHtml/10.1145/3500917
- https://ceph.com/assets/pdfs/weil-crush-sc06.pdf
- https://www.researchgate.net/publication/224095094_Protecting_against_rare_event_failures_in_archival_systems
- https://john.e-wilkes.com/papers/PantheonOverview.pdf
- https://shiftleft.com/mirrors/www.hpl.hp.com/research/ssp/papers/PantheonOverview.pdf
- https://people.eecs.berkeley.edu/~brewer/cs262/AutoRAID.pdf
- https://dl.acm.org/doi/pdf/10.1145/183018.183045
- https://www.usenix.org/conference/fast15/technical-sessions/presentation/xia
- https://www.usenix.org/system/files/conference/fast15/fast15-paper-xia.pdf
- https://storageconference.us/2003/papers/22-Xin-Reliability.pdf
- https://downloads.dell.com/solutions/enterprise-solution-resources/PCIe_SSD_for_oracle_database_performance.pdf
- https://jizhang.pro/papers/dac2020.pdf
- https://www.cse.cuhk.edu.hk/~pclee/www/pubs/tpds19simedc.pdf
- https://www.usenix.org/sites/default/files/conference/protected-files/fast23_slides_zhang-yuqi.pdf
- https://www.researchgate.net/publication/220938765_Dynamic_tracking_of_page_miss_ratio_curve_for_memory_management
- https://docs.broadcom.com/doc/db2-for-zos-performance-handbook
- https://en.wikipedia.org/wiki/Database_caching
- https://www.thomas-krenn.com/en/wiki/RAID_Controller_and_Hard_Disk_Cache_Settings
- https://en.wikipedia.org/wiki/Disk_buffer
- https://en.wikipedia.org/wiki/Page_replacement_algorithm
- https://en.wikipedia.org/wiki/Self-similarity
- https://www.ibm.com/common/ssi/ShowDoc.wss
- https://www.ibm.com/downloads/cas/6NW3RPQV
- https://en.wikipedia.org/wiki/IBM_Information_Management_System
- https://www.sap.com/products/technology-platform/hana/what-is-sap-hana.html
- https://www.comparebusinessproducts.com/fyi/10-largest-databases-in-the-world
- https://www.wheelhouse.com/resources/the-top-10-largest-databases-in-the-world-past-and-present-a7843
- https://www.pdl.cmu.edu/DiskSim/diskspecs.shtml
- https://en.wikipedia.org/wiki/Shingled_magnetic_recording
- https://en.wikipedia.org/wiki/Hard_disk_drive_performance_characteristics
- https://www.servethehome.com/surreptitiously-swapping-smr-into-hard-drives-must-end/
- https://en.wikipedia.org/wiki/Decision_tree
- https://mikespivey.wordpress.com/2013/05/13/expectedmaxexponential/
- https://core.ac.uk/download/pdf/15566772.pdf
- https://queue-it.com/blog/cost-of-downtime/
- https://techmonitor.ai/technology/ncr_offers_redundant_array_scsi_chips_controller
- https://www.usenix.org/conference/fast12/bleak-future-nand-flash-memory
- https://denninginstitute.com/pjd/PUBS/Starting.html
- https://en.wikipedia.org/wiki/Data_migration
- https://en.wikipedia.org/wiki/Hierarchical_storage_management
- https://www.ibm.com/support/pages/operating-system-disk-balancing-support
- https://en.wikipedia.org/wiki/Network_File_System
- https://www.gotomojo.com/wp-content/uploads/2019/08/IBM-TS4500-Tape-Library-Data-Sheet.pdf
- https://www2.eecs.berkeley.edu/Pubs/Dissertations/
- https://stackoverflow.com/questions/53819902/labeling-side-by-side-tables-in-latex
- https://en.wikipedia.org/wiki/Cyclic_redundancy_check
- https://en.wikipedia.org/wiki/Self-Monitoring,_Analysis_and_Reporting_Technology
- https://community.ibm.com/community/user/storage/blogs/brian-kraemer1/2021/06/11/ds8000-smart-rebuild
- https://www.linuxjournal.com/article/6983
- https://www.backblaze.com/blog/hard-drive-smart-stats/
- https://arstechnica.com/gadgets/2023/06/clearly-predatory-western-digital-sparks-panic-anger-for-age-shaming-hdds/
- https://en.wikipedia.org/wiki/Nimble_Storage
- https://m.softchoice.com/web/newsite/documents/partners/hpe/Nimble-Six-Nine-White-Paper.pdf
- https://en.wikipedia.org/wiki/Data_science
- https://en.wikipedia.org/wiki/Support_vector_machine
- https://www.section.io/engineering-education/clustering-in-unsupervised-ml/
- https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4754273/
- https://en.wikipedia.org/wiki/Hidden_Markov_model
- https://en.wikipedia.org/wiki/Logistic_regression
- https://en.wikipedia.org/wiki/Long_short-term_memory
- https://en.wikipedia.org/wiki/Spearman
- https://en.wikipedia.org/wiki/Principal_component_analysis
- https://en.wikipedia.org/wiki/Risk_score
- https://en.wikipedia.org/wiki/Radioactive_decay
- https://www.pdl.cmu.edu/DiskSim/index.shtml
- https://www.pdl.cmu.edu/Dixtrac/index.shtml
- https://en.wikipedia.org/wiki/I/O_scheduling
- https://www.kernel.org/doc/Documentation/block/cfq-iosched.txt
- https://www.carc.unm.edu/~tlthomas/misc/IceCube.pdf
- https://en.wikipedia.org/wiki/List_of_software_reliability_models
- https://sharpe.pratt.duke.edu/
- https://en.wikipedia.org/wiki/Cramer
- https://en.wikipedia.org/wiki/Service-level_agreement
- https://en.wikipedia.org/wiki/Tandem
- https://www.dwhpro.com/teradata-nos-native-object-store/
- https://research.cs.wisc.edu/techreports/1990/TR921.pdf
- https://en.wikipedia.org/wiki/Generator_matrix