首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

求教, 1000 万个总计 30GB 的文件,单机存储,渴望随机读取速度快,怎么存比较好?

  •  
  •   dqh3000 · 121 天前 · 1859 次点击
    这是一个创建于 121 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用什么数据库或系统或?

    请教

    27 回复  |  直到 2018-03-23 10:26:56 +08:00
        1
    dqh3000   121 天前
    可以认为是 1000 万个 json,但是并不需要查询内容

    可以接受 KV 感觉的读取,每个文件可以有 uuid
        2
    binux   121 天前   ♥ 2
    加 30G 内存
        3
    dqh3000   121 天前
    @binux 随机读写速度相对不会因为数据太多,性能下降太高就行
        4
    msg7086   121 天前
    NVMe SSD + Reiser4 ?
        5
    golmic   121 天前 via Android
    不懂帮顶。希望知道答案
        6
    murmur   121 天前
    30g 随便买个 intel 的高速 ssd 就可以了啊
        7
    Aug   121 天前 via Android
    分布式?
        8
    paranoiagu   121 天前 via Android
    这么多文件,参考 ccache 的存储方式。
        9
    XSugar   121 天前 via iPhone
    文件按文件名划分区块?索引会不会好些
        10
    vwhenx   121 天前
    搞个 64G 内存,存内存里面
        11
    mhycy   121 天前
    入库,瓶颈在文件系统
        12
    shakoon   121 天前
    上世纪末本世纪初这样的数据库存储方式在大型机里可是主流的呢,好多银行在用,VSAM 了解一下 →_→
        13
    Mutoo   121 天前
    taobao 当初为了实现高性能小文件的读取,自己搞了一套 tfs,后来还做成分布式的。你可以了解一下
    https://github.com/alibaba/tfs
        14
    tigiyj   121 天前
    最近正好我这类问题同问,我是 4000 万文件,将近 500g,
        15
    tigiyj   121 天前
    最近正好遇到这类问题同问,我是 4000 万文件,将近 500g,
        16
    jasontse   121 天前 via iPad
    加内存 buffer 或者 Optane
        17
    dqh3000   121 天前
    如果把所有文件都对齐到一个统一大小,算是拿空间换时间,不知道会不会好一点?

    换文件系统这件事儿实在是,并不容易……
        18
    yqylovy   121 天前
    可以考虑 rocksdb
        19
    sunny352787   121 天前
    我觉得还是扔库里先试试,常用的 redis、mongoDB,甚至 mysql 的读取性能其实应付一般的需求都可以,扔进去测试一下看看先,这么问没有统一答案的,而且随机读取可能没你想象的那么慢
        20
    dqh3000   121 天前
    @sunny352787

    现在在 Postgresql 里
        21
    taobibi   121 天前
    SSD 组 RAID10,这样读取没问题,但是响应时间不太好说。
        22
    natforum   121 天前
    借楼问下 1300 多个文件 100g,怎么搞,原来想过 hadoop+hdfs,不知道可行性
        23
    macfee   121 天前
    tfs
        24
    zts1993   121 天前
    kv 推荐 rocksdb - 具体到实现可以看看 pika
        25
    msg7086   120 天前
    @natforum 简单点可以 GlusterFS。
        26
    iyg429   120 天前 via iPhone
    @binux 拷贝速度快 和什么关系最大?硬盘和内存?
        27
    leekafai   120 天前
    加内存,全部放到内存里面,要读就从内存去读,这样是最快的。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   实用小工具   ·   1010 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 24ms · UTC 17:37 · PVG 01:37 · LAX 10:37 · JFK 13:37
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1