首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

求教, 1000 万个总计 30GB 的文件,单机存储,渴望随机读取速度快,怎么存比较好?

  •  
  •   dqh3000 · 29 天前 · 1545 次点击

    用什么数据库或系统或?

    请教

    27 回复  |  直到 2018-03-23 10:26:56 +08:00
        1
    dqh3000   29 天前
    可以认为是 1000 万个 json,但是并不需要查询内容

    可以接受 KV 感觉的读取,每个文件可以有 uuid
        2
    binux   29 天前   ♥ 2
    加 30G 内存
        3
    dqh3000   29 天前
    @binux 随机读写速度相对不会因为数据太多,性能下降太高就行
        4
    msg7086   29 天前
    NVMe SSD + Reiser4 ?
        5
    golmic   29 天前 via Android
    不懂帮顶。希望知道答案
        6
    murmur   29 天前
    30g 随便买个 intel 的高速 ssd 就可以了啊
        7
    Aug   29 天前 via Android
    分布式?
        8
    paranoiagu   29 天前 via Android
    这么多文件,参考 ccache 的存储方式。
        9
    XSugar   29 天前 via iPhone
    文件按文件名划分区块?索引会不会好些
        10
    vwhenx   29 天前
    搞个 64G 内存,存内存里面
        11
    mhycy   29 天前
    入库,瓶颈在文件系统
        12
    shakoon   28 天前
    上世纪末本世纪初这样的数据库存储方式在大型机里可是主流的呢,好多银行在用,VSAM 了解一下 →_→
        13
    Mutoo   28 天前
    taobao 当初为了实现高性能小文件的读取,自己搞了一套 tfs,后来还做成分布式的。你可以了解一下
    https://github.com/alibaba/tfs
        14
    tigiyj   28 天前
    最近正好我这类问题同问,我是 4000 万文件,将近 500g,
        15
    tigiyj   28 天前
    最近正好遇到这类问题同问,我是 4000 万文件,将近 500g,
        16
    jasontse   28 天前 via iPad
    加内存 buffer 或者 Optane
        17
    dqh3000   28 天前
    如果把所有文件都对齐到一个统一大小,算是拿空间换时间,不知道会不会好一点?

    换文件系统这件事儿实在是,并不容易……
        18
    yqylovy   28 天前
    可以考虑 rocksdb
        19
    sunny352787   28 天前
    我觉得还是扔库里先试试,常用的 redis、mongoDB,甚至 mysql 的读取性能其实应付一般的需求都可以,扔进去测试一下看看先,这么问没有统一答案的,而且随机读取可能没你想象的那么慢
        20
    dqh3000   28 天前
    @sunny352787

    现在在 Postgresql 里
        21
    taobibi   28 天前
    SSD 组 RAID10,这样读取没问题,但是响应时间不太好说。
        22
    natforum   28 天前
    借楼问下 1300 多个文件 100g,怎么搞,原来想过 hadoop+hdfs,不知道可行性
        23
    macfee   28 天前
    tfs
        24
    zts1993   28 天前
    kv 推荐 rocksdb - 具体到实现可以看看 pika
        25
    msg7086   28 天前
    @natforum 简单点可以 GlusterFS。
        26
    iyg429   27 天前 via iPhone
    @binux 拷贝速度快 和什么关系最大?硬盘和内存?
        27
    leekafai   27 天前
    加内存,全部放到内存里面,要读就从内存去读,这样是最快的。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   2163 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.0 · 21ms · UTC 00:56 · PVG 08:56 · LAX 17:56 · JFK 20:56
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1