首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓

  •  
  •   lihongjie0209 · 328 天前 · 1612 次点击
    这是一个创建于 328 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在使用了线程池创建, 不过速度还是很慢

    第 1 条附言  ·  193 天前
    这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.
    15 回复  |  直到 2018-03-31 14:02:13 +08:00
        1
    BQsummer   328 天前 via Android
    换电脑,cpu 核心不够,线程再多也没用,反而慢。
        2
    zj299792458   328 天前 via iPhone
    @BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了
        3
    janus77   328 天前 via Android
    无限平方 复制粘贴大法?
        4
    liucudliucud   328 天前 via Android
    搭建一个 hadoop 集群
        5
    lhx2008   328 天前 via Android
    nodejs npm 几下就有几百万个文件了(滑稽)
        6
    lihongjie0209   328 天前
    @lhx2008 #5 黑的漂亮
        8
    lihongjie0209   328 天前
    @zj299792458 #2 我感觉是, 但是找不到什么好办法
        9
    dobelee   328 天前 via Android
    touch 三百万应该很快吧。
    你发帖的时间应该 touch 完了。😂
        10
    lihongjie0209   328 天前
    @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
        11
    MrGba2z   327 天前
    dd & split
        12
    bingod   327 天前
    创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。
        13
    bingod   327 天前
    写错了,应该是 3 万条,主要的问题是文件系统比较慢
        14
    STRRL   327 天前 via Android
    估计是磁盘跟不上,试试 ramdisk
        15
    lihongjie0209   327 天前
    @STRRL #14 这个想法可以有, 谢谢
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2524 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 18ms · UTC 14:24 · PVG 22:24 · LAX 06:24 · JFK 09:24
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1