分享到:文章主題: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
i00i樓主
煙灰·獨孤求胖
身份
用戶
文章
4633
星座
處女座
積分
31736
等級
紫檀(11)

發信人: i00i (煙灰·獨孤求胖), 信區: LinuxApp
標  題: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 08:41:20 2019), 站內
  
這種古老的文件共享協議,,mount到遠程之后比native弱太多了,
輕度使用沒問題,一旦重度使用,會導致客戶端iowait飆高,
這一點去年我提出過討論,不過當時聚焦在nfs的底層文件系統上。
  
還有什么產品/協議能提供高性能的文件共享服務么?
目的就是把服務端的目錄mount到客戶端當local磁盤用,
場景是數百萬的小文件一次寫入N次讀取(文件大小幾十K到幾M,幾十K級別的占大多數)。
另外,據說某個Linux大廠私有閉源版本的nfs性能不錯?
  
--
※ 修改:·i00i 于 Jul  2 08:45:51 2019 修改本文·[FROM: 221.218.65.*]
※ 來源:·水木社區 http://www.nonqwf.tw·[FROM: 221.218.65.*]

返回頂部
i00i第1樓
煙灰·獨孤求胖
身份
用戶
文章
4633
星座
處女座
積分
31736
等級
紫檀(11)

發信人: i00i (煙灰·獨孤求胖), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 08:52:22 2019), 站內
  
話說記得之前有大佬推薦過NFS Ganesha?差點忘了。。
--
  
※ 來源:·水木社區 http://www.nonqwf.tw·[FROM: 221.218.65.*]

返回頂部
Erlang第2樓
拿起筆做刀槍
身份
核心駐版
文章
32636
星座
魔羯座
積分
39566
等級
沉香(10)

發信人: Erlang (拿起筆做刀槍), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 09:05:19 2019), 站內
  
juicefs  
    
【 在 i00i (煙灰·獨孤求胖) 的大作中提到: 】
:  
:  這種古老的文件共享協議,,mount到遠程之后比native弱太多了,  
:  輕度使用沒問題,一旦重度使用,會導致客戶端iowait飆高,  
:  這一點去年我提出過討論,不過當時聚焦在nfs的底層文件系統上。  
--
發自xsmth (iOS版)
--
  
※ 來源:·水木社區 http://m.newsmth.net·[FROM: 124.202.180.*]

返回頂部
i00i第3樓
煙灰·獨孤求胖
身份
用戶
文章
4633
星座
處女座
積分
31736
等級
紫檀(11)

發信人: i00i (煙灰·獨孤求胖), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 10:34:30 2019), 站內
  
感謝推薦噢。
不過我要找的是能在自己的服務器部署的方案誒,juicefs只是提供云端存儲服務吧?
  
【 在 Erlang 的大作中提到: 】
: juicefs  
  
--
  
※ 來源:·水木社區 http://www.nonqwf.tw·[FROM: 118.144.132.*]

返回頂部
laputa2013第4樓
天空遺跡
身份
用戶
文章
10362
積分
51977
等級
梧桐(9)

發信人: laputa2013 (天空遺跡), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 10:59:11 2019), 站內
  
你評測出的性能差多少啊?
  
【 在 i00i (煙灰·獨孤求胖) 的大作中提到: 】
: 這種古老的文件共享協議,,mount到遠程之后比native弱太多了,
: 輕度使用沒問題,一旦重度使用,會導致客戶端iowait飆高,
: 這一點去年我提出過討論,不過當時聚焦在nfs的底層文件系統上。
: ...................
  
--
  
※ 修改:·laputa2013 于 Jul  2 10:59:35 2019 修改本文·[FROM: 106.120.188.*]
※ 來源:·水木社區 newsmth.net·[FROM: 106.120.188.*]

返回頂部
i00i第5樓
煙灰·獨孤求胖
身份
用戶
文章
4633
星座
處女座
積分
31736
等級
紫檀(11)

發信人: i00i (煙灰·獨孤求胖), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 11:19:29 2019), 站內
  
還沒正式測試,不過每秒幾十個read,iowait就已經很高了。
現在有個瓶頸是底層文件系統導致的,基于普通磁盤構建的ceph提供的塊設備,本身iops性能就很弱。
可能我解決這個瓶頸之后,測試才有可比性,比如物理盤+nfs跟物理盤比。
但是nfs協議的限制,一次文件讀取實際落到nfs所在os文件系統的操作肯定是比直接在os上操作多很多。。
  
【 在 laputa2013 的大作中提到: 】
: 你評測出的性能差多少啊?
:  
  
--
  
※ 來源:·水木社區 http://www.nonqwf.tw·[FROM: 118.144.132.*]

返回頂部
lvsoft第6樓
Lv(The Last Guardian)
身份
核心駐版
文章
51792
星座
天秤座
積分
70770
等級
紫檀(11)

發信人: lvsoft (Lv(The Last Guardian)), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 11:20:19 2019), 站內
  
哪個遠程文件系統跟native比不是弱爆了啊?
  
我的pc機就沒有本地硬盤,萬兆網nfs遠程的,我跑了多少年了哪有這么多事。
  
【 在 i00i (煙灰·獨孤求胖) 的大作中提到: 】
: 這種古老的文件共享協議,,mount到遠程之后比native弱太多了,
: 輕度使用沒問題,一旦重度使用,會導致客戶端iowait飆高,
: 這一點去年我提出過討論,不過當時聚焦在nfs的底層文件系統上。
: ...................
  
--
  
※ 修改:·lvsoft 于 Jul  2 11:21:29 2019 修改本文·[FROM: 117.136.67.*]
※ 來源:·水木社區 http://newsmth.net·[FROM: 117.136.67.*]

返回頂部
lvsoft第7樓
Lv(The Last Guardian)
身份
核心駐版
文章
51792
星座
天秤座
積分
70770
等級
紫檀(11)

發信人: lvsoft (Lv(The Last Guardian)), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 11:21:09 2019), 站內
  
iowait高就對了。
畢竟是遠程系統,延遲擺在那里。要么你折騰rdma,我是沒折騰過不過據說用rdma可以
獲得跟native相似的體驗。
  
【 在 i00i (煙灰·獨孤求胖) 的大作中提到: 】
: 還沒正式測試,不過每秒幾十個read,iowait就已經很高了。
: 現在有個瓶頸是底層文件系統導致的,基于普通磁盤構建的ceph提供的塊設備,本身
iops性能就很弱。
: 可能我解決這個瓶頸之后,測試才有可比性,比如物理盤+nfs跟物理盤比。
: ...................
  
--
  
※ 修改:·lvsoft 于 Jul  2 11:25:40 2019 修改本文·[FROM: 117.136.67.*]
※ 來源:·水木社區 http://newsmth.net·[FROM: 117.136.67.*]

返回頂部
lu1第8樓
^_^
身份
用戶
文章
5151
星座
水瓶座
積分
34015
等級
云杉(7)

發信人: lu1 (^_^), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 11:32:27 2019), 站內
  
smb
windows,linux通用
  
  
  
  
【 在 i00i (煙灰·獨孤求胖) 的大作中提到: 】
: 這種古老的文件共享協議,,mount到遠程之后比native弱太多了,
: 輕度使用沒問題,一旦重度使用,會導致客戶端iowait飆高,
: 這一點去年我提出過討論,不過當時聚焦在nfs的底層文件系統上。
: ...................
  
--
  
※ 來源:·水木社區 http://newsmth.net·[FROM: 43.224.46.*]

返回頂部
lvsoft第9樓
Lv(The Last Guardian)
身份
核心駐版
文章
51792
星座
天秤座
積分
70770
等級
紫檀(11)

發信人: lvsoft (Lv(The Last Guardian)), 信區: LinuxApp
標  題: Re: nfs說到底還是性能坑,目前有其他高性能的替代方案么?
發信站: 水木社區 (Tue Jul  2 11:33:51 2019), 站內
  
smb性能遠比nfs糟糕
【 在 lu1 (^_^) 的大作中提到: 】
: smb
: windows,linux通用
  
--
  
※ 來源:·水木社區 http://newsmth.net·[FROM: 117.136.67.*]

返回頂部
中奖骗术现场领奖