Juniper Networks社製 サービス・ゲートウェイ ベンチマークテストレポート
Juniper Networks 社製
サービス・ゲートウェイ
ベンチマークテストレポート
DUT(テスト対象装置: Device Under Test)
Juniper Networks SRX650
2015/02/20
SEC-00008
2015/02/20
SEC-00008
目次
■ベンチマークテストの内容.................................................................................. 2
■DUT(テスト対象装置: Device Under Test)
Juniper Networks 社製 SRX650 ......... 2
■使用ポート構成 ........................................................................................... 2
■試験構成および設定概要 ............................................................................... 2
■ベンチマークテスト内容と結果 ............................................................................ 3
1. RFC2544 準拠スループットテスト ................................................................... 3
2. RFC2544 準拠レイテンシテスト ..................................................................... 3
3. 最大コネクション毎秒テスト ........................................................................... 3
4. アプリケーションスループットテスト...................................................................... 4
5. Web ページ内に埋め込まれた既知のマルウェア検体に対する検知率.............................. 5
■ベンチマークテスト機材 .................................................................................... 6
■リファレンス ................................................................................................. 7
■テスト対象装置 ........................................................................................... 7
PAGE 1 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
中規模拠点向けサービス・ゲートウェイベンチマークテストレポート
■ベンチマークテストの内容
UDP トラフィックおよびアプリケーショントラフィックをテスト対象機器に印加し、各種セキュリティ機能を有効
にした場合のパフォーマンスへの影響を測定する。
■DUT(テスト対象装置: Device Under Test)
・ファームウェアバージョン:
Juniper Networks 社製 SRX650
12.1X47-D15.4 (Firewall, IDP, Kaspersky-Anti-Virus)
・ポート構成
10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet（4 ポート固定 I/O）
10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet（24 ポート XPIM）
RJ-45 コンソールポート（1 ポート）
RJ-45 AUX（1 ポート）
USB ポート (2 ポート)
■使用ポート構成
LAN ポート (6 ポート) 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet
WAN ポート (6 ポート) 10BASE‐T/100BASE‐TX/1000BASE‐T Ethernet
■試験構成および設定概要
I/F
ge-0/0/0
ge-0/0/1
ge-0/0/2
ge-0/0/3
ge-2/0/0
ge-2/0/1
NW
10.0.0.254
11.0.0.254
12.0.0.254
13.0.0.254
14.0.0.254
15.0.0.254
Zone
Untrusted
Untrusted
Untrusted
Untrusted
Untrusted
Untrusted
I/F
ge-2/0/8
ge-2/0/9
ge-2/0/10
ge-2/0/11
ge-2/0/12
ge-2/0/13
NW
192.168.8.254
192.168.9.254
192.168.10.254
192.168.11.254
192.168.12.254
192.168.13.254
Zone
Trusted
Trusted
Trusted
Trusted
Trusted
Trusted
LAN ポートは Trusted ネットワーク、WAN ポートは Untrusted ネットワークとして使用する。アプリケー
ショントラフィックは HTTP1.1 を使用し、TCP コネクションは Trusted ネットワーク上の擬似クライアントか
らイニシエートする。
PAGE 2 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
■ベンチマークテスト内容と結果
1. RFC2544 準拠スループットテスト
RFC 2544*1 に準拠したスループットテストを行いDUT のパフォーマンスを確認した。テストには
1000BASE-T 12ポートを使用し合計6ポートペア間で疑似クライアントから擬似サーバへの片方向トラ
フィックを負荷した。テストトラフィックはUDPを使用しパケット長は64byte(NAT有効時は66Byteを最
小パケット長に設定) から1518byte までの固定長、テスト時間は60 秒とした。実通信環境では
様々なパケット長が混在したトラフィックが流れるため、トラフィックにiMIX*2 パターンを用いたテストも合わ
せて行った。iMIX パターンは次のパケット長の組み合わせとした。
IMIX Distribution
Ethernet Size(Byte)
Weight
Percentage(%)
Short
66
7
58.33
Middle
594
4
33.33
Long
1518
1
8.33
テスト結果
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
2. RFC2544 準拠レイテンシテスト
DUT に負荷をかけた状態でのレイテンシテストを行った。入力するトラフィック負荷は先に測定した”1.
RFC2544準拠スループット”で測定したスループット値を用いた。テスト時間は60秒とし、レイテンシ測
定モードはFIFO (フレームの先頭の送信からフレームの先頭の受信までの時間)を用いた。
テスト結果
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
3. 最大コネクション毎秒テスト
HTTP を使用し新規に確立できる TCP コネクション毎秒の最大値を測定した。毎回のコネクションには擬
似クライアントから生成されるアプリケーションコマンド(HTTP GET リクエスト)と擬似サーバから送られるそ
の応答(HTTP 200 OK レスポンス)が含まれる。
この 1 回の処理を 1 トランザクションとし今回のテストでは 1 つの TCP コネクション上で 1 つのトランザク
ションを定義した。DUT の Anti-Virus 機能、IDP 機能(緊急度 Start, Default, Recommend)、
Anti-Virus 機能と IDP 機能をそれぞれ有効にし、それぞれの機能が及ぼす影響の有無を実測した。
PAGE 3 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
また最大コネクション毎秒値は、与えられたコネクション毎秒値に対して TCP コネクション確立後 30 秒の
間 Unsuccessful Transactions、Closed with error TCP Connections のカウンタ値が全て”0”
であることを確認しバイナリサーチ(二分探索)により自動測定を実施した。
※なお Anti-Virus 機能を有効にした場合、複数のトランザクションを処理させると@benchmark で
定めているテストパラメータではトランザクションが完了しなかった。そのため Anti-Virus 機能を有効にした
場合は、トランザクション負荷の印加終了後に 200 秒(標準は 20 秒)の待ち時間を設け測定を実施し
た。
テストパラメータ
HTTP1.1 リクエスト方式
1 Transaction/1Connection
MSS 値
1460 バイト
HTTP1.1 Persistence
Enabled
Receive Window
32768 バイト
HTTP レスポンスオブジェクトサイズ
1KB
再送タイムアウト初期値
2秒
クローズ方式
クライアント RST
最大再送回数
2回
テスト結果
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
4. アプリケーションスループットテスト
HTTP を使用しアプリケーションのスループットテストとレスポンスタイム(GET リクエスト送信からリクエストし
た URL を完全に受信するまでの時間)を測定した。テストで求めるスループットは擬似サーバから擬似クラ
イアントへの片方向通信とし、1 秒間に擬似クライアントが受信したフレーム数に各フレーム長を乗じた値
とした。今回のテストでは 1 つの TCP コネクション上で 1 つのトランザクションを定義した。DUT の IDP 機
能(緊急度 Start, Default, Recommend)をそれぞれ有効にし、それぞれの機能が及ぼす影響の有
無を実測した。
またアプリケーションスループット(bps)値は、与えられたコネクション毎秒値に対して TCP コネクション確
立後 60 秒の間 Unsuccessful Transactions、Closed with error TCP Connections、Closed
with reset TCP Connections のカウンタ値が全て”0”であることを確認しバイナリサーチ(二分探索)に
より自動測定を実施した。
なお、上記カウンタ値が全て”0”の場合であっても 60 秒の間で得られたスループット値に大きな変動があ
る場合は不採用とした。今回のテストで使用したスループット値の測定基準は以下の計算式とした。
※Anti-Virus 機能を有効にした場合、複数のトランザクションを処理させるとスループット値の測定基
準を満たす結果を得ることができなかった。
PAGE 4 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
(測定基準): {最大値(rx[n]) – 最小値(rx[n])} ÷ 平均値(rx[n]) < 1% を満たす最大値
*rx[n]: 60 秒間に 4 秒間隔で得られた各受信レート値(bps)
テストパラメータ
HTTP1.1 リクエスト方式
1 Transaction/1Connection
MSS 値
1460 バイト
HTTP1.1 Persistence
Disabled
Receive Window
32768 バイト
HTTP レスポンスオブジェクトサイズ
44KB, 1MB
再送タイムアウト初期値
2秒
クローズ方式
サーバ FIN
最大再送回数
2回
テスト結果
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
5. Web ページ内に埋め込まれた既知のマルウェア検体に対する検知率
LAN 側インターフェース上のホストから WAN 側インターフェース上の Web サーバに対し Web アクセスを
実施し、サーバ側の応答にマルウェア検体を埋め込みその検知率を測定した。
■測定条件
・クライアント側およびサーバ側ポートにそれぞれ測定器のテストポートを 1 ポートずつ接続
・使用したホストアドレス数はクライアント／サーバともに 250 アドレス
・振舞いパターン（シナリオ）毎にクライアント／サーバともにアドレスを 1 つインクリメントし巡回
・複数の Anti-Virus 製品で検知実績のあるマルウェア検体 300 個を使用
(うち 100 個は@benchmark にて他の製品の検知率試験でも使用したマルウェア検体を含む)
・測定器の結果とあわせて DUT のログ情報をもとに検知の可否を確認
■試験結果
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
PAGE 5 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
■ベンチマークテスト機材
本ベンチマークテストには下記の測定器を用いた。
●Spirent Communications 社トラフィックジェネレータ
Spirent TestCenter Version 4.45
●Spirent Communications 社アプリケーション・パフォーマンス/セキュリティ試験ツール
Spirent Avalanche C100 Version 4.45
●Spirent Communications 社テスト自動化支援ツール
Spirent iTest Version 4.3.1
●Spirent Communications 社セキュリティテストアプライアンス Spirent Studio
Spirent Studio Security Version 6.5.2.r48322
PAGE 6 OF 7
Copyright (C) @benchmark
2015/02/20
SEC-00008
■リファレンス
*1
http://tools.ietf.org/html/rfc2544
ネットワーク装置のベンチマーク手法
Benchmarking Methodology for Network Interconnect Devices
*2
http://tools.ietf.org/html/rfc6985
IMIX ゲノム：追加テストのための混合パケット長仕様
IMIX Genome: Specification of Variable Packet Sizes for Additional Testing
http://tools.ietf.org/html/rfc3511
ファイアウォール パフォーマンス評価手法
Benchmarking Methodology for Firewall Performance
■テスト対象装置
●Juniper Networks 社製 SRX650 設定
設定ファイルは以下の URL よりダウンロード可能です。
会員の皆さまは会員サイトでログイン後、テストレポートを全てご覧いただけます。
非会員の皆さまは会員申込み（有料）いただければ、本テストレポートの続きをご覧いただけます。
免責
本テストレポートは＠benchmark 会員よりテスト申請を受けて株式会社東陽テクニカがテストを実施し
ております。 テストに際し、DUT の設定はレポート内もしくは個別の設定ファイルで公開し、この設定、テ
スト環境の時の実測値を記載しており、DUT の性能を保証するものではありません。
本テストレポートに関する会員からの質問は [email protected] でお受けしております。
なお、会員以外からの質問等には一切お答えできません。
本テストレポートをデータとしてご利用いただく場合、会員規約で規定されている注意事項を了承された
ものとします。
PAGE 7 OF 7
Copyright (C) @benchmark
© Copyright 2024