■スレッドリストへ戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 801- 901- 最新50

2ch閉鎖の危機なんだと(Part3.1)

526 :FreePascal :01/08/27 02:20 ID:m9O4V9mo
>>517
お疲れ様です。全部のログを追うだけでも大変ですけど…。
mod_gzip が一番期待してるです。やっぱり。
しかし素でも 45% 減か。ほぼ1日の作業で。すごいな。
今日も家事でほとんど何も協力できず。昨日は見境なくしてただの厨だったし…。
明日会社でも実験してみるか。

どのスレも ROM の比率が圧倒的に多いはずなんで、キャッシュが効くよう最新 50 レスだけ HTML 保持できないかってアイデアはあるんだけど…
スマートにまとまらない…。

527 :名無しさん@お腹いっぱい。 :01/08/27 02:21 ID:gI46IMVY
>>520
ロボットが来たときの環境変数はどうなんだろうねぇ・・・はじけない?

528 :名無しさん@お腹いっぱい。 :01/08/27 02:21 ID:GSWnWHhw
763 名前:切込隊長 ★ 投稿日:2001/07/16(月) 02:32 ID:???
  3分以内の投稿は出来ないとかいう小癪なcgiが組んであるな(藁
京大生スレpart5より

しろーとなんで よく 分からないのですが、こんな事ができるなら
モー板、実況、祭り、荒らし 対策になるのでは?

529 :なんか :01/08/27 02:24 ID:HReAEF1E
1日で伝説化してないか?
伝説化ってのは話に尾ひれがつくことだ。

少なくとも、そういう空気が濃すぎないか?

530 :名無しさん@モカフラペチーノ :01/08/27 02:24 ID:s1wqWUfo
>>525
自分も同じようなヘダーがでたよ。
どっかに書いてあったけどindex2.htm じゃなくて index2.html だと圧縮されずに見れるもよう。
なぜこうなっているかは知らんがこれじゃあどのブラウザで読み込んでも文字化けするよなぁ。>> index2.htm

531 :名無しさん@お腹いっぱい。 :01/08/27 02:27 ID:gI46IMVY
>>526
同一ファイルキャッシュに書きこむことになるので、
パフォーマンスだけ考えると、
・代理HTMLデーモンなるものがある
・そいつは定周期に、データファイルの更新チェックを行う
・更新されてたら、HTMLを書きかえる
というふうにしないと、並列実行性能がおっこちる可能性ありありです。

もしここがSMPで動作してたらホントにそうしたほうがいいです。

532 :名無しさん@お腹いっぱい。 :01/08/27 02:28 ID:gI46IMVY
>>526
追記:
データファイルの更新チェックは、inodeキャッシュの性能問題だけで済むので、
それはそれでいいと思ってます。

533 :名無しさん@お腹いっぱい。 :01/08/27 02:30 ID:uBE/oRlE
>>522
www2.bbspink.comのレスポンスを見てみたけど、
> Server: Apache/1.3.6 (Unix) PHP/4.0.3pl1 mod_ssl/2.3.6 OpenSSL/0.9.3a

mod_gzipが入っていれば、
> Server: Apache/1.3.20 (Unix) mod_gzip/1.3.19.1a mod_perl/1.24
みたいに、mod_gzipが入ります。
ので、どうやら、www2.bbspink.comにはmod_gzipはインストールされていません。
# もしくは、LoadModuleされてない

>>527
ボットによって違うから何とも…。
IPかホスト名から目星を付けるのが一番かな。

User-Agent見るなら
http://www.dais.is.tohoku.ac.jp/logs/agentgripes.html
でも参考にして、めぼしいトコを弾くようにすれば。

…でも、負荷を考えると、頼れるところはrobots.txtに頼った方がイイと思う。

534 :名無しさん@お腹いっぱい。 :01/08/27 02:35 ID:gI46IMVY
>>533
何の負荷でつまづくかにもよるけれど、
頼れるところは頼る方が確かにいーですね。

が、CGI側でも"つゆはらい"しといた方が、データ転送量減らせると思った。
多少のCPUキュー待ちは許してあげてもいいと思うんだけど・・・だめ?
ページング多可のWIO増加よりはかわいいと思うよー。

535 :ひろゆき登場 :01/08/27 03:05 ID:5op0ld8k
http://yasai.2ch.net/test/read.cgi?bbs=venture&key=998402480&ls=100

536 :ななし ̄ー ̄)ノ :01/08/27 03:06 ID:ynZt.qo6
ほんとだねぇ
しかもフシアナサンだね

537 :メリー(315) :01/08/27 03:08 ID:5op0ld8k
あっ、ひょっとしてスレ違い…ごめんなさい(´Д`;)

538 :FreePascal :01/08/27 03:09 ID:NXIQnFNk
>>529
確かに。でも初期の BSD とか Linux なんかもそんなもん。(w
そこが…この件の魅力だね。

>>531
ローペースで監視するデーモンに任せるところまでは考えたんだけど…。
どの道、read.cgi で Modify 制御するのに比べて、CPU 負荷の面で負けるだろうとは思ってるっすよ。

539 :名無しさん@お腹いっぱい。 :01/08/27 03:11 ID:vN9r/JlA
ベンチャー板より。

152 名前:ひろゆき@管直人 ★ 投稿日:01/08/27 02:51 ID:???
お願いします。助けてください。
>西さん

159 名前:ts1.kitanet.ne.jp@ひろゆき@管直人 ★ 投稿日:01/08/27 02:55 ID:???
本人です。

171 名前:nishi 投稿日:01/08/27 02:58 ID:M5p6jxJE
今晩、一晩考えるわ
おやすみ

178 名前:ひろゆき@管直人 ★ 投稿日:01/08/27 02:59 ID:???
よろしくお願いいたします。。
>西さん

540 :名無しさん@お腹いっぱい。 :01/08/27 03:19 ID:cNkGZ16Y
147 名前: nishi kay@ascii.co.jp 投稿日:01/08/27 02:46 ID:M5p6jxJE

144 名前:ななんし :01/08/27 02:45 ID:N46yN2Ak
西さんってコッソリ裏から2ちゃんを助けてやろうとかいう任侠心方面のココロはないのですか?
:::::::::::
頼まれたらネ
152 名前:ひろゆき@管直人 ★ 投稿日:01/08/27 02:51 ID:???
お願いします。助けてください。
>西さん
159 名前:ts1.kitanet.ne.jp@ひろゆき@管直人 ★ 投稿日:01/08/27 02:55 ID:???
本人です。
171 名前:nishi 投稿日:01/08/27 02:58 ID:M5p6jxJE
今晩、一晩考えるわ
おやすみ
178 名前:ひろゆき@管直人 ★ 投稿日:01/08/27 02:59 ID:???
よろしくお願いいたします。。
>西さん

こーしといたほーがイイ!

541 :名無しさん@お腹いっぱい。 :01/08/27 03:19 ID:CSUZ8fsE
>>583
しっかし、一夜にして traffic が 1/16 になったとかいう
のは有害な伝説だと思う…。

あと、daemon proccess って bigserver 的には大丈夫なの
でしょうか?

542 :FreePascal :01/08/27 03:23 ID:u/pt5O/o
ふと我に返る…世の中のコミュニケーションが NNTP だけを使っていれば、
こんな事態は起こらなかったんだよな。
ネットニュースじゃ 2ch 見て笑ってる奴もいるんだろうな…鬱。
寝よう…。

543 :FreePascal :01/08/27 03:28 ID:MMcKAFsw
>>541
前の書き込みにもあったけど、デーモン依存は SMP でないとドコでふん詰まるか読めない。
伝説の件は、昨晩、オレも厨房化して安心してた。(w
冷静になって考えて落ち込んだのが日曜の夜に入ってからだったなあ。

544 :名無しさん@お腹いっぱい。 :01/08/27 03:39 ID:vN9r/JlA
>>542
2ch
ていうトップグループでも作れば(藁
2ch.robby.monar
2ch.soc.sokuhou
2ch.ura.chikuri
なんかヤだな(藁

545 :名無しさん@お腹いっぱい。 :01/08/27 03:41 ID:CSUZ8fsE
>>542
NNTP や IRC ならちょっとネゴった後で
「ヲレが server 上げたから、こいつも使ってね」
ってことで、簡単に負荷分散が図れますからね。10年前からでも
古臭いシステムといわれつづけていますが、web 掲示板よりかは
はるかに優れたシステムに違いはないですし。

ちなみに、fj や japan では今回の 2ch 危機について触れている
記事はほとんど無い模様です。fj.news.usage ですら1日にせいぜい
20個程度の投稿しかない現状だもんなぁ…。

>>543
というか、そもそも daemon process を動かしていいのかどうかという
政治的な問題もあるんじゃないかと。

546 :名無しさん@お腹いっぱい。 :01/08/27 03:49 ID:KshZOEYc
NNTPは時系列が保証されないからダメじゃん。
今みたいな使い方は出来ないね。

547 :aki :01/08/27 03:53 ID:Z/nLX8Y2
デマをほおって置くのも危険だから、
WikiにFAQとか作った方が良いのかな。

そういうのやると開発のじゃまする輩がでてきて
面倒なんだけど……。

548 :aki :01/08/27 04:00 ID:Z/nLX8Y2
...とおもったら、[[まとめ]]にかなりいい感じでまとめられてますね。
FAQとして作る必要はなさそう。

549 :ななしさん@お腹すいた。 :01/08/27 04:15 ID:SfrDwZH2
>545
でもNNTPやIRCってJISだからいわゆる半角カナが使えないと
顔文字板の人とか困るんじゃないかな…。
まぁ2ch継続の為には我慢してもらわないといけないんだろうけど。

>546
速報系はまあ無理ですね(笑 素直にIRCでやってくれって感じ。
それ以外であればReferencesあるからそんなに困ったことにはならないんじゃないかと。
でも遅配の問題はきっと出てくるだろうなぁ。

550 :名無しさん@お腹いっぱい。 :01/08/27 04:22 ID:0cm50H8s
JISコードでの半角カナ文字は(c=SJISでの文字コード)
  c & ~0x80
した上で
  開始 -> ^[(I
  終了 -> ^[(B
で囲めばよろし

551 :ななしさん@お腹すいた。 :01/08/27 04:35 ID:SfrDwZH2
>550
あ、そういえばそんなのありましたね。失礼。

でも ASCII 半角カナ 全角 みたい並びがずらっと並んでると
サイズがぐっとでかくなりますね…。これは我慢か?

552 :あのぉ… :01/08/27 04:42 ID:sj/kJ3WU
プログラマ板の「転送量増加で2ch閉鎖の危機だってよ」スレに
不吉なことが書いてあるのですが…

106 名前:    投稿日:01/08/27 04:32 ID:qeolEtH2
あう、その後の試験で、通信量は目標の50Mに届いてないことが判明

現在45%削減だそうだ。
やっぱし閉鎖の方向に向かってる。

553 : :01/08/27 04:45 ID:xxtDczmQ
>552
今まで気づかなかったのか?
「1/16の転送量になって閉鎖免れた」てのがデマだてことに
gzipに全対応させて1/3にできるかどうかのラインだな
ま人がすく増えて終わりそうな気もするが

554 :名無しさん@お腹いっぱい。 :01/08/27 04:47 ID:IEyvqrHU
>>550
んと、ISO-2022-JPだとそれもできないことにされてます。が
IRCは基本的には8bitOKなので、実はS-JISでもちゃんと受け取れたりします。
たんに、ユーザーが嫌ってるだけなので。クライアントによってはちゃんと受け取れますし。
というか、ISO-2022-JPをインターネットにおける日本語コードと規定しているルールに従っているだけです。

実はその程度のルールです。
NNTPは詳しくないので知りませんが。

555 :名無しさん@お腹いっぱい。 :01/08/27 04:48 ID:O9QAzlwc
555!

556 :名無しさん@お腹いっぱい。 :01/08/27 05:03 ID:Ld.vANXU
556!

557 :なまえをいれてください :01/08/27 05:10 ID:ctWaU01Q
モナ−を助けてくれ

558 :名無しさん :01/08/27 05:19 ID:eI78CMDM
ダウンロード・初級ネット板も沈黙した模様。

559 :名無しさん@お腹いっぱい。 :01/08/27 05:50 ID:rKeHAaEU
ロビー死亡はつらい

560 :ななしさん@お腹すいた。 :01/08/27 05:52 ID:SfrDwZH2
>554
そうだったんですか…>IRC
でもJISの良い所は文字化けしないこと(判定が容易)なんすよね。
逆に言うとメリットはこれだけ? まぁメリットとしては大きいと思いますが。
NNTPはSMTPをほぼ一緒のはずなんで7bitならOKじゃないかと。

実は最悪Base64エンコードが使えるってことを今気が付きました(笑
これならなんだって通せますが美しくは無いかな…。

ということでモナー助かりそうですよ(笑 >>557

561 :名無しさん@お腹いっぱい。 :01/08/27 06:02 ID:CSUZ8fsE
>>560
いまだと、Unicode を 7bit な encode にする UTF-7 にするのが
いいのかも?

562 :名無しさん@お腹いっぱい。 :01/08/27 07:40 ID:E/GRKOII
質問

広告収益ってどうなってます?
「最新レス100」とかを見るとバナーが入らないけど、ここにバナー入れる事で
収益があがるとか無いの?

563 :名無しさん@お腹いっぱい。 :01/08/27 08:12 ID:/fL1I4XA
htmlでNNTPへのリンクが貼れるんだから、httpとNNTPをうまく融合して、トラフィックのキツい部分だけNNTP側に振る事出来ないか?

564 :名無しさん@お腹いっぱい。 :01/08/27 08:18 ID:dMS2h/I.
回答

こちらで。
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998806470

うに板は、技術的な面からのアプローチです。
経営の話は、「批判・要望」板で。

565 :名無しさん@お腹いっぱい。 :01/08/27 08:19 ID:f5Bo0QKM
>>562
広告は一個だろうが10000000個だろうが一緒です。
っつか板違い。

566 :名無しさん@お腹いっぱい。 :01/08/27 08:54 ID:0cm50H8s
どっかサーバが確保できるんだったら ロードバランシング+rsyncでの
データファイルの同期とか......

どっちにしろ どこかにサーバの置き場所が確保できなきゃな......

567 :音楽侍 ◆NtVkSITE :01/08/27 09:11 ID:cn52pBwI
>>566
トランザクションの帯域使用料金は?

568 :FreePascal :01/08/27 09:16 ID:XoXCNgDM
会社に出てきて、覗いてみたら…寝る間際に不吉なコトバを吐いちまったみたいだなぁ。
ネットニュースが 2ch の替わりになれないのは事実。オレだって昔は fj で情報集めてた。
dog year な今のインターネットで使えるから 2ch が伸びたわけで。
…と、この話題はここまでにしておくっす(板違い申し訳ない)。

569 :FreePascal :01/08/27 09:18 ID:XoXCNgDM
煽ってるつもりはないんで、そこんとこよろしくね…(汗

570 :名無しさん@お腹いっぱい。 :01/08/27 10:18 ID:7zpMVO.Q
かちゅーしゃみたいな機能を備えたものを
GoogleツールバーみたいにアクティブXノPluginで提供できりゃかなり楽だと
思うんだがなあ・・・・
普通のIEとカチューシャModeをショートカットの起動オプションで選択して起動
(そうすればGzipにほぼすべて対応させられるしキャッシュも使いやすい)

571 :名無しさん@お腹いっぱい。 :01/08/27 10:29 ID:59Wm4exU
かちゅ〜しゃが回線負荷の低下に役立っているとすれば、
datをローカルに貯めて、差分更新するから。
ActiveXではそのあたりがちょっと絶望的。
 そもそも、gzipに対応してないようなブラウザが、ActiveXに
対応しているかは疑問。

572 :FreePascal :01/08/27 11:59 ID:UuIikJXc
会社で read.c 落として、やっと真面目にソースが読めた。
なんとなくソースを Pascal に書き直したくなってきた…。(w
Pascal String なら文字まわりの負荷がすごく軽そうだね…。

573 :名無しさん@お腹いっぱい。 :01/08/27 12:44 ID:mC7RvsD6
UNIX板が閉鎖だって?

574 :FreePascal :01/08/27 12:57 ID:UuIikJXc
freepascal の ansistring は遅くて使えんかった。
やはりもう貢献できる部分はないかねー。

575 :名無しさん@お腹いっぱい。 :01/08/27 15:07 ID:tn8mM0LU
read.cが公開されたから、read.cgiの処理を有志のサーバで
分散するのはどうだろうか。ADSLなんかで固定IPアドレスを
持っている人はそれなりにいるだろうから、俺んちはUNIX板
のミラーを持つよという具合にして、DNSにラウンドロビン
登録しちゃうの。ミラーのマシンは例えば、
http://cocoa.2ch.net/unix/dat/ の内容を定期的にミラー
していて、http://cocoa.2ch.net/test/read.cgi?bbs=unix&key=hoge
みたいなリクエストは本家にいくかもしれないし、うちに来
るかもしれない。うちに来たらミラーの内容を返してやる。
もってない板へのリクエストは本家にリダイレクトかな。
問題はdatファイルをいかに効率的にミラーするかかな。
更新されたファイルだけ、Navi2chのように差分で取得したい
よね。

576 :Perler ◆GSi39OA6 :01/08/27 15:11 ID:95LP96f6
>>575
実は今、それに似たアプローチでミラースクリプト書いている最中です。
しばしお待ちを。

577 :名無しさん@お腹いっぱい。 :01/08/27 15:25 ID:pckFEAaY
「有志」にアクセスログ見られんの怖すぎ

578 :Perler ◆GSi39OA6 :01/08/27 15:28 ID:95LP96f6
>>577
それはありますね。まー読み出し側だけなんで、bbs.cgiも丸ごと引き受けさせる
アプローチよりはマシなんじゃないかと思っています。
書き込み時のプライバシーは今までどおり2chに守ってもらうという方向で。

579 :名無しさん@お腹いっぱい。 :01/08/27 15:37 ID:36lcR5Y2
悪意のある有志がいるかもしれない…
ってか絶対出てくるだろうな。

580 :Perler ◆GSi39OA6 :01/08/27 15:39 ID:95LP96f6
>>579
その辺は参加する際に契約書なりを書かせるとか、そういった非技術的方面での
対策が必要かも知れませんね。

581 :名無しさん@Emacs :01/08/27 15:43 ID:sFfEStcw
書き込みのログ取られるのはいやでも読み込みのログだけなら
構わないという人は多いのではないでしょうか。
書き込みの要求がミラーに残らないような方法ができればいい
ように思います。

582 :名無しさん@お腹いっぱい。 :01/08/27 15:50 ID:CSUZ8fsE
>>581
「書き込む」の form で叩く cgi を、元 server の bbs.cgi に固定
するだけで OK になるのかな?

583 :名無しさん@お腹いっぱい。 :01/08/27 15:50 ID:tn8mM0LU
2ちゃんねるのミラーをやってやろうなんて酔狂な奴はlog
なんか興味ないと思う。僕だったら、バーチャルホストで
2ちゃんねる関係を分けて、そこのlogは取らないだろう。

584 :名無しさん@お腹いっぱい。 :01/08/27 15:57 ID:BQ7qSYYE
その手法は帯域制限と同じく、政治的に受け付けてもらえない。という可能性が
高いのではないでしょうか?>ミラー

585 :FreePascal :01/08/27 15:59 ID:UuIikJXc
>>580
「有志」じゃなくて、2ch 管理下の別サーバに index 情報飛ばすって意味で、
負荷分散+別のバックボーンの使用ができる…という意味?
本当の意味での巨大掲示板「群」。

586 :Perler ◆GSi39OA6 :01/08/27 16:00 ID:95LP96f6
>>584
ミラーリング自体は現在のままで実現できます。
DNSでフォワードしたり、http://2ch.net/からリンクを張ってもらったり、という
事が受け入れられるかどうかはグレーですね。

587 :FreePascal :01/08/27 16:01 ID:UuIikJXc
仕事しながら書いてると自分でもなんかわけわからん(泣

588 :名無しさん@XEmacs :01/08/27 16:05 ID:euvssxN.
処理能力が問題なんじゃなくて、traffic量 が問題なんだから、
やぱしここは IP multicast でそ。
ROM な人たちの処理をするなら、複数の Web Server群 + バックエンド網(NNTPとかでもいい) ってのが現実的?

589 :名無しさん@お腹いっぱい。 :01/08/27 16:21 ID:yEhO7MRw
dat落ちしてhtml化したものなら、
複数の Web Server群 + バックエンド網
でいけると思うけど…

590 :名無しさん@XEmacs :01/08/27 17:09 ID:QB3qOm5o
当然番号のsyncはできないので、
レスの番号に意味を持たせることはできなくなるけどね…。
Webサーバによって、おなじレスの番号が違うとか、順番が変わるとか…。
早い話、NewsにWebインターフェースをつけるってことか。

591 :音楽侍 ◆NtVkSITE :01/08/27 17:21 ID:cn52pBwI
2chでIRC鯖建てろっていう気がするがね
これだけでかなりチャットが減る。

592 :名無しさん@お腹いっぱい。 :01/08/27 17:21 ID:jvSNbjog
multicast だの anycast だの言ってる人がいるけど、
将来まともに使えるようになるの?
現状ほとんどの ISP では使えないよね。

まあビデオ配信とか考えれば使えるように
ならなきゃダメなんだろうが。

593 :名無しさん@お腹いっぱい。 :01/08/27 17:25 ID:CSUZ8fsE
>>592
IP level でやるのは確かにアレなんですが、簡易的な実装方法としては
anycast -> DNS roundrobin (CISCO distributed director を使うともっと気持ちいい)
multicast -> NNTP や IRC のように server を複数用意して server 間で
data を相互にやり取り (Real もこんな感じですな)
とかいうのは古くからやられていたことですから。

594 :FreePascal :01/08/27 17:34 ID:UuIikJXc
やっぱ NNTP に戻ってくるのne…?
リアルタイム性をなくすと 2ch に張り付く時間が減って、健康的になれそうだけど。

595 :名無しさん@お腹いっぱい。 :01/08/27 17:48 ID:0cm50H8s
とにかく どこか別のところにサーバの置き場所が確保できるのなら打てる手は
いくらでもあるし 逆に言えばそれができなければ何やっても若干の延命にしか
ならんでしょう

ただ“有志”の自宅サーバでは嫌がる利用者も出てくるだろうから
ひろゆきが自宅サーバ立ててくれりゃいいんじゃないの?

596 :ななしさん@お腹すいた。 :01/08/27 17:52 ID:SfrDwZH2
sageる意味ってまだあります? 念のためsageときますが。

>594
NNTPは選択肢の一つってことですよね。
通信技術板の方でもこの辺の話し合いが行われています。
というか向こうの方が専門か。

>591
http://irc.2ch.net/ を参照。

597 :音楽侍 ◆NtVkSITE :01/08/27 17:55 ID:cn52pBwI
>>596
なるほど。IRCじゃダメなんですねぇ(笑)
お手上げだなぁ。

598 :名無しさん@お腹いっぱい。 :01/08/27 17:58 ID:tn8mM0LU
とりあえず僕は、今の2ちゃんねるのままでトラフィックの問題を
解決するなら、分散化しかないと思っている。
NetNewsでやるという考え方もあるが、それだと今の2ちゃんねる
とはかなり違ったものになるだろう。一応、僕はNetNews配送マニ
アな者だから、2ch.* を作って各地に配送することを働きかけるこ
とは可能だが…

599 :名無しさん@お腹いっぱい。 :01/08/27 17:59 ID:ElSN0SkA
gzipって-9をつけた方が圧縮率高いんだっけ?

600 :名無しさん@お腹いっぱい。 :01/08/27 18:01 ID:CSUZ8fsE
>>598
ですね。分散化の究極のものが P2P で、それについてはプログラム板で
かなり具体的に議論が進んでいます。ただ、政治的問題で mirror の設置
すらグレーゾーンという現状が痛すぎる…。

>>599
たしかに圧縮率は高くなりますが、負荷の割には default の -6 とは
大して差が出ません。

601 :FreePascal :01/08/27 18:02 ID:UuIikJXc
>599
そ。

602 :名無しさん@お腹いっぱい。 :01/08/27 18:04 ID:0cm50H8s
>>599
  55429 tech.html.gz9
  55987 tech.html.gz6 (default)
  207749 tech.html
この程度 それよりbzip2なら
  42465 tech.html.bz2
こんくらいになるんだけどねぇ......

603 :名無しさん@お腹いっぱい。 :01/08/27 18:06 ID:cn52pBwI
>>600
問題は、ミラーサーバのパフォーマンスがBig-serverの評価に影響しかねないって事だと思うけど。

604 :Perler ◆GSi39OA6 :01/08/27 18:07 ID:95LP96f6
えーと、
>>575
のアプローチで、ミラーリング・スクリプトを書いてみました。
現在ローカルで実験中です。

まだRangeに対応していませんが、いずれ実装します。

Rangeを使った場合のあぼーん問題については、読み込み開始ポイントを、EOFの直前の行の行頭
に設定し、1行余分に読み込んで、ローカルにあるファイルの最終行と同一ならあぼーんされていない、
という判定方法を採ろうと思っています。

605 :わけわからん :01/08/27 18:13 ID:uW1JOy2w
http://kaba.2ch.net/test/read.cgi?bbs=news&key=998879125&ls=50
で提案したんですがNTTの光サービスを使って100Mbpsの
回線をバックボーンにしてある人はモナー板をホスティングしたり
という具合に板ごとに分散していく事は不可能でしょうか?
なんせド素人のためにプロの皆様から見ると何言ってるんだと
お思いになる意見かも知れませんがどうぞお許しを。

606 :名無したんに接続中・・・ :01/08/27 18:14 ID:xxtDczmQ
>605
残念だが全くの見当違いだ
ニュース速報で話し合うのもいいが、もう少し知識のある人のいる
批判要望でも話し合ってからにしよう

607 :名無しさん@お腹いっぱい。 :01/08/27 18:17 ID:4zZp9za2
mod_gzip 入れたら *.html, *.datその他も転送の際、圧縮掛けるんだよね?

608 :名無しさん@お腹いっぱい。 :01/08/27 18:20 ID:CSUZ8fsE
>>607
http/1.1 で accept-encoding が gzip な client 相手には
やるんじゃないかな?

ただ、Range 指定とかちゅ〜しゃでは対応していないことが問題。

609 :名無しさん@お腹いっぱい。 :01/08/27 18:27 ID:lxPXtxIw
>>602
bzip2はブラウザが対応してないんだから仕方ないでしょぅ…

>>607
そのとおり。ただ圧縮率の低い画像なんかは除外指定できるから除外するかも。

ただ、>>608が言うとおり、Range指定に対応してないのが問題。
# Range指定が入ると強制的にgzipがかからなくなります
gzip対応自体はかちゅ〜しゃ側とかでやってくれればなんとか。
dllもあったはずだし。

610 :FreePascal :01/08/27 18:27 ID:UuIikJXc
ミラーで輻輳かかるよりは、
アクセスの多い index2.html / subback.html だけを「配信」するモデルの
方がテストは楽そうに思えるけれど…。
広告料の問題は残るか。

611 :名無しさん@Emacs :01/08/27 18:30 ID:Ug0Q2y1U
仮に read.cgi 専用のミラーサーバ群を作るとしたら、bbs.cgi は
IPとかキャップとかを処理した後で、dat に書き込むのではなく、
各ミラーに書き込みリクエストを送るようにすればいいんじゃないかな。
ミラーサーバが pull するんじゃなくて、2ch.net 側から push するってことね。

612 :名無しさん@お腹いっぱい。 :01/08/27 18:35 ID:tn8mM0LU
>>604
それ出来たら公開してください。うちでもミラーサーバ動かしますから。

NetNewsでやる方法もつらつら考えてみたんですが。
1, とりあえず、 2ch.* NewsGroupをでっちあげる。
2. 2cn.* は全グループmoderatedにする。
3. moderatorはFrom: ヘッダなどを取り除き匿名化して記事を注入する。
ISC方面にも *:%s@moderators.isc.org の転送をお願いする必要が
あるかな。
4. 草の根配送系に広める。
5. 主要ISPにも広める。
こんな感じかな。

613 :名無しさん@お腹いっぱい。 :01/08/27 18:35 ID:0cm50H8s
>>611
scpでdatファイルコピーとかじゃダメ?

614 :Perler ◆GSi39OA6 :01/08/27 18:36 ID:95LP96f6
>>611
その方法だと、回線ダウン時のレス落ちが問題になってきますね。
NNTPのように、シリアルな番号をレスに割り振って、次回のpush時に補完してやるしかないのかな。

そうすると、ある程度複雑なプロトコルが必要になってきますね。最悪サーバー・クライアントプログラム
の作成からって事になりそうです。

615 :FreePascal :01/08/27 18:36 ID:UuIikJXc
ごめん、610 読み間違ってた…。
データと read.cgi だけを分散するわけね。
オレはダメだ…逝く。

616 :名無しさん@お腹いっぱい。 :01/08/27 18:43 ID:tn8mM0LU
>>614
現実的なのは、.datファイル取得スクリプトをcronで数分おきに走らせる
という感じでしょうか。なるべく頻繁に更新したいので、更新されたファ
イルだけを差分取得して本家の回旋になるべく負荷を与えないようにする
ことですね。

617 :名無しさん@お腹いっぱい。 :01/08/27 18:47 ID:QU89c6UE
http://www.ntt-east.co.jp/ether/ryokin.html
機器の維持に金が掛かるんだな。

618 :名無しさん@お腹いっぱい。 :01/08/27 18:53 ID:0cm50H8s
>>617
料金の安いホスティング/ハウジング業者やデータセンタの情報募集とか
やったらどうかね? とにかく別のサーバの置き場所さえ確保できれば
何とでもできると思う あとはひろゆきがそういうところを使ってくれるか
あるいはその業者が受け入れるか......

619 :Perler ◆GSi39OA6 :01/08/27 19:01 ID:95LP96f6
>>616
もうそれは完成しつつあります。
差分取得はまだまだですが、更新分だけ取得するスクリプトならあと30分くらいでアップロード予定。

620 :某スレの1です。 :01/08/27 19:03 ID:ZsOube4Y
リロードしたら10秒ほど待たされるプログラムとかに出来ないの?
それなら回線早い人間でもリロード控えると思うけど・・・


俺PC初心者だからチンプンカンプンなこといってたらスマソ。

621 :名無しさん@お腹いっぱい。 :01/08/27 19:03 ID:IQNtDKP6
>>602
誰かスライド辞書法→gzipやってみ

622 :名無しさん@揚げ足 :01/08/27 19:04 ID:2Ibh3ubo
>>621
gzipは大まかにLZSS+ハフマンだけど?

623 :名無しさん@お腹いっぱい。 :01/08/27 19:06 ID:cn52pBwI
サーバのP2Pって・・・
本家は書き込みだけにして、ユーザからの閲覧要求は各ミラーサイトだけからにするって感じ?
ミラーの更新がリアルタイムでないと、ユーザ離れそうだし、本家からの読み出しを許可にしていれば、結局ユーザは本家に集中するような気がする。

624 :Perler ◆GSi39OA6 :01/08/27 19:06 ID:95LP96f6
>>620
現在でも、キャッシュとサーバー上のデータが同じなら、リロードされても
何も送らないような仕様になっています。
10秒ごとに新規書き込みされない限り、同じことですので大丈夫だと思います。

もっと値を大きく、1度読み込まれたら5分はリロードできない、という風にすると
劇的に回線負荷は減るかもしれません。

その前に、index2.htmの負荷(キャッシュに対応していない)をなんとかする
必要がありますが。。。

625 :375 ◆MsUYMX0E :01/08/27 19:09 ID:k3MsBTsc
UNIX板の皆様。はじめまして。
プログラム技術板の

「2chのような掲示板システムってP2Pで」において
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=990334284

分散型の P2P のcacheについて検討してきたものです。

http://203.174.72.113/p2pcache/P2Pcache/frame.htm
に今まで議論してきた内容をまとめました
(パワーポイントをhtml化しただけですが)

ご参考になれば幸いです。

257KB
新着レスの表示

スレッドリストへ戻る 全部 前100 次100 最新50

0ch BBS 2004-10-30