[debian-devel 00160] Re: debian勉強会関連のgitをsalsaへ移行する
SUGIMOTO Norimitsu
dictoss ＠ live.jp
2018年 4月 9日 (月) 22:11:38 JST
皆さま
杉本です。
ひとまず、salsaへmonthly-report.gitを移してみました。
https://salsa.debian.org/tokyodebian-team/monthly-report
https://salsa.debian.org/tokyodebian-team/pdf
PDFファイルは以下などのURLで公開できています。
https://tokyodebian-team.pages.debian.net/pdf/debianmeetingresume201803.pdf
しかし、長年の勉強会の成果でPDFファイル数が多すぎるせいか、
すべてのPDFファイルをgitlab pagesで公開しようとすると
CI/CDの"Jobs"処理または"Pipelines"処理で失敗します。
（現在は、過去5年分のみのpdfファイルをpagesで公開するようにして
jobを成功させています）
[Jobの失敗]
https://salsa.debian.org/tokyodebian-team/pdf/-/jobs/11633
--------
ERROR: Uploading artifacts to coordinator... too large archive
id=11633 responseStatus=413 Request Entity Too Large
status=413 Request Entity Too Large token=5ydbgD39
--------
[Jobは成功するが、Pipelineで失敗する]
https://salsa.debian.org/tokyodebian-team/pdf/pipelines/3900/builds
どうも、gitlabのadmin areaという設定でファイルサイズの上限値を
増やせそうな感じですが、salsaの管理者に依頼する必要がありそうです。
[Gitlba CI. Uploading large artifacts is failed.]
https://gitlab.com/gitlab-org/gitlab-ce/issues/14841
上限値を増やさない前提ですと、
・古いPDFファイルはarchive扱いで他のサーバで公開する
・自分でビルドしてもらう
とする必要があるかもしれません。
それでは。
On Wed, 28 Mar 2018 15:06:18 +0000
SUGIMOTO Norimitsu <dictoss ＠ live.jp> wrote:
> みなさま
>
> 杉本です。
>
> "monthly-report.git"のsalsa移転の件です。
>
> 吉野さんと話をしまして、以下の方針で進める予定です。
>
> ・salsaに、以下のように2つのprojectをつくる。
>
> https://salsa.debian.org/tokyodebian-team/monthly-report/
> https://salsa.debian.org/tokyodebian-team/pdf/
>
> ・https://salsa.debian.org/tokyodebian-team/monthly-report/ は
> 現在と同様にtexの編集とコミットを行う。
> なお、PDFファイルのビルドはgitlab CIで行わず、
> 今まで通り作業する人のPCでビルドする。
>
> ・https://salsa.debian.org/tokyodebian-team/monthly-report/ の
> publishの処理で、
> https://salsa.debian.org/tokyodebian-team/pdf/ へ
> ビルドしたpdfファイルをコミットする。
>
> ・https://salsa.debian.org/tokyodebian-team/pdf/ の
> gitに入っているPDFファイルをgitlab pagesで公開する。
>
> → https://tokyodebian-team.pages.debian.net/pdf/file.pdf
> となる。
>
> こうすると今のaliothに置いているPDFファイルのパスと
> 同じディレクトリ構造になります。
> aliothからのリダイレクトが始まるとインターネットにある
> 過去のリンクへいくとsalsaへ転送されてファイルにたどり着ける、
> と思っています。
>
> それでは。
>
>
> On Wed, 21 Mar 2018 07:46:21 +0000
> SUGIMOTO Norimitsu <dictoss ＠ live.jp> wrote:
>
> > 皆さま
> >
> > 杉本です。
> >
> > ひとまず、東京エリアDebian勉強会のwebサイトの
> > コード(muse.git)を、salsaへ中身をそのまま移してみました。
> >
> > 旧） https://tokyodebian.alioth.debian.org/
> > ↓
> > 新） https://tokyodebian-team.pages.debian.net/
> > gitlabのページ:
> > https://salsa.debian.org/tokyodebian-team/tokyodebian-team.pages.debian.net
> >
> > gitlab CIでhtmlをビルドするようにしています。
> > htmlファイルの中のハイパーリンクが"alioth"のままに
> > なっていますが、これは地道に直していきます。
> >
> > ビルドに必要なパッケージは、emacs-nox elpa-muse程度ですので
> > 耐えられるかなと思います。
> >
> > ----
> >
> > ただ、勉強会資料のリポジトリ"monthly-report.git"は
> > texのため、CIでtexをビルドするとなると、texliveをapt-getする
> > 必要があります。
> >
> > texを少なめにして試しにやってみましたが、
> >
> > Need to get 1274 MB of archives.
> >
> > とログが出て、apt-getでインストールするパッケージの大きさから
> > CIサーバとしても回線としても負荷が大きすぎる感じです。
> >
> > 以下が策として思いつくところです。
> >
> > 1. このままsalsaのCIサーバでビルドする
> > （注意されそう）
> > 2. CIサーバを別に用意する
> > （どこに用意したものか）
> > 3. debian wikiなど別の場所へPDFをPUTするようにする
> > （PDFのビルドは今まで通り各人のPCで行う）
> >
> > とりあえず、3の案ができるかアップロードスクリプトを作ってみます。
> >
> > 皆さま＞
> > 他にできそうな案があれば、知恵をお貸しください。
> >
> > それでは。
> >
> > On Thu, 1 Mar 2018 14:24:00 +0000
> > SUGIMOTO Norimitsu <dictoss ＠ live.jp> wrote:
> >
> > > 岩松さん
> > >
> > > 杉本です。
> > >
> > > > Host project web pages
> > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > >
> > > > これで対応できると思います。
> > >
> > > 情報ありがとうございます。
> > > 静的ファイルを公開できる機能のようです。
> > > （github.io相当の機能に見えます。）
> > >
> > > CIでビルドしたファイルを"public"ディレクトリに置くと
> > > 配下にある静的ファイルをweb公開できるとのことです。
> > >
> > > 実際の処理を考えると、texの方はCIが動くdockerコンテナ？内で
> > > texをビルドすることになる、ってことのような気がします。
> > >
> > > こんなイメージでしょうか。
> > >
> > > $ cat .gitlab-ci.yml
> > > pages:
> > > script:
> > > - mkdir .public
> > > - apt-get install make texlive-latex-extra texlive-lang-japanese \
> > > latex-beamer poppler-data python-pygments
> > > - make
> > > - cp -f *.pdf .public/
> > > - mv .public public
> > > artifacts:
> > > paths:
> > > - public
> > > only:
> > > - master
> > >
> > > texの全ファイルのビルドをCIでやってもサーバ負荷的に大丈夫なのか、
> > > というところは気になります。
> > > （gnomeやlibreofficeなどのCIのビルドも似たようなものですけど）
> > >
> > > うまく差分でビルドできるように直せれば、これでいけそうな
> > > 気はします。
> > > （初回は全ビルドになってしまいますけど）
> > >
> > > この方法でいくか、もう少し省エネな方法を考えるか、でしょうか。
> > >
> > > それでは。
> > >
> > > On Thu, 1 Mar 2018 12:07:06 +0900
> > > Nobuhiro Iwamatsu <iwamatsu ＠ nigauri.org> wrote:
> > >
> > > > こんにちは。岩松です。
> > > >
> > > > 2018年2月27日 23:40 SUGIMOTO Norimitsu <dictoss ＠ live.jp>:
> > > > > 岩松さん
> > > > >
> > > > > 杉本です。
> > > > >
> > > > > ご意見ありがとうございます。
> > > > >
> > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > >> 移行ということで良いと思います。
> > > > >
> > > > > 5月までと期限が決まっていますので、吉野さんにも
> > > > > 協力をお願いできないか、聞いてみます。
> > > > >
> > > > > 移行作業は進めていこうと思います。
> > > > >
> > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > >> 対応する必要があると考えます。
> > > > >
> > > > > リポジトリを肥大化させたくない、というのは
> > > > > 仰るとおりだと思います。
> > > > > （特にPDFファイルを生成するmonthly-report.git）
> > > > >
> > > > > 対応策として3つの案を考えてみました。
> > > > >
> > > > > 1. salsaでリポジトリに含めずに静的ファイルをホスティングする
> > > > > 別の手があるか
> > > > > 2. 別サーバで静的ファイルをホスティングできるか
> > > > > （*.debian.org、*.debian.or.jp、ftp.jp.debian.orgあたりか）
> > > > > 3. salsaにPDFファイル専用の別gitリポジトリを作り
> > > > > tex等のgitと分離して、pushする
> > > > >
> > > > > 現状の実現性からすると、3.の案が折衷案かなと思います。
> > > >
> > > > Host project web pages
> > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > >
> > > > これで対応できると思います。
> > > >
> > > > >
> > > > > みなさま＞ 他の案を思いつきましたら、返信ください。
> > > > >
> > > > > よろしくお願いします。
> > > >
> > > > 岩松
> > > >
> > > > >
> > > > > On Tue, 27 Feb 2018 07:40:54 +0900
> > > > > Nobuhiro Iwamatsu <iwamatsu ＠ nigauri.org> wrote:
> > > > >
> > > > >> こんにちは。岩松です。
> > > > >>
> > > > >> 2018年2月25日 13:15 SUGIMOTO Norimitsu <dictoss ＠ live.jp>:
> > > > >> > 皆さま
> > > > >> >
> > > > >> > 杉本です。
> > > > >> >
> > > > >> > aliothにてサービスしているgitリポジトリとwebサイトを
> > > > >> > https://salsa.debian.org/ に移行する件です。
> > > > >> >
> > > > >> > 勉強会資料は公開資料ですし、このMLで調整すればよいかなと
> > > > >> > 思い、書いています。
> > > > >> >
> > > > >> > ご意見ください。
> > > > >> >
> > > > >> > 1. aliothにあるgitリポジトリと現在の利用状況
> > > > >> >
> > > > >> > https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > >> > → https://tokyodebian.alioth.debian.org/ の
> > > > >> > webサイトの静的HTMLを生成するソースコード
> > > > >> > → 東京だけ利用している。（関西は関係なし）
> > > > >> >
> > > > >> > https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > >> > → 勉強会資料のtexファイル群を保持している
> > > > >> > → 東京、関西の両者が利用している。
> > > > >> >
> > > > >> >
> > > > >> > 2. 移行対象と移行期限
> > > > >> >
> > > > >> > https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > >> > https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > >> >
> > > > >> > 両方salsa移す必要があると思っています。
> > > > >> >
> > > > >> > https://wiki.debian.org/Teams/Publicity/Meetings/2018-02-15
> > > > >> > 上記の会議で、"moving the repos to salsa (alioth EOL is end of May). "
> > > > >> > とあり、aliothは5月末で終わりですのでそれまでに移す必要があります。
> > > > >> >
> > > > >> >
> > > > >> > 3. 移行先
> > > > >> >
> > > > >> > salsa上に"tokyodebian-team" を作ってみました。
> > > > >> > https://salsa.debian.org/tokyodebian-team
> > > > >> >
> > > > >> > この下にprojectを作って（=gitリポジトリ）
> > > > >> > muse.git、monthly-report.gitを移す案はどうか、と
> > > > >> > 思っています。
> > > > >> >
> > > > >> > ※alioth上では"tokyodebian"という名前なので
> > > > >> > そのままにしてあります。
> > > > >> > ※関西の方、ネーミングに異論があればご意見ください。
> > > > >> > （別名でTeamをつくることになります）
> > > > >> >
> > > > >> >
> > > > >> > 4. 移行作業者
> > > > >> >
> > > > >> > 【質問】どなたかすでにやっている方はいますか。
> > > > >> >
> > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > >> 移行ということで良いと思います。
> > > > >>
> > > > >> >
> > > > >> > 5. 問題点
> > > > >> >
> > > > >> > 〇切り替え時期を決める
> > > > >> >
> > > > >> > ・muse.gitは東京だけの利用なので、東京側の運営メンバと相談して
> > > > >> > 進めていきます。
> > > > >> >
> > > > >>
> > > > >> museを使ったWebページ作成はほとんど機能していないと思いますので、
> > > > >> 他の方法、場所に移行させるのも良いと思います。
> > > > >>
> > > > >> > ・monthly-report.gitは、東京、関西の両方がコミットしていますので
> > > > >> > タイミングを決める必要があります。
> > > > >> >
> > > > >> > 3月か4月の勉強会終了後のコミットが一旦落ち着くタイミングで
> > > > >> > 切り替えるのがよいかと思っています。
> > > > >> >
> > > > >> >
> > > > >> > 〇静的ファイルの置き場所
> > > > >> >
> > > > >> > muse.gitはHTMLを、monthly-report.gitはPDFファイルを
> > > > >> > aliothへscpしてwebサーバの公開ディレクトリに保存することで
> > > > >> > webブラウザから見える仕組みになっています。
> > > > >> >
> > > > >> > salsa(=gitlab)だとこの手が使えないですので、改修が必要です。
> > > > >> >
> > > > >> > → gitlabにはpagesというhtmlの公開機能がありますので、
> > > > >> > pagesへ移行するように直すという手がありそうです。
> > > > >> >
> > > > >> > → monthly-report.gitでもpagesにビルドしたPDFファイルを
> > > > >> > コミットすることでwebで公開はできると思います。
> > > > >> > （PDFというバイナリをコミットすることに抵抗ある人がいる？）
> > > > >> >
> > > > >>
> > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > >> 対応する必要があると考えます。
> > > > >>
> > > > >> 岩松
> > > > >>
> > > > >>
> > > > >> > --
> > > > >> > SUGIMOTO Norimitsu <dictoss ＠ live.jp>
> > > > >> > _______________________________________________
> > > > >> > debian-devel mailing list
> > > > >> > debian-devel ＠ debian.or.jp
> > > > >> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > > > >>
> > > > >>
> > > > >>
> > > > >> --
> > > > >> Nobuhiro Iwamatsu
> > > > >> iwamatsu at {nigauri.org / debian.org}
> > > > >> GPG ID: 40AD1FA6
> > > > >
> > > > >
> > > > > --
> > > > > SUGIMOTO Norimitsu <dictoss ＠ live.jp>
> > > >
> > > >
> > > >
> > > > --
> > > > Nobuhiro Iwamatsu
> > > > iwamatsu at {nigauri.org / debian.org}
> > > > GPG ID: 40AD1FA6
> > >
> > >
> > > --
> > > SUGIMOTO Norimitsu <dictoss ＠ live.jp>
> > > _______________________________________________
> > > debian-devel mailing list
> > > debian-devel ＠ debian.or.jp
> > > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> >
> >
> > --
> > SUGIMOTO Norimitsu <dictoss ＠ live.jp>
> > _______________________________________________
> > debian-devel mailing list
> > debian-devel ＠ debian.or.jp
> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
>
>
> --
> SUGIMOTO Norimitsu <dictoss ＠ live.jp>
> _______________________________________________
> debian-devel mailing list
> debian-devel ＠ debian.or.jp
> https://lists.debian.or.jp/mailman/listinfo/debian-devel
--
SUGIMOTO Norimitsu <dictoss ＠ live.jp>
debian-devel メーリングリストの案内