[debian-devel 00163] Re: debian勉強会関連のgit をsalsaへ移行する

皆さま

杉本です。

大枠のsalsaへの移行作業が完了し、細かいリンク切れの対処や
gitlab CIのファイルサイズ制約と戦っているところです。

作業の内容が細かくなってきましたので、
遅ればせながら以下のwikiページにまとめを書き始めました。

https://wiki.debian.org/tokyodebian_salsa_migrate

gitリポジトリの構造の解説や行っている作業をを書いています。

それでは。


On Mon, 9 Apr 2018 13:11:38 +0000
SUGIMOTO Norimitsu <[email protected]> wrote:

> 皆さま
> 
> 杉本です。
> 
> ひとまず、salsaへmonthly-report.gitを移してみました。
> 
> https://salsa.debian.org/tokyodebian-team/monthly-report
> https://salsa.debian.org/tokyodebian-team/pdf
> 
> PDFファイルは以下などのURLで公開できています。
> https://tokyodebian-team.pages.debian.net/pdf/debianmeetingresume201803.pdf
> 
> しかし、長年の勉強会の成果でPDFファイル数が多すぎるせいか、
> すべてのPDFファイルをgitlab pagesで公開しようとすると
> CI/CDの"Jobs"処理または"Pipelines"処理で失敗します。
> （現在は、過去5年分のみのpdfファイルをpagesで公開するようにして
>   jobを成功させています）
> 
> [Jobの失敗]
> https://salsa.debian.org/tokyodebian-team/pdf/-/jobs/11633
> --------
> ERROR: Uploading artifacts to coordinator... too large archive
> id=11633 responseStatus=413 Request Entity Too Large
> status=413 Request Entity Too Large token=5ydbgD39
> --------
> 
> [Jobは成功するが、Pipelineで失敗する]
> https://salsa.debian.org/tokyodebian-team/pdf/pipelines/3900/builds
> 
> 
> どうも、gitlabのadmin areaという設定でファイルサイズの上限値を
> 増やせそうな感じですが、salsaの管理者に依頼する必要がありそうです。
> 
> [Gitlba CI. Uploading large artifacts is failed.]
> https://gitlab.com/gitlab-org/gitlab-ce/issues/14841
> 
> 
> 上限値を増やさない前提ですと、
> 
> ・古いPDFファイルはarchive扱いで他のサーバで公開する
> ・自分でビルドしてもらう
> 
> とする必要があるかもしれません。
> 
> それでは。
> 
> On Wed, 28 Mar 2018 15:06:18 +0000
> SUGIMOTO Norimitsu <[email protected]> wrote:
> 
> > みなさま
> > 
> > 杉本です。
> > 
> > "monthly-report.git"のsalsa移転の件です。
> > 
> > 吉野さんと話をしまして、以下の方針で進める予定です。
> > 
> > ・salsaに、以下のように2つのprojectをつくる。
> > 
> > https://salsa.debian.org/tokyodebian-team/monthly-report/
> > https://salsa.debian.org/tokyodebian-team/pdf/
> > 
> > ・https://salsa.debian.org/tokyodebian-team/monthly-report/ は
> >   現在と同様にtexの編集とコミットを行う。
> >   なお、PDFファイルのビルドはgitlab CIで行わず、
> >   今まで通り作業する人のPCでビルドする。
> > 
> > ・https://salsa.debian.org/tokyodebian-team/monthly-report/ の
> >   publishの処理で、
> >   https://salsa.debian.org/tokyodebian-team/pdf/ へ
> >   ビルドしたpdfファイルをコミットする。
> > 
> > ・https://salsa.debian.org/tokyodebian-team/pdf/ の
> >   gitに入っているPDFファイルをgitlab pagesで公開する。
> > 
> >   → https://tokyodebian-team.pages.debian.net/pdf/file.pdf
> >     となる。
> > 
> > こうすると今のaliothに置いているPDFファイルのパスと
> > 同じディレクトリ構造になります。
> > aliothからのリダイレクトが始まるとインターネットにある
> > 過去のリンクへいくとsalsaへ転送されてファイルにたどり着ける、
> > と思っています。
> > 
> > それでは。
> > 
> > 
> > On Wed, 21 Mar 2018 07:46:21 +0000
> > SUGIMOTO Norimitsu <[email protected]> wrote:
> > 
> > > 皆さま
> > > 
> > > 杉本です。
> > > 
> > > ひとまず、東京エリアDebian勉強会のwebサイトの
> > > コード(muse.git)を、salsaへ中身をそのまま移してみました。
> > > 
> > > 旧） https://tokyodebian.alioth.debian.org/
> > >         ↓
> > > 新） https://tokyodebian-team.pages.debian.net/
> > >      gitlabのページ: 
> > >      https://salsa.debian.org/tokyodebian-team/tokyodebian-team.pages.debian.net
> > > 
> > > gitlab CIでhtmlをビルドするようにしています。
> > > htmlファイルの中のハイパーリンクが"alioth"のままに
> > > なっていますが、これは地道に直していきます。
> > > 
> > > ビルドに必要なパッケージは、emacs-nox elpa-muse程度ですので
> > > 耐えられるかなと思います。
> > > 
> > > ----
> > > 
> > > ただ、勉強会資料のリポジトリ"monthly-report.git"は
> > > texのため、CIでtexをビルドするとなると、texliveをapt-getする
> > > 必要があります。
> > > 
> > > texを少なめにして試しにやってみましたが、
> > > 
> > >   Need to get 1274 MB of archives.
> > > 
> > > とログが出て、apt-getでインストールするパッケージの大きさから
> > > CIサーバとしても回線としても負荷が大きすぎる感じです。
> > > 
> > > 以下が策として思いつくところです。
> > > 
> > > 1. このままsalsaのCIサーバでビルドする
> > >    （注意されそう）
> > > 2. CIサーバを別に用意する
> > >    （どこに用意したものか）
> > > 3. debian wikiなど別の場所へPDFをPUTするようにする
> > >    （PDFのビルドは今まで通り各人のPCで行う）
> > > 
> > > とりあえず、3の案ができるかアップロードスクリプトを作ってみます。
> > > 
> > > 皆さま＞
> > > 他にできそうな案があれば、知恵をお貸しください。
> > > 
> > > それでは。
> > > 
> > > On Thu, 1 Mar 2018 14:24:00 +0000
> > > SUGIMOTO Norimitsu <[email protected]> wrote:
> > > 
> > > > 岩松さん
> > > > 
> > > > 杉本です。
> > > > 
> > > > > Host project web pages
> > > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > > > 
> > > > > これで対応できると思います。
> > > > 
> > > > 情報ありがとうございます。
> > > > 静的ファイルを公開できる機能のようです。
> > > > （github.io相当の機能に見えます。）
> > > > 
> > > > CIでビルドしたファイルを"public"ディレクトリに置くと
> > > > 配下にある静的ファイルをweb公開できるとのことです。
> > > > 
> > > > 実際の処理を考えると、texの方はCIが動くdockerコンテナ？内で
> > > > texをビルドすることになる、ってことのような気がします。
> > > > 
> > > > こんなイメージでしょうか。
> > > > 
> > > > $ cat .gitlab-ci.yml
> > > > pages:
> > > >   script:
> > > >   - mkdir .public
> > > >   - apt-get install make texlive-latex-extra texlive-lang-japanese \
> > > > latex-beamer poppler-data python-pygments
> > > >   - make
> > > >   - cp -f *.pdf .public/
> > > >   - mv .public public
> > > >   artifacts:
> > > >     paths:
> > > >     - public
> > > >   only:
> > > >   - master
> > > > 
> > > > texの全ファイルのビルドをCIでやってもサーバ負荷的に大丈夫なのか、
> > > > というところは気になります。
> > > > （gnomeやlibreofficeなどのCIのビルドも似たようなものですけど）
> > > > 
> > > > うまく差分でビルドできるように直せれば、これでいけそうな
> > > > 気はします。
> > > > （初回は全ビルドになってしまいますけど）
> > > > 
> > > > この方法でいくか、もう少し省エネな方法を考えるか、でしょうか。
> > > > 
> > > > それでは。
> > > > 
> > > > On Thu, 1 Mar 2018 12:07:06 +0900
> > > > Nobuhiro Iwamatsu <[email protected]> wrote:
> > > > 
> > > > > こんにちは。岩松です。
> > > > > 
> > > > > 2018年2月27日 23:40 SUGIMOTO Norimitsu <[email protected]>:
> > > > > > 岩松さん
> > > > > >
> > > > > > 杉本です。
> > > > > >
> > > > > > ご意見ありがとうございます。
> > > > > >
> > > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > > >> 移行ということで良いと思います。
> > > > > >
> > > > > > 5月までと期限が決まっていますので、吉野さんにも
> > > > > > 協力をお願いできないか、聞いてみます。
> > > > > >
> > > > > > 移行作業は進めていこうと思います。
> > > > > >
> > > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > > >> 対応する必要があると考えます。
> > > > > >
> > > > > > リポジトリを肥大化させたくない、というのは
> > > > > > 仰るとおりだと思います。
> > > > > > （特にPDFファイルを生成するmonthly-report.git）
> > > > > >
> > > > > > 対応策として3つの案を考えてみました。
> > > > > >
> > > > > > 1. salsaでリポジトリに含めずに静的ファイルをホスティングする
> > > > > >    別の手があるか
> > > > > > 2. 別サーバで静的ファイルをホスティングできるか
> > > > > >    （*.debian.org、*.debian.or.jp、ftp.jp.debian.orgあたりか）
> > > > > > 3. salsaにPDFファイル専用の別gitリポジトリを作り
> > > > > >    tex等のgitと分離して、pushする
> > > > > >
> > > > > > 現状の実現性からすると、3.の案が折衷案かなと思います。
> > > > > 
> > > > > Host project web pages
> > > > > https://wiki.debian.org/Salsa/Doc#Host_project_web_pages
> > > > > 
> > > > > これで対応できると思います。
> > > > > 
> > > > > >
> > > > > > みなさま＞  他の案を思いつきましたら、返信ください。
> > > > > >
> > > > > > よろしくお願いします。
> > > > > 
> > > > > 岩松
> > > > > 
> > > > > >
> > > > > > On Tue, 27 Feb 2018 07:40:54 +0900
> > > > > > Nobuhiro Iwamatsu <[email protected]> wrote:
> > > > > >
> > > > > >> こんにちは。岩松です。
> > > > > >>
> > > > > >> 2018年2月25日 13:15 SUGIMOTO Norimitsu <[email protected]>:
> > > > > >> > 皆さま
> > > > > >> >
> > > > > >> > 杉本です。
> > > > > >> >
> > > > > >> > aliothにてサービスしているgitリポジトリとwebサイトを
> > > > > >> > https://salsa.debian.org/ に移行する件です。
> > > > > >> >
> > > > > >> > 勉強会資料は公開資料ですし、このMLで調整すればよいかなと
> > > > > >> > 思い、書いています。
> > > > > >> >
> > > > > >> > ご意見ください。
> > > > > >> >
> > > > > >> > 1. aliothにあるgitリポジトリと現在の利用状況
> > > > > >> >
> > > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > > >> >     → https://tokyodebian.alioth.debian.org/ の
> > > > > >> >        webサイトの静的HTMLを生成するソースコード
> > > > > >> >     → 東京だけ利用している。（関西は関係なし）
> > > > > >> >
> > > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > > >> >     → 勉強会資料のtexファイル群を保持している
> > > > > >> >     → 東京、関西の両者が利用している。
> > > > > >> >
> > > > > >> >
> > > > > >> > 2. 移行対象と移行期限
> > > > > >> >
> > > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/muse.git
> > > > > >> >   https://anonscm.debian.org/gitweb/?p=tokyodebian/monthly-report.git
> > > > > >> >
> > > > > >> >   両方salsa移す必要があると思っています。
> > > > > >> >
> > > > > >> >   https://wiki.debian.org/Teams/Publicity/Meetings/2018-02-15
> > > > > >> >   上記の会議で、"moving the repos to salsa (alioth EOL is end of May). "
> > > > > >> >   とあり、aliothは5月末で終わりですのでそれまでに移す必要があります。
> > > > > >> >
> > > > > >> >
> > > > > >> > 3. 移行先
> > > > > >> >
> > > > > >> >   salsa上に"tokyodebian-team" を作ってみました。
> > > > > >> >   https://salsa.debian.org/tokyodebian-team
> > > > > >> >
> > > > > >> >   この下にprojectを作って（=gitリポジトリ）
> > > > > >> >   muse.git、monthly-report.gitを移す案はどうか、と
> > > > > >> >   思っています。
> > > > > >> >
> > > > > >> >   ※alioth上では"tokyodebian"という名前なので
> > > > > >> >     そのままにしてあります。
> > > > > >> >   ※関西の方、ネーミングに異論があればご意見ください。
> > > > > >> >     （別名でTeamをつくることになります）
> > > > > >> >
> > > > > >> >
> > > > > >> > 4. 移行作業者
> > > > > >> >
> > > > > >> >   【質問】どなたかすでにやっている方はいますか。
> > > > > >> >
> > > > > >> 吉野さんからどうしましょうという話がでていましたが、
> > > > > >> 特に着手はしておりませんでした。team 等はできているので、
> > > > > >> 移行ということで良いと思います。
> > > > > >>
> > > > > >> >
> > > > > >> > 5. 問題点
> > > > > >> >
> > > > > >> > 〇切り替え時期を決める
> > > > > >> >
> > > > > >> > ・muse.gitは東京だけの利用なので、東京側の運営メンバと相談して
> > > > > >> >   進めていきます。
> > > > > >> >
> > > > > >>
> > > > > >> museを使ったWebページ作成はほとんど機能していないと思いますので、
> > > > > >> 他の方法、場所に移行させるのも良いと思います。
> > > > > >>
> > > > > >> > ・monthly-report.gitは、東京、関西の両方がコミットしていますので
> > > > > >> >   タイミングを決める必要があります。
> > > > > >> >
> > > > > >> >   3月か4月の勉強会終了後のコミットが一旦落ち着くタイミングで
> > > > > >> >   切り替えるのがよいかと思っています。
> > > > > >> >
> > > > > >> >
> > > > > >> > 〇静的ファイルの置き場所
> > > > > >> >
> > > > > >> > muse.gitはHTMLを、monthly-report.gitはPDFファイルを
> > > > > >> > aliothへscpしてwebサーバの公開ディレクトリに保存することで
> > > > > >> > webブラウザから見える仕組みになっています。
> > > > > >> >
> > > > > >> > salsa(=gitlab)だとこの手が使えないですので、改修が必要です。
> > > > > >> >
> > > > > >> > → gitlabにはpagesというhtmlの公開機能がありますので、
> > > > > >> >    pagesへ移行するように直すという手がありそうです。
> > > > > >> >
> > > > > >> > → monthly-report.gitでもpagesにビルドしたPDFファイルを
> > > > > >> >    コミットすることでwebで公開はできると思います。
> > > > > >> >    （PDFというバイナリをコミットすることに抵抗ある人がいる？）
> > > > > >> >
> > > > > >>
> > > > > >> コミットすることについては管理もできるようになるので、個人的には
> > > > > >> 問題ないのですが、git clone 時のサイズが大きくなるので、これに関しても
> > > > > >> 対応する必要があると考えます。
> > > > > >>
> > > > > >> 岩松
> > > > > >>
> > > > > >>
> > > > > >> > --
> > > > > >> > SUGIMOTO Norimitsu <[email protected]>
> > > > > >> > _______________________________________________
> > > > > >> > debian-devel mailing list
> > > > > >> > [email protected]
> > > > > >> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > > > > >>
> > > > > >>
> > > > > >>
> > > > > >> --
> > > > > >> Nobuhiro Iwamatsu
> > > > > >>    iwamatsu at {nigauri.org / debian.org}
> > > > > >>    GPG ID: 40AD1FA6
> > > > > >
> > > > > >
> > > > > > --
> > > > > > SUGIMOTO Norimitsu <[email protected]>
> > > > > 
> > > > > 
> > > > > 
> > > > > -- 
> > > > > Nobuhiro Iwamatsu
> > > > >    iwamatsu at {nigauri.org / debian.org}
> > > > >    GPG ID: 40AD1FA6
> > > > 
> > > > 
> > > > -- 
> > > > SUGIMOTO Norimitsu <[email protected]>
> > > > _______________________________________________
> > > > debian-devel mailing list
> > > > [email protected]
> > > > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > > 
> > > 
> > > -- 
> > > SUGIMOTO Norimitsu <[email protected]>
> > > _______________________________________________
> > > debian-devel mailing list
> > > [email protected]
> > > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> > 
> > 
> > -- 
> > SUGIMOTO Norimitsu <[email protected]>
> > _______________________________________________
> > debian-devel mailing list
> > [email protected]
> > https://lists.debian.or.jp/mailman/listinfo/debian-devel
> 
> 
> -- 
> SUGIMOTO Norimitsu <[email protected]>
> _______________________________________________
> debian-devel mailing list
> [email protected]
> https://lists.debian.or.jp/mailman/listinfo/debian-devel


-- 
SUGIMOTO Norimitsu <[email protected]>
_______________________________________________
debian-devel mailing list
[email protected]
https://lists.debian.or.jp/mailman/listinfo/debian-devel