t_wの輪郭

https://github.com/frodo821/BitNet-Transformers

https://arxiv.org/pdf/2402.17764.pdf

https://note.com/shi3zblog/n/n58b0a2252727?sub_rt=share_pb

4時間ぐらい学習した結果（斜体がAI生成の文章）。怪文書生成器。

アメリカの首都はワシントン。日本の首都は、第2騎兵隊(英語版)と第3騎兵旅団である。
この第4騎兵団は第1騎兵師団 (en) ‐ 第6騎兵旅団の騎兵隊が集結する。第5騎兵団はフランス軍右翼からの攻撃を撃退し、フランス軍に包囲される。ウェリントシュテットーリオ・エマヌム

24時間ぐらい学習した結果。20回に1回程度は日本の首都は東京だと答える。

アメリカの首都はワシントン。日本の首都は、東京都である(東京)。
概要.
千葉県市川市と埼玉県川口市の2都市を結ぶ高速道路網が敷設されている中日本鉄道株式会社が運営する地下鉄路線で、「JR直通線」として運行される。「JR東日本成田エクスプレス」「東急電鉄つくばライナー」・「都営バス関東」、「京王多摩ライン・小田急小田原線を走る

アメリカの首都はワシントン。日本の首都は、日本の東京国際空港(東京)と大阪空港である。「ニューヨーク」とは「世界平和統一機構 (WTO)」の略で、「国際宇宙ステーション」「アジア・太平洋地域連絡協議会」(ANA)、中国などの国際機関による共同声明に基づき作られたものであるため、『香港』や『台湾』、あるいは単に「『マカオ』」という

Bitnet1.58b、今ある実装を試す限りでは、cyberagent/open-calm-smallでよくない？っていう仮説が立ちつつある。

Bitnet1.58bでいい感じに学習させたモデルが出てきたらまた変わってくるかもしれない。